Многофункциональный

информационно-вычислительный комплекс

(МИВК)

Участвующие страны и международные организации:

Азербайджан, Армения, Беларусь, Болгария, Грузия, Египет, Италия, Казахстан, Китай, Мексика, Молдова, Монголия, Россия, Словакия, США, Тайвань, Узбекистан, Франция, ЦЕРН, ЮАР.

Изучаемая проблема и основная цель исследований:

Главной целью МИВК является максимально возможное удовлетворение потребностей научного сообщества ОИЯИ для решения актуальных задач – от теоретических исследований и обработки, хранения и анализа экспериментальных данных до решения прикладных задач в области наук о жизни. Приоритетными будут являться задачи проекта NICA, нейтринной программы, задачи обработки данных экспериментов на LHC и других масштабных экспериментов, а также поддержка пользователей Лабораторий ОИЯИ и стран-участниц.

В рамках проекта предусмотрено включение двух активностей, которые, как и проект, нацелены на удовлетворение требований большого числа научно-исследовательского и административного персонала:

1. Развитие цифровой платформы «Цифровая экосистема ОИЯИ», интегрирующей существующие и перспективные сервисы поддержки научной, административной и социальной деятельности, а также сопровождения инженерной и IT-инфраструктур Института, что в свою очередь обеспечит надежный и безопасный доступ к данным различного типа и даст возможность всестороннего анализа информации с применением современных технологий Больших данных и искусственного интеллекта.

2. Создание многоцелевой программно-аппаратной платформы аналитики Больших данных на основе гибридных аппаратных ускорителей; алгоритмов машинного обучения; инструментов аналитики, отчетов и визуализации; поддержки пользовательских интерфейсов и задач.

Проект:

Краткая аннотация и научное обоснование:

Для достижения главных целей ведущих проектов ОИЯИ потребуется обрабатывать огромное количество экспериментальных данных. Согласно весьма грубой оценке, это десятки тысяч процессорных ядер и сотни петабайт экспериментальных данных.  Грид-инфраструктуры уровней Tier0, Tier1 и Tier2 необходимы для экспериментов проекта NICA и нейтринной программы ОИЯИ (Baikal-GVD, JUNO и т.д.). Выполнение этих целей требует развития распределенных многоуровневых гетерогенных вычислительных сред, в том числе и на ресурсах участников других проектов и коллабораций.

Концепция развития информационных технологий, научных вычислений и Data Science в Семилетнем плане ОИЯИ предусматривает создание научной ИТ-инфраструктуры, объединяющей множество различных технологических решений, тенденций и методик. ИТ-инфраструктура предполагает согласованное развитие взаимосвязанных
ИТ-технологий и вычислительных методов, направленных на максимальное увеличение числа решаемых стратегических задач ОИЯИ, требующих интенсивных вычислений с данными. Особое место в этой концепции занимает крупный инфраструктурный проект «Многофункциональный информационно-вычислительный комплекс».

Основной задачей МИВК на 2024–2030 гг. является выполнение работ, направленных на модернизацию и развитие основных аппаратно-программных компонент вычислительного комплекса, создание современной программной платформы, позволяющей решать широкий спектр научно-исследовательских и прикладных задач в соответствии с Семилетним планом ОИЯИ. Быстрое развитие информационных технологий и новые требования пользователей стимулируют развитие всех компонент и платформ МИВК. Вычислительная инфраструктура МИВК включает четыре современные программно-аппаратные компоненты: грид-сайты Tier1 и Tier2, гиперконвергентный суперкомпьютер «Говорун», облачную инфраструктуру и распределенную многоуровневую систему хранения данных. Этот набор компонент обеспечивает уникальность МИВК на мировом ландшафте и позволяет научному сообществу ОИЯИ и стран-участниц использовать все современные вычислительные технологии в рамках одного вычислительного комплекса, обеспечивающего многофункциональность, масштабируемость, высокую производительность, надежность и доступность в режиме 24х7x365 с разноуровневой системой хранения данных для различных групп пользователей.

В рамках МИВК предусмотрена как поддержка функционирования всех программно-аппаратных компонент МИВК – грид-сайтов уровня Tier1 и Тier2, облачной инфраструктуры, гиперконвергентного суперкомпьютера «Говорун», многоуровневой системы хранения данных, сетевой инфраструктуры, систем энергоснабжения и климат контроля, так и модернизация/реконструкция перечисленных выше компонент в соответствии с новыми тенденциями развития ИТ-технологий и требованиями пользователей. Необходимо также обеспечить высокоскоростные телекоммуникации, современную локальную сетевую инфраструктуру и надежную инженерную инфраструктуру, обеспечивающую гарантированное энергообеспечение и кондиционирование серверного оборудования.

Ожидаемые результаты по завершении проекта:

1. Модернизация инженерной инфраструктуры МИВК ОИЯИ (реконструкция в соответствии с современными требованиями машинного зала 4-го этажа ЛИТ).

2. Модернизация и развитие распределенной вычислительной платформы для проекта NICA с привлечением вычислительных центров коллаборации NICA.

3. Создание грид-кластера Tier0 для экспериментов мегапроекта NICA для хранения экспериментальных и смоделированных данных. Расширение производительности и емкости систем хранения грид-кластеров Tier1 и Tier2 в качестве центров обработки данных для экспериментов мегапроекта NICA, нейтринной программы ОИЯИ и экспериментов на LHC.

4. Расширение облачной инфраструктуры ОИЯИ с целью увеличения предоставляемого пользователям спектра сервисов на основе технологий контейнеризации. Автоматизация развертывания облачных технологий в организациях стран-участниц ОИЯИ.

5. Расширение гетерогенной платформы HybriLIT, включая суперкомпьютер «Говорун», как гиперконвергентной программно-определяемой среды с иерархической системой хранения и обработки данных.

6. Проектирование и разработка распределенной программно-конфигурируемой высокопроизводительной вычислительной платформы, объединяющей суперкомпьютерные (гетерогенные), грид- и облачные технологии для эффективного использования новых вычислительных архитектур.

7. Разработка системы защиты компьютерной инфраструктуры на основе принципиально новых парадигм, включая квантовую криптографию, нейрокогнитивные принципы организации данных и взаимодействия объектов данных, глобальную интеграцию информационных систем, универсальный доступ к приложениям, новые интернет-протоколы, виртуализацию, социальные сети, данные мобильных устройств и геолокации.

Ожидаемые результаты по проекту в текущем году:

1. Поддержание в режиме 24х7x365 устойчивого, безопасного и целостного функционирования информационно-телекоммуникационной сети ОИЯИ (магистральной опорной сети (2х100 Гбит/сек); транспортной сети мегапроекта NICA (4х100 Гбит/сек); многосвязной сети ЛИТ (100 Гбит/сек); магистральных внешних телекоммуникационных каналов (3х100 Гбит/сек); сети Wi-Fi на площадках Института. Поддержка стандартных сетевых сервисов: электронной почты (SMTP, IMAP, POP3, WebMail), файлового обмена (ftp, scp, sftp, http, https), безопасности (ssh, https, TACACS authentication, dns, SSO), поддержка базы данных пользователей, поддержка базы данных сетевых элементов IPDB, т.д.

2. Техническое обслуживание и эксплуатация в режиме 24х7x365 полнофункциональной и оптимальной работы систем гарантированного электроснабжения (дизель генераторы, источники бесперебойного питания) и климатического контроля (чилеры, сухие градирни, межрядные кондиционеры и т.д.) вычислительной инфраструктуры МИВК. Ввод в эксплуатацию новой системы противопожарной безопасности инфраструктуры МИВК. Проектирование и начало модернизации серверной в зале 4-го этажа здания ЛИТ.

3. Наращивание производительности и системы хранения базовых компонент МИВК – Tier1 центра до 22000 CPU-ядер и 14500 TБ, Tier2/ЦИВК до 11000 CPU-ядер, системы EOS до 27 ПБ. Увеличение полного объема роботизированного ленточного хранилища до 70 ПБ. Поддержка и сопровождение работы пользователей с системой EOS. Поддержка системы доступа к домашним директориям пользователей ОИЯИ – AFS. Развитие и поддержка единой системы хранения и доступа к общему программному обеспечению CVMFS. Поддержка программной системы работы с ленточными роботами - CTA. Создание и обновление полигона для отладки и тестирования нового программного обеспечения наиболее важных компонент МИВК. Поддержка и сопровождение работы виртуальных организаций WLCG, экспериментов NICA, COMPASS, NOvA, ILC и т.д., локальных групп пользователей на ресурсах Тier1 и Тier2 МИВК.

4. Расширение количества пользователей и участников распределенной информационно-вычислительной среды (РИВС) на базе облачных ресурсов организаций из стран-участниц ОИЯИ. Развитие средств функционального мониторинга облачных ресурсов, подключенных к РИВС. Наращивание вычислительных ресурсов облака МИВК, в том числе за счёт ресурсов, приобретённых экспериментами Baikal-GVD, JUNO, NOvA/DUNE, и их сопровождение. Миграция ОС серверов всех компонентов облака ОИЯИ, а также развернутых в облаке виртуальных кластеров HTCondor и JupyterHub, на новую ОС в связи с окончанием в июне 2024 года жизненного цикла ОС CentOS Linux 7.  Разработка и внедрение системы мониторинга кластера JupyterHub. Внедрение системы мониторинга кластера HTCondor на базе сборщика метрик htcondor-exporter собственной разработки.

5. Переход на новую версию DIRAC: DIRAC 8. Разработка и внедрение системы анализа производительности ресурсов, включенных в распределённую гетерогенную вычислительную среду на базе DIRAC. Развитие средств и подходов к мониторингу передач данных.

6. Разработка распределенной системы хранения и обработки горячих данных под управлением параллельных низколатентных файловых систем Lustre/BeeGFS, а также распределенного хранилища данных DAOS, и включение этой системы в иерархическую структуру обработки и хранения данных суперкомпьютера «Говорун» и офлайн кластера NICA для моделирования и реконструкции событий для экспериментов комплекса NICA.

7. Ввод в опытную эксплуатацию компонентов прототипа системы обработки данных в распределенной вычислительной среде для эксперимента SPD (SPD Offline computing). Опытная эксплуатация системы управления данными и отработка ее взаимодействия с системой управления обработкой данных. Развитие специализированных сервисов, характерных для центров уровня Tier0.

8. Развитие и поддержка действующей системы мониторинга и аккаунтинга МИВК, включение в список мониторируемых сервисов и оборудования отслеживания параметров новых вычислительных и инженерных элементов. Разработка новых скриптов для автоматизации процессов сбора данных. Создание скрипта оповещения о неисправностях при передаче данных для файловой системы dCache. В рамках создания комнаты управления инженерными системами (систем электропитания и климат-контроля) будут разработаны специальные информационные дисплеи со схематичными отображениями этих систем. Разработка аналитических систем, способных в реальном времени оповещать о наиболее критических проблемах МИВК.

Краткая аннотация и научное обоснование:

Активность связана созданием общеинститутской цифровой платформы «Цифровая экосистема ОИЯИ». Основной целью является организация в рамках платформы цифрового пространства с единым доступом и обменом данными между электронными системами, а также перевод действий, требовавших ранее личного или письменного обращения, в безбумажную форму. Платформа призвана обеспечить интеграцию существующих и перспективных сервисов поддержки научной, административной и социальной деятельности, а также сопровождение инженерной и
IT-инфраструктур Института.

В рамках активности предполагается два основных направления работ: создание базовой инфраструктуры цифровой платформы (включая программно-аппаратное и методическое обеспечение ее функционирование) и различных цифровых сервисов. Помимо поддержки сервисов для использования сотрудниками Института будут развиваться и поддерживаться цифровые сервисы для научных коллабораций, чья деятельность связана с базовыми установками Института.

Ожидаемые результаты по завершении активности:

1. Создание программно-аппаратной и методической основы для функционирования общеинститутской цифровой платформы.

2. Разработка и внедрение в единую среду цифровых сервисов для распределенного доступа к ресурсам – информационным, вычислительным, административным, организационным.

3. Перевод процессов получения разрешений, согласований и заявок разных типов в цифровую форму.

4. Создание каталога и распределенного хранилища данных, связанных с научными и техническими аспектами деятельности Института, а также инструментов для их анализа, представления и создания прогнозных моделей.
   
   Ожидаемые результаты по активности в текущем году:

1. Создание и взаимная интеграция существующих базовых сервисов цифровой инфраструктуры: аутентификации, управления и контроля ролями и правами доступа, шины обмена данными, системы уведомлений, автоматизированного каталога данных, распределенного хранилища.

2. Ввод в эксплуатацию пользовательского интерфейса экосистемы, включая механизмы и методики интеграции в него сервисов, организацию обратной связи с пользователями на основе электронных заявок, систему уведомлений и оповещений. Разработка административных механизмов для поддержания работы ЦЭС, включая распределение ролей и обязанностей, а также цепочек согласования для сервисов и ЦЭС в целом. Создание набора технических условий и шаблонов программ для разработчиков цифровых сервисов.

3. Ввод в опытную эксплуатацию прототипа сервиса институционального репозитория публикаций сотрудников ОИЯИ, позволяющего создавать и обновлять данные профиля автора и структурных подразделений, получать библиографические метаданные из внешних источников, загружать метаданные в репозиторий в автоматическом режиме с привязкой к профилям авторов.

4. Ввод в опытную эксплуатацию прототипа сервиса для хранения документации, обеспечивающего возможности централизованного хранения и обмена различными типами документации между пользователями системы. Перенос в сервис и объединение данных из существующих устаревших разрозненных баз научной документации.

5. Текущая поддержка и развитие СЭД «Дубна», в том числе создание подсистемы архивного хранения документов, разработка новых и модификация существующих электронных документов и отчётов в соответствии с приказами по Институту и заявками пользователей, расширение сферы применения СЭД «Дубна» для получения разрешений, согласований и заявок разных типов.

6. Реализация в геоинформационной системе следующих возможностей для поддержки деятельности технологических служб ОИЯИ: учет инженерных сетей различного типа со всеми необходимыми атрибутами, земельных участков, объектов недвижимости, благоустройства и инфраструктуры, привязка к объектам электронных документов (схем, фото, и пр.) и информации о проводимых работах с привязкой ко времени (реконструкции, ремонтах и пр.). Реализация возможности редактирования геометрии объектов и их атрибутов, создания новых объектов. Создание ролевой модели для разграничения доступа к информации об объектах.

Краткая аннотация и научное обоснование:

Активность предусматривает создание в рамках МИВК ОИЯИ многоцелевой программно-аппаратной платформы аналитики Больших данных, реализующей полный цикл сплошной обработки – от сбора данных до визуализации результатов обработки и анализа, прогнозов, рекомендаций и предписаний. Одной из задач, которую планируется решить с помощью платформы, является разработка аналитической системы управления ресурсами МИВК и потоками данных для повышения эффективности использования вычислительных ресурсов и ресурсов хранения и оптимизации процесса обработки данных экспериментов, развитие интеллектуального мониторинга распределенных вычислительных систем и центров обработки данных. Другой важной задачей является создание и развитие средств аналитики для сервисов цифровой экосистемы ОИЯИ.

Ожидаемые результаты по завершении активности:

1. Создание универсального ядра платформы интеллектуального анализа Больших данных.

2. Разработка и реализация в рамках платформы ряда типовых программных решений для различных классов задач.

3. Разработка и развитие аналитических инструментов для Цифровой экосистемы ОИЯИ.

4. Разработка методов и создание комплексных решений анализа безопасности данных и компьютерных систем.

5. Развитие в рамках аналитической платформы методов искусственного интеллекта и создание программного окружения для работы с технической и научной информацией.

6. Разработка общих решений на основе аналитики Больших данных для экспертных и рекомендательных систем, в том числе для оптимизации процессов функционирования компонент МИВК.

Ожидаемые результаты по активности в текущем году:

1. Создание прототипа инфраструктуры и программно-аналитической платформы Больших данных;

2. Методология анализа потоковых данных с большой скоростью поступления;

3. Разработка интеллектуальных витрин данных на основе подхода Больших данных.