Информационно-вычислительная инфраструктура ОИЯИ

Участвующие страны и международные организации:

Азербайджан, Армения, Беларусь, Болгария, Германия, Грузия, Египет, Италия, Казахстан, Китай, Молдова, Монголия, Польша, Россия, Румыния, Сербия, Словакия, США, Тайвань, Украина, Франция, ЦЕРН, Чехия, Швеция, ЮАР.

Изучаемая проблема и основная цель исследований:

Целью темы является развитие сетевой и информационно-вычислительной инфраструктуры ОИЯИ для обеспечения научно-производственной деятельности Института и государств-членов необходимыми средствами современных информационных технологий согласно 7-летнему плану развития ОИЯИ. Особым направлением в рамках темы является развитие Многофункционального информационно–вычислительного комплекса ЛИТ ОИЯИ (МИВК), представленного в виде Проекта.

Ожидаемые результаты по завершении этапов темы:

1. Развитие сетевой и информационно-вычислительной инфраструктуры МИВК для обеспечения реализации 7-летнего плана развития ОИЯИ необходимыми средствами современных информационных технологий. Создание единого пространства существующих в ОИЯИ ресурсов: вычислительных, информационных и хранения данных.

   Развитие внешней и локальной сетевых инфраструктур, обеспечивающих возможность обмена данными между подразделениями института, государствами членами ОИЯИ и сотрудничающими с ОИЯИ международными организациями; создание сетевой инфраструктуры для приема и передачи данных между установками BM@N, MPD, SPD и on/off-line кластерами мегапроекта NICA; поддержка и развитие общих сетевых сервисов, таких как электронная почта (e-Mail), управление именами (DNS), кэширование данных (Proxy), управление ресурсами (IPDB), мониторинг (NMIS), сервис единой авторизации (SSO), система информационной безопасности.

   Модернизация и развитие инженерной инфраструктуры МИВК, включая системы электроснабжения и бесперебойного питания, системы кондиционирования и вентиляции, комплекса противопожарной безопасности в соответствии с ростом вычислительных мощностей и объемов хранилищ данных.

   Создание на базе МИВК off-line кластера в рамках развития компьютинга для мегапроекта NICA, обеспечивающего прием данных с детекторов, передачу данных на обработку и хранение и удовлетворяющего всем требованиям к сетевой инфраструктуре, вычислительным архитектурам, системам хранения и к соответствующему программному обеспечению.

   Создание единой информационно-вычислительной платформы (среды) на базе ресурсов МИВК для реализации нейтринной программы ОИЯИ.

   Наращивание вычислительных ресурсов и систем хранения данных грид-компоненты МИВК Tier1, Tier2/ЦИВК в соответствии с 7-летним планом развития ОИЯИ, что позволит обеспечить для всех коллабораций LHC на Tier1 и Tier2 в ОИЯИ необходимый уровень ресурсов.

   Переход на новое системное программное обеспечение: системы пакетной обработки заданий и планировщики заданий – HTCondor и Slurm, единая система доступа к программному обеспечению CVMFS.

   Наращивание облачной компоненты МИВК с целью расширения спектра услуг, предоставляемых пользователям. Создание интегрированной облачной среды с облаками государств членов ОИЯИ.

   
   Наращивания вычислительных ресурсов суперкомпьютера "Говорун" для удовлетворения потребностей пользователей из ОИЯИ и стран-участниц вычислительными ресурсами для решения задач, связанными с высокопроизводительными вычислениями (НРС). Обеспечение пользователей современными IT – решениями и сервисами в области HPC.

   Создание на базе систем хранения МИВК "озера данных" (Data Lake) ОИЯИ.

   Создание и внедрение унифицированной системы управления ресурсами МИВК, оптимизирующей эффективность использования вычислительных ресурсов и ресурсов хранения.

   Разработка и внедрение унифицированной системы управления обработкой данных, позволяющей упростить процесс запуска обработки данных новых экспериментов и оптимизировать использование имеющихся вычислительных ресурсов за счет лучшего прогнозирования потоков данных.

   Создание информационно–аналитической интеллектуальной системы мониторинга, на новых технологических подходах, в том числе аналитике Больших данных, позволяющей агрегировать информацию с разных уровней вычислительного центра: инженерной инфраструктуры, сети, вычислительных узлов, систем запуска задач, элементов хранения данных, грид–сервисов и др., что обеспечит высокий уровень надежности МИВК.

   Усовершенствование системы обеспечения информационной безопасности.

2. Сопровождение и дальнейшее развитие интегрированной корпоративной информационной системы (КИС) ОИЯИ, включающей в себя подсистемы бухгалтерского, финансового и кадрового учета, электронного документооборота, связанные между собой через универсальный шлюз обмена данными и обеспечивающей оперативный доступ к достоверной управленческой информации. Развитие информационной системы управления проектом NICA. Модернизация подсистемы PIN. Реализация системы "Личный кабинет", предоставляющей конечному пользователю доступ к его персональной информации, а также упрощающей доступ к КИС ОИЯИ. Развитие электронных библиотек и видеопорталов.

3. Создание специального полигона на базе МИВК для проведения учебных курсов по современным IT-технологиям.

Ожидаемые результаты по этапам темы в текущем году:

1. Обеспечение устойчивого, безопасного и целостного функционирования информационно-телекоммуникационной сети ОИЯИ (магистральной опорной сети (2х100 Гбит/сек); транспортной сети мегапроекта NICA (8х100 Гбит/сек); многосвязной сети ЛИТ (100 Гбит/сек); магистральных внешних  телекоммуникационных каналов (3х100 Гбит/сек); сети Wi-Fi на площадках Института. 

   Обеспечение полнофункциональной и оптимальной работы систем гарантированного электроснабжения и климатического контроля вычислительной инфраструктуры МИВК. Ввод в эксплуатацию новой системы противопожарной безопасности инфраструктуры МИВК.

   Наращивание производительности и системы хранения базовых компонент МИВК – Tier1 центра в ОИЯИ, Tier2/ЦИВК, системы EOS. Поддержка и сопровождение работы пользователей с системой EOS. Развитие системы доступа к домашним директориям пользователей ОИЯИ – AFS, единой системы хранения и доступа общего программного обеспечения МИВК – CVMFS, переход на новую программную систему работы с ленточными роботами - CTA. Создание и обновление полигона для отладки и тестирования нового программного обеспечения наиболее важных компонент МИВК. 

   Расширение вычислительных возможностей облачного сервиса для научных и инженерных расчётов за счет интеграции с некоторыми облачными инфраструктурами сотрудничающих с ОИЯИ институтов РФ и других стран-участниц ОИЯИ.  Расширение количества пользователей и участников РИВС на базе облачных ресурсов организаций из стран-участниц ОИЯИ. Наращивание ресурсов облака МИВК, в том числе за счёт ресурсов, приобретённых экспериментами Baikal-GVD, JUNO, NOvA/DUNE, и их сопровождение.

   Разработка программного обеспечения нижнего уровня для автоматизации процесса переноса данных как между слоями иерархической системы обработки и хранения данных суперкомпьютера "Говорун", так и между вычислительными сайтами, входящими в распределенную среду для моделирования и реконструкции событий для экспериментов на комплексе NICA.

   Поддержка и сопровождение работы виртуальных организаций WLCG, экспериментов NICA, COMPASS, NOvA, ILC и т.д., локальных групп пользователей на ресурсах Тier1 и Тier2 МИВК.

   Ввод в опытную эксплуатацию и развитие для эксперимента SPD систем для: управления обработкой данных массового моделирования физических событий; управления данными с реализацией модели и политики работы с ними; мониторинга инфраструктуры обработки данных. Подключение к системе управления нагрузкой вычислительных ресурсов участников коллаборации SPD: ПИЯФ, СпбГУ, Самарский университет, SPD Online Filter (прототип).

   Расширение распределённой информационно-вычислительной платформы на базе DIRAC. Интеграция новых вычислительных ресурсов и ресурсов хранения.

   Развитие и поддержка действующей системы мониторинга и аккаунтинга МИВК, включение в список мониторируемых сервисов и оборудования отслеживания параметров новых вычислительных и инженерных элементов.

   Создание прототипа комплексной системы мониторинга и управления сервисами и оборудованием МИВК, основанной на новых технологических подходах, в том числе на аналитике Больших данных. Развертывание прототипа пользовательской инфраструктуры Больших данных для решения актуальных задач ОИЯИ.

2. Развитие и сопровождение систем СЭД «Дубна», PIN, APT EVM для NICA, ADB2, ИСС, HR LHEP, CERNDB, СЭД «Авансовые отчёты», JINRex по запросам конечных пользователей. Разработка и запуск в эксплуатацию новой версии системы PIN. Сопровождение информационных систем ИСНА ОИЯИ и "База документов". Перевод функционала системы "База документов" в СЭД "Дубна". Опытная эксплуатация локализованного сервера научных публикаций на основе программной платформы Invenio-JOIN2, обеспечение взаимодействия с ИС PIN на уровне библиографических метаданных.

   Перевод программ библиотеки "Дубна" на двойную точность и включение их в библиотеку математических программ JINRLIB.

   Актуализация информационного и программного сопровождения центральных информационных серверов, порталов и баз данных для обеспечения деятельности ЛИТ и ОИЯИ: сопровождение и модернизация порталов ЛИТ, сайта журналов ОИЯИ ЭЧАЯ и "Письма в ЭЧАЯ" на базе открытого программного обеспечения Open Journal Systems (OJS) для управления редакционным процессом, сайтов "Диссертационные советы ОИЯИ", INDICO, "Фотоархив ОИЯИ", "СОУТ –Эксперт" и т.д. Создание и поддержка сайтов, в том числе в режиме хостинга, по запросу структурных подразделений Института.

   Введение в эксплуатацию и дальнейшее развитие пользовательских сервисов веб-ориентированной информационно-аналитической системы для управления сетевыми и другими типами лицензий на программное обеспечение в ЛИТ.

   Имплементация иерархической системы обработки и хранения данных в информационно-вычислительную систему для радиобиологических исследований с целью ускорения обработки экспериментальных данных и разработка веб-сервисов для обеспечения удобной работы пользователя с результатами анализа данных.

   Опытная эксплуатация системы "Личный кабинет"2 службы управления учетными записями ОИЯИ.

   Разработка концепции и создание технологической основы платформы "Цифровая экосистема ОИЯИ". Интеграция в платформу нескольких функционирующих в ОИЯИ сервисов корпоративной информационной системы.

3. Проведение специальных курсов, связанных с обработкой и анализом данных для экспериментов класса мегасайнс, в том числе для проекта NICA. Организация учебных тренингов по решению прикладных задач на основе методов машинного и глубокого обучения, в том числе в странах-участницах ОИЯИ по программам международного сотрудничества.
   
   Разработка полигона интеллектуальных когнитивных роботов и проведение занятий лабораторного практикума по робототехнике.

Сотрудничество по теме: