Информационно-вычислительная инфраструктура ОИЯИ

Участвующие страны и международные организации:
Азербайджан, Армения, Беларусь, Болгария, Германия, Грузия, Египет, Италия, Казахстан, Китай, Молдова, Монголия, Польша, Россия, Румыния, Словакия, США, Тайвань, Украина, Франция, ЦЕРН, Чехия, Швеция, ЮАР.

Изучаемая проблема и основная цель исследований:

Целью темы является развитие сетевой и информационно-вычислительной инфраструктуры ОИЯИ для обеспечения научно-производственной деятельности Института и государств-членов необходимыми средствами современных информационных технологий согласно 7-летнему плану развития ОИЯИ. Особым направлением в рамках темы является развитие Многофункционального информационно–вычислительного комплекса ЛИТ ОИЯИ (МИВК), представленного в виде Проекта.

Ожидаемые результаты по завершении этапов темы:

1. Развитие сетевой и информационно-вычислительной инфраструктуры МИВК для обеспечения реализации 7-летнего плана развития ОИЯИ необходимыми средствами современных информационных технологий. Создание единого пространства существующих в ОИЯИ ресурсов: вычислительных, информационных и хранения данных.

   Развитие внешней и локальной сетевых инфраструктур, обеспечивающих возможность обмена данными между подразделениями института, государствами членами ОИЯИ и сотрудничающими с ОИЯИ международными организациями; создание сетевой инфраструктуры для приема и передачи данных между установками BM@N, MPD, SPD и on/off-line кластерами мегапроекта NICA; поддержка и развитие общих сетевых сервисов, таких как электронная почта (e-Mail), управление именами (DNS), кэширование данных (Proxy), управление ресурсами (IPDB), мониторинг (NMIS), сервис единой авторизации (SSO), система информационной безопасности.

   Модернизация и развитие инженерной инфраструктуры МИВК, включая системы электроснабжения и бесперебойного питания, системы кондиционирования и вентиляции, комплекса противопожарной безопасности в соответствии с ростом вычислительных мощностей и объемов хранилищ данных.

   Создание на базе МИВК off-line кластера в рамках развития компьютинга для мегапроекта NICA, обеспечивающего прием данных с детекторов, передачу данных на обработку и хранение и удовлетворяющего всем требованиям к сетевой инфраструктуре, вычислительным архитектурам, системам хранения и к соответствующему программному обеспечению.

   Создание единой информационно-вычислительной платформы (среды) на базе ресурсов МИВК для реализации нейтринной программы ОИЯИ.

   Наращивание вычислительных ресурсов и систем хранения данных грид-компоненты МИВК Tier1, Tier2/ЦИВК в соответствии с 7-летним планом развития ОИЯИ, что позволит обеспечить для всех коллабораций LHC на Tier1 и Tier2 в ОИЯИ необходимый уровень ресурсов.

   Переход на новое системное программное обеспечение: системы пакетной обработки заданий и планировщики заданий – HTCondor и Slurm, единая система доступа к программному обеспечению CVMFS.

   Наращивание облачной компоненты МИВК с целью расширения спектра услуг, предоставляемых пользователям. Создание интегрированной облачной среды с облаками государств членов ОИЯИ.

   Наращивания вычислительных ресурсов суперкомпьютера "Говорун" для удовлетворения потребностей пользователей из ОИЯИ и стран-участниц вычислительными ресурсами для решения задач, связанными с высокопроизводительными вычислениями (НРС). Обеспечение пользователей современными IT – решениями и сервисами в области HPC.

   Создание на базе систем хранения МИВК "озера данных" (Data Lake) ОИЯИ.

   Создание и внедрение унифицированной системы управления ресурсами МИВК, оптимизирующей эффективность использования вычислительных ресурсов и ресурсов хранения.

   Разработка и внедрение унифицированной системы управления обработкой данных, позволяющей упростить процесс запуска обработки данных новых экспериментов и оптимизировать использование имеющихся вычислительных ресурсов за счет лучшего прогнозирования потоков данных.

   Создание информационно–аналитической интеллектуальной системы мониторинга, на новых технологических подходах, в том числе аналитике Больших данных, позволяющей агрегировать информацию с разных уровней вычислительного центра: инженерной инфраструктуры, сети, вычислительных узлов, систем запуска задач, элементов хранения данных, грид–сервисов и др., что обеспечит высокий уровень надежности МИВК.
   Усовершенствование системы обеспечения информационной безопасности.

2. Сопровождение и дальнейшее развитие интегрированной корпоративной информационной системы (КИС) ОИЯИ, включающей в себя подсистемы бухгалтерского, финансового и кадрового учета, электронного документооборота, связанные между собой через универсальный шлюз обмена данными и обеспечивающей оперативный доступ к достоверной управленческой информации. Развитие информационной системы управления проектом NICA. Модернизация подсистемы PIN. Реализация системы "Личный кабинет", предоставляющей конечному пользователю доступ к его персональной информации, а также упрощающей доступ к КИС ОИЯИ. Развитие электронных библиотек и видеопорталов.

3. Создание специального полигона на базе МИВК для проведения учебных курсов по современным IT-технологиям.

Ожидаемые результаты по этапам темы в текущем году:

1. Обеспечение устойчивого, безопасного и целостного функционирования информационно-телекоммуникационной сети ОИЯИ (магистральной опорной сети (2х100 Гбит/сек); транспортной сети мегапроекта NICA (8х100 Гбит/сек); многосвязной сети ЛИТ (100 Гбит/сек); магистральных телекоммуникационных каналов (3х100 Гбит/сек); сети Wi-Fi на площадках Института)  для надежного обмена данными между подразделениями Института, государствами-членами и сотрудничающими с ОИЯИ международными организациями.

   Обеспечение полнофункциональной и оптимальной работы систем гарантированного электроснабжения и климатического контроля вычислительной инфраструктуры МИВК . Реализация проекта новой системы противопожарной безопасности инфраструктуры МИВК.

   Наращивание производительности и системы хранения базовой грид–компоненты МИВК – Tier1 центра в ОИЯИ: процессорных мощностей до 300 kHS06, системы хранения dCache на дисках до 13,1 РВ.

   Увеличение вычислительных ресурсов и систем хранения данных, входящих в интегральную компоненту Tier2/ЦИВК, - процессорных мощностей до 150 kHS06 и дисковых хранилищ до 6,5 РВ.

   Наращивание емкости общей распределенной системы хранения и доступа к данным на базе файловой системы EOS в МИВК ОИЯИ до 30 РВ. Поддержка и сопровождение работы пользователей с системой EOS.

   Расширение набора прикладных приложений, доступного пользователям в облачном сервисе для научных и инженерных расчётов (http://saas.jinr.ru). Оптимизация работы вычислительной среды для нейтринных экспериментов - нейтринной платформы. Наращивание ресурсов облака МИВК, в том числе за счёт ресурсов, приобретённых экспериментами Baikal-GVD, JUNO, NOvA/DUNE, и их сопровождение.

   Дооснащение иерархической системы обработки и хранения данных суперкомпьютера "Говорун" теплым слоем объемом 8 ПБ на базе SSD Ruler. Создание полигона для квантовых вычислений на базе узлов с большой памятью.
   Создание полигона, имитирующего работу детектора MPD, на базе технологии приема и обработки данных DAOS. Интеграция холодного слоя иерархической системы обработки и хранения данных суперкомпьютера "Говорун" под управлением FS EOS с общим хранилищем для экспериментов на комплексе NICA.

   Поддержка и обновление программного обеспечения промежуточного уровня грид. Поддержка и сопровождение работы виртуальных организаций WLCG, экспериментов NICA, COMPASS, NOvA, ILC и т.д., локальных групп пользователей на ресурсах Тier1 и Тier2 МИВК. Сопровождение единой системы доступа к программному обеспечению CVMFS. Разработка прототипа системы распределенной обработки данных эксперимента SPD, использующей системы хранения (ленточные и дисковые) и гетерогенные вычислительные ресурсы МИВК.

   Дальнейшее развитие распределённой информационно-вычислительной платформы на базе DIRAC, интегрирующей облачные ресурсы организаций государств членов ОИЯИ. Внедрение системы мониторинга работоспособности и производительности ресурсов, интегрированных в DIRAC. Интеграция новых вычислительных ресурсов и ресурсов хранения.

   Создание и тестирование набора сервисов прототипа унифицированной системы управления ресурсами МИВК. Разработка концепции и плана работ по созданию пользовательской инфраструктуры Больших данных для решения актуальных задач ОИЯИ.

   Расширение функций системы мониторинга МИВК дополнительными элементами аккаунтинга для отслеживания действий пользователей во времени. Актуализация и поддержка системы мониторинга, включение в сферу мониторинга отслеживания параметров новых элементов МИВК.

2. Развитие и сопровождение системы электронного документооборота СЭД "Дубна", системы управления проектом APT EVM для NICA, систем ADB2, ИСС, "База документов", HR LHEP, CERNDB, СЭД "Авансовые отчёты" по запросам конечных пользователей и в соответствии с разрабатываемой концепцией облачной SaaS платформы единой административно-хозяйственной информационной системы. Сопровождение информационной системы научной аттестации (ИСНА) ОИЯИ.

   Опытная эксплуатация сервера научных публикаций на основе программной платформы Invenio-JOIN², обеспечение взаимодействия с ИС PIN на уровне библиографических метаданных. Разработка и запуск в эксплуатацию средств интеграции систем PIN и JOIN² с целью переноса ввода данных о публикациях в систему JOIN².

   Сопровождение библиотек программ JINRLIB и MATHLIB. Пополнение JINRLIB программами вычислительной физики. Обновление библиотек математических программ, их интегрирование с современными языками программирования.

   Продолжение работ по сопровождению и модернизации центральных информационных серверов, порталов и баз данных для информационного и программного обеспечения деятельности ЛИТ и ОИЯИ: развитие сервисов портала "Визит-центр", модернизация и администрирование сайта журналов ЭЧАЯ и "Письма в ЭЧАЯ", создание и поддержка сайтов конференций, симпозиумов по заявкам лабораторий и других подразделений ОИЯИ, организация сайтов подразделений и конференций ОИЯИ в режиме хостинга.

   Реализация и сопровождение веб-ориентированной информационно-аналитической системы для автоматизации процесса управления сетевыми и другими типами лицензий на программное обеспечение.

   Развитие информационно-вычислительной системы для радиобиологических исследований, включающей в себя систему хранения и обработки экспериментальных данных для анализа поведенческих и морфологических изменений в центральной нервной системе лабораторных животных.

   Имплементация системы управления качеством воздуха (AQMS), системы моделирования качества воздуха (ADMoSS) в среду MICC.

   Разработка проекта системы "Личный кабинет", учитывающей особенности работы с персональной информацией и упрощающей доступ к информационно-вычислительным ресурсам ОИЯИ.

3. Организация и проведение специальных курсов и тренингов по новейшим суперкомпьютерным технологиям, технологиям и инструментарию для решения прикладных задач на основе методов машинного и глубокого обучения. Проведение специальных курсов и тренингов в странах-участницах ОИЯИ по программам международного сотрудничества. Организация специализированных учебных курсов по подготовке IT-специалистов для решения задач, связанных с обработкой и анализом данных для экспериментов класса мегасайнс, в том числе для проекта NICA.

   Создание лаборатории интеллектуальной робототехники для разработки систем когнитивного управления на базе ускорительного комплекса NICA и в других лабораториях ОИЯИ, разработка лабораторного практикума по робототехнике. Проведение школ по задачам искусственного интеллекта и квантовым вычислениям.

Сотрудничество по теме: