MPD Data Lab: на пути к современным методам и технологиям анализа данных для эксперимента MPD

Аннотация

Аннотация

MPDRoot — это офлайн-фреймворк для моделирования, реконструкции и физического анализа моделированных или экспериментальных данных экспериментаMPD наколлайдере NICA. Эксперимент продлится несколько десятилетий и позволит получить ∼ 10⁸ событий столкновений тяжелых ионов с масштабом данных 100 ПБ для физического анализа. В целях успешного эксперимента крайне важно иметь современное программное обеспечение для анализа данных, которое интегрирует в себя лучшие из новейших технологий, его разработка осуществляется наиболее эффективными и временем проверенными методологиями.

Представлена MPD Data Lab — технологическая интеграция концепций разработки через приемочное тестирование и быстрое прототипирование в фреймворк MPDRoot. Вначале была стандартизирована имеющаяся кодовая база путем проектирования и написания API. Это был необходимый шаг для возможности подключения внешних диагностических программ и детального сравнения различных реализаций модулей реконструкции. Логика диагностики инкапсулирована в отдельный контроллер — QA Engine, а ее визуализация обеспечивается фреймворком JupyterLab. Показано, как полная интеграция библиотек MPDRoot в JupyterLab позволяет использовать возможности быстрой разработки, обеспечиваемые технологией JupyterLab, для повышения производительности за счет быстрого прототипирования алгоритмов MPDRoot. Комбинация этих технологий вместе с существующей средой разработки образует программный комплекс, обеспечивающий средства для достижения долгосрочных стратегических целей — компетентной разработки программного обеспечения с надежным контролем качества и инноваций в алгоритмах.