Разработка и внедрение пилотного приложения для SPD Online Filter

Аннотации

Аннотация

Пилотные системы широко применяются в распределенных вычислениях в качестве гибкого механизма динамического управления вычислительной нагрузкой и распределения ресурсов. Благодаря своей масштабируемости и адаптивности они продемонстрировали высокую эффективность в крупномасштабных экспериментах и высокопроизводительных вычислительных средах. Вместе с тем отсутствие единой абстракции и унифицированных лучших практик привело к появлению множества реализаций, зачастую обладающих ограниченной взаимной совместимостью. Рассматриваются архитектурные принципы и модели функционирования, лежащие в основе pilot-фреймворков, с особым акцентом на механизме отложенного связывания (late binding) — ключевой особенности, обеспечивающей эффективное использование ресурсов и адаптивное планирование задач. Представлена реализация, разработанная для эксперимента SPD в виде двухуровневой системы, объединяющей пилотный процесс и демон мониторинга. Для обеспечения эффективного планирования, контроля и формирования отчетности в системе используется многопоточность. В работе также представлены практические результаты внедрения данного подхода в системе онлайн-фильтрации SPD, с акцентом на его влияние на выполнение распределенных вычислительных нагрузок.