Программное обеспечение для прогнозирования времени запуска задачи путем статистического анализа истории очереди задач

Аннотация

Предсказание времени запуска задачи без помещения ее в очередь задач в со-
временных вычислительных центрах очень сложно. Предлагается усовершенство-
вать созданный ранее инструмент прогнозирования за счет использования более
современных программных интерфейсов для системы массового обслуживания
SchedMD (Slurm), а также за счет использования различных методов матема-
тического прогнозирования времени запуска задачи. Для сравнения и оценки
моделей машинного обучения выбран файл SWF с данными истории выполнения
задач на вычислительном кластере Люксембургского университета с 59 715 зада-
чами. Исследованы следующие методы: линейная регрессия с L2-регуляризацией,
метод опорных векторов, случайный лес, LightGBM, CatBoost, LightGBM с оп-
тимизацией параметров, CatBoost с оптимизацией параметров. Для проверки
точности прогнозапостроен тестовый стенд набазе симулятораSlurm (центр вы-
числительных исследований SUNY при Университете Буффало, США), который
работает на основе выполнения задач и организации очереди сохраненных логов.