Программное обеспечение для прогнозирования времени запуска задачи путем статистического анализа истории очереди задач

Аннотация

Предсказание времени запуска задачи без помещения ее в очередь задач в современных вычислительных центрах очень сложно. Предлагается усовершенствовать созданный ранее инструмент прогнозирования за счет использования более современных программных интерфейсов для системы массового обслуживания SchedMD (Slurm), а также за счет использования различных методов математического прогнозирования времени запуска задачи. Для сравнения и оценки моделей машинного обучения выбран файл SWF с данными истории выполнения задач на вычислительном кластере Люксембургского университета с 59 715 задачами. Исследованы следующие методы: линейная регрессия с L2-регуляризацией, метод опорных векторов, случайный лес, LightGBM, CatBoost, LightGBM с оптимизацией параметров, CatBoost с оптимизацией параметров. Для проверки точности прогноза построен тестовый стенд на базе симулятора Slurm (центр вычислительных исследований SUNY при Университете Буффало, США), который работает на основе выполнения задач и организации очереди сохраненных логов.