РАЗРАБОТКА СТРАТЕГИЙ УПРАВЛЕНИЯ СЛОЖНЫМИ ПРОЕКТАМИ НА ОСНОВЕ АЛГОРИТМОВ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ

Аннотация

В данной работе рассматриваются основные подходы к формированию стратегий управления сложными проектами на основе методов машинного обучения с подкреплением. Масштаб и разнообразие задач сложных проектов, количество исполнителей и используемых ресурсов могут создавать весьма сложные комбинаторные схемы, поэтому эффективное оперативное интерпретирование таких структур и принятие обоснованных решений, гарантирующих соблюдение сроков, представляют собой значительную сложность. Чтобы преодолеть обозначенные сложности, применяются интеллектуальные системы, способные анализировать и предсказывать временные и ресурсные характеристики, относящиеся как к отдельным задачам, так и к их совокупности. Такой процесс интегрирован в марковскую модель принятия решений. В ее состав входит разработка системы показателей как количественных, так и качественных, предназначенных для оценки работы проектов. Все эти аспекты играют существенную роль в определении тех технических и экономических рисков, которые могут возникнуть в процессе реализации проектов путем определения стратегий. Цель исследования заключается в формировании интеллектуальной модели и алгоритма принятия решений при выборе стратегий реализации сложных проектов на основе моделей машинного обучения с подкреплением. Методы исследования. Для решения задачи выбора стратегий управления сложными проектами использовалась марковская модель принятия решений, используемая для оценки ценности состояний и действий агента при выборе стратегий на основе метода temporal difference. В результате оценка ценности действий производилась на основе алгоритма SARSA, позволяющего получить оптимальные варианты действий на каждой задаче выполнения проекта в зависимости от факторов внутренней и внешней неопределённости. Результаты. Представленные в статье методы предоставляют эффективный инструмент для оперативного разрешения широкого спектра задач, неизбежно возникающих при воплощении сложных проектов, учитывая как внутренние, так и внешние факторы неопределенности. Благодаря использованию модели машинного обучения с подкреплением, основанной на марковском процессе, создается основа для системы поддержки принятия решений. Эта система способна динамически оценивать ход выполнения проекта и формировать адаптивные и точные стратегии с низким уровнем погрешности. В ее структуру могут быть интегрированы различные подмодели, такие как регрессии, классификаторы, кластеризаторы и глубокие нейронные сети. Заключение. Полученные результаты в полной мере применимы для формирования эффективных стратегий управления сложными проектами. Доказано, что использование марковских моделей принятия решений в полной мере позволяет нивелировать неопределённость при определении характера закона распределения случайной величины генеральной совокупности данных, необходимых для обучения проекта. Кроме того, дискретность в МППР соответствует характеру формирования и управления сложным проектом, осуществляемым варьированием параметров  и , а в случае, когда проект длится значительное время, возможно использование параметра , эффективность применения которого подлежит дальнейшим исследованиям.