Обучение с подкреплением для управления: проблемы стабилизации динамических систем

Обучение с подкреплением - это общая методология адаптивного оптимального управления, которая находит всё более широкое применение в областях, начиная с видеоигр и заканчивая роботами-манипуляторами. Несмотря на многообещающие результаты, регуляторы на основе обучения с подкреплением не гарантируют устойчивости объекта управления, что снижает их применимость в промышленности. Для обеспечения таких гарантий необходимо принимать меры. В связи с этим возникает область, которую можно назвать стабилизирующим обучением с подкреплением. Конкретные подходы варьируются от задействования людей-контролёров для отсеивания небезопасных управляющий воздействий до так называемых формально верифицированных экранов и интеграции с классическими стабилизирующими контроллерами. На этом семинаре мы рассмотрим некоторые современные подходы к обеспечению стабилизации в регуляторах обучения с подкреплением и обсудим открытые вопросы.