Редактирование изображений с помощью диффузионных моделей

Редактирование изображений представляет собой сложную и важную проблему в компьютерном зрении, часто требующую много качественно размеченных данных для достижения желаемого редактирования или стилизации. Недавние значительные достижения в генеративном моделировании изображений открыли двери для новых, более эффективных методов, которые решают эти проблемы с минимальным контролем человека или даже полностью без него.
Наиболее многообещающим направлением исследований в этом отношении являются диффузионные модели, которые предлагают потенциально новые механизмы манипулирования изображениями на основе текста или другого изображения.
Докладчик расскажет о современных методах манипуляции изображениями методами диффузии. Ссылки на статьи: https://arxiv.org/abs/2208.01626, https://arxiv.org/abs/2210.09276, https://arxiv.org/abs/2211.09794, https://arxiv.org/abs/2309.04907. Также о том, как они устроены и об их текущих недостатках, которые пока не позволяют их использовать на практике.
Далее автор расскажет об исследованиях научной команды и о результатах, которых удалось достичь. А именно, о том, как удалось ускорить текущие методы и существенно повысить визуальное качество редактирований.