|
Эта публикация цитируется в 3 научных статьях (всего в 3 статьях)
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Извлечение предпочтений пользователя на основе методов автоматического порождения текстовых описаний изображений фотоальбома
А. С. Харчевникова, А. В. Савченко Национальный исследовательский университет «Высшая школа экономики», 603155, Россия, г. Нижний Новгород, ул. Большая Печерская, д.25/12
Аннотация:
В работе рассматривается задача извлечения предпочтений пользователя по его фотоальбому. Предложен новый подход на основе автоматического порождения текстовых описаний фотографий и последующей классификации таких описаний. Проведен анализ известных методов создания аннотаций по изображению на основе свёрточных и рекуррентных (Long short-term memory) нейронных сетей. С использованием набора данных Google's Conceptual Captions обучены новые модели, в которых объединяются характерные признаки фотографии и выходы блока рекуррентной нейронной сети. Исследовано применение алгоритмов обработки текстов для преобразования полученных аннотаций в пользовательские предпочтения. Проведены экспериментальные исследования с помощью наборов данных Microsoft COCO Captions, Flickr8k и специально собранного набора данных, отражающего интересы пользователя. Показано, что наилучшее качество определения предпочтений достигается с помощью методов поиска ключевых слов и суммаризации текстов из Watson API, которые оказываются на 8% точнее по сравнению с традиционным латентным размещением Дирихле. При этом описания, порожденные с помощью обученных моделей, классифицируются на 1–7% точнее известных аналогов.
Ключевые слова:
анализ предпочтений пользователя, обработка изображений, текстовое описание изображений, сверточные нейронные сети.
Поступила в редакцию: 13.12.2019 Принята в печать: 06.03.2020
Образец цитирования:
А. С. Харчевникова, А. В. Савченко, “Извлечение предпочтений пользователя на основе методов автоматического порождения текстовых описаний изображений фотоальбома”, Компьютерная оптика, 44:4 (2020), 618–626
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/co828 https://www.mathnet.ru/rus/co/v44/i4/p618
|
Статистика просмотров: |
Страница аннотации: | 129 | PDF полного текста: | 79 | Список литературы: | 11 |
|