KRGP: knowledge-based response generation with persona

Чтобы создать персонализированный ответ, порождающая модель должна учитывать личную информацию о пользователе, заданный вопрос и знания о предметной области. Поэтому необходимо научиться извлекать релевантную информацию, которая поможет порождающей модели составить ответ пользователю. В настоящей работе мы предлагаем разбить процесс на три этапа: отбор релевантных предложений из текстовой базы знаний, отбор наиболее подходящих предложений из текстового описания личности с учетом извлеченных знаний и формирование ответа на основе полученных знаний и персоналии. Мы используем Sentence Transformer и адаптируем алгоритм из работы о модели CLIP для получения контекстнозависимых представлений предложений и извлечения наиболее релевантных фрагментов текста из базы знаний. Мы обнаружили, что фокусная функция ошибки (focal loss) показывает лучшие результаты в задачах бинарной классификации персоналии на примере несбалансированного набора данных FoCus. Мы также показали, что text2text Transformer BART хорошо справляется с задачами порождения условного ответа в диалоге. Разработанная нами система заняла первое место в таблице лидеров The 1st Workshop on Customized Chat Grounding Persona. Исходный код разработанных моделей доступен на GitHub по адресу https://github.com/dmitrymailk/deeppavlov_focus Библ. – 26 назв.