Improving RAG with LoRA finetuning for persona text generation

В статье рассматривается задача поддержания согласованности в системах порождения текста с использованием поиска (Retrieval-Augmented Generation, RAG) для порождения текста персонажей в случаях, когда базы данных подвержены частым обновлениям, и стандартное дообучение больших языковых моделей (LLM) оказывается недостаточной. Мы предлагаем подход, который улучшает существующую систему RAG, применяемую для поиска информации, основанной на персонажах в диалоговых агентах, посредством дообучения с использованием Low-Rank Adaptation на синтетических данных. Нами было установлено, что данный метод улучшает логику и точность системы на 5% по оценкам SSA и обеспечивает создание более связного и контекстуально релевантного контента. Библ. – 23 назв.