|
Эта публикация цитируется в 5 научных статьях (всего в 5 статьях)
ПЕРЕДОВЫЕ ИССЛЕДОВАНИЯ В ОБЛАСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И МАШИННОГО ОБУЧЕНИЯ
ruSciBERT:: языковая модель на базе архитектуры трансформер для получения семантических векторных представлений научных текстов на русском языке
Н. А. Герасименко, А. С. Чернявский, М. А. Никифорова ПАО "Сбербанк", г. Москва
Аннотация:
Значительный рост числа научных публикаций и количества научных отчетов делает задачу их обработки и анализа сложной и трудозатратной. Языковые модели, основанные на архитектуре Трансформер и предобученные на больших текстовых коллекциях, позволяют качественно решать множество задач анализа текстовых данных. Для работы с научными текстами на английском языке существуют модели SciBERT [1] и ее модификация SPECTER [2], однако они не поддерживают русский язык в связи с малым количеством текстов в обучающей выборке. Кроме того, способ оценки качества языковых моделей для научных текстов, бенчмарк SciDocs, также поддерживает только английский язык. Предлагаемая модель ruSciBERT позволит решать широкий спектр задач, связанных с анализом научных текстов на русском языке, а прилагаемый к ней бенчмарк ruSciDocs позволит оценивать качество языковых моделей применительно к этим задачам.
Ключевые слова:
языковая модель, семантические представления, SciBERT, SciDocs.
Образец цитирования:
Н. А. Герасименко, А. С. Чернявский, М. А. Никифорова, “ruSciBERT:: языковая модель на базе архитектуры трансформер для получения семантических векторных представлений научных текстов на русском языке”, Докл. РАН. Матем., информ., проц. упр., 508 (2022), 104–105; Dokl. Math., 508:suppl. 1 (2022), S95–S96
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/danma345 https://www.mathnet.ru/rus/danma/v508/p104
|
|