|
Theory of data
Модель текста для автоматической оценки делового письма на заданную тему
Д. Д. Зафиевский, Н. С. Лагутина, О. А. Мельникова, А. Ю. Полетаев Ярославский государственный университет им. П. Г. Демидова, ул. Советская, д. 14, г. Ярославль, 150003 Россия
Аннотация:
В статье описана модель текста, предназначенная для автоматической оценки связного текста в виде письма на заданную тему. Параметры оценки сформулированы и формализованы в виде 14 критериев при помощи экспертов в области обучения английскому языку. Критерии включают параметры, относящиеся к анализу лексики, включая особенности предметной области, тематики текста, стилю и формату письма, средствам логической связи предложений. Авторами разработаны алгоритмы определения соответствующих числовых характеристик с использованием методов и инструментов автоматического анализа текстов. Алгоритмы основаны на анализе состава и структуры предложений, для чего используются, в том числе данные специализированных словарей. Характеристики ориентированы на проверку электронного делового письма, но могут быть адаптированы к анализу других письменных текстов, например, с помощью замены словарей. На основе разработанных алгоритмов создана система автоматической оценки текстов. Проведён эксперимент по анализу результатов работы этой системы на корпусе из 20 текстов, предварительно размеченных преподавателями английского языка. Автоматическая оценка и оценка экспертов сравнивались с помощью тепловых карт и технологии двумерного представления векторов UMAP, применённой к характеристическим векторам текстов. В большинстве случаев не было выявлено значимых различий между этими оценками, кроме того, автоматическая оценка оказалась более объективной. Таким образом, разработанная модель успешно справилась с поставленной задачей и может применяться для оценки текстов, написанных человеком. Результаты будут использованы в проекте автоматического построения языкового профиля учащегося. Достоинствами модели являются хорошая интерпретируемость получаемых результатов, объективность, перспективы развития.
Ключевые слова:
автоматическая обработка текста, параметры текста, автоматизированная оценка эссе, деловое письмо.
Поступила в редакцию: 27.09.2022 Исправленный вариант: 14.11.2022 Принята в печать: 16.11.2022
Образец цитирования:
Д. Д. Зафиевский, Н. С. Лагутина, О. А. Мельникова, А. Ю. Полетаев, “Модель текста для автоматической оценки делового письма на заданную тему”, Модел. и анализ информ. систем, 29:4 (2022), 348–365
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/mais784 https://www.mathnet.ru/rus/mais/v29/i4/p348
|
Статистика просмотров: |
Страница аннотации: | 39 | PDF полного текста: | 15 | Список литературы: | 4 |
|