|
Обработка естественного языка
Оценка информативности признаков на основе характеристики тематической значимости при классификации потока новостных сообщений
В. В. Жебельa, С-Н. А. Жариковаb, И. В. Соченковa a Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия
b Российский университет дружбы народов, Москва, Россия
Аннотация:
Статья посвящена оценке качества нескольких методов тематической классификации новостных сообщений. Реализовано несколько известных алгоритмов тематической рубрикации с использованием в качестве признаков различных численных оценок информационной значимости. Рассмотрены классический и предложенный авторами метод определения весов признаков на примере набора данных “20 новостных групп”. Представлены полученные результаты экспериментальной апробации системы тематической классификации новостных сообщений, задача которой классифицировать данные на заданные тематические группы. Применение предложенного метода позволяет существенно повысить качество классификации даже с применением базовых методов (мультиномиального наивного байесовского классификатора) до уровня лучших методов в этой области (метод опорных векторов) на эталонном наборе данных.
Ключевые слова:
тематический анализ текстов, машинное обучение, характеристика тематической значимости, “20 новостных групп”.
Образец цитирования:
В. В. Жебель, С-Н. А. Жарикова, И. В. Соченков, “Оценка информативности признаков на основе характеристики тематической значимости при классификации потока новостных сообщений”, Искусственный интеллект и принятие решений, 2019, № 3, 52–59
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/iipr180 https://www.mathnet.ru/rus/iipr/y2019/i3/p52
|
Статистика просмотров: |
Страница аннотации: | 33 | PDF полного текста: | 18 | Список литературы: | 1 |
|