Алгоритмы интеллектуального анализа данных на основе категориальных векторов

В последнее время интеллектуальный анализ текстовых данных получил широкое распространение в связи потребностью многих отраслей экономики и науки в получении и автоматической категоризации больших объемов таких данных. Одним из самых перспективных подходов к решению задач такого типа являются подходы, основанные на машинном обучении. В большинстве случаев методы и алгоритмы интеллектуального анализа данных работают с простым набором слов, которые никак не связаны друг с другом, чаще всего учитывается только их взаимосвязь с документами, характеризующуюся частотой их встречаемости в коллекции или корпусе. В докладе предлагается алгоритм интеллектуального анализа данных, который на любой запрос пользователя, независимо от размера и равномерности обучающей выборки дает пользователю непустой ответ, отсортированный по степени релевантности запросу пользователя. Кроме того, предлагается способ решения проблемы лексической неоднозначности с помощью "перевзвешивания" термов с помощью мер семантической близости.