Статистика и кластеры в поисках аномальных вкраплений в условиях больших данных

Построены алгоритмы снижения уровня «ложных тревог» (ЛТ) при поиске аномалий в сложных гетерогенных последовательностях объектов (Big Data). Традиционно в математической статистике такое снижение достигается за счет минимизации ошибки ЛТ. Однако в задачах выявления аномалий (редкие вкрапления аномальных данных) такой подход ведет к повышению вероятности потери искомых аномалий. Чтобы не потерять искомые аномалии, в данной работе предлагается, наоборот, в критериях, рассчитанных на наименьшую сложность вычислений, допустить большую ошибку появления ЛТ, но использовать тот факт, что выделенных такими критериями объектов значительно меньше, чем исходных объектов в Big Data. Тогда выделенные объекты можно объединить в один кластер и использовать дополнительную информацию, связанную с объектами этого кластера, для выявления искомых аномалий. Смысл этих действий состоит в том, что более сложно вычислимые характеристики объектов для отсева ЛТ не потребуют больших вычислительных ресурсов на меньшем относительно исходных данных кластере объектов. Показано, что при выполнении некоторых условий порядок использования дополнительной информации не влияет на результат ее использования при фильтрации ЛТ. Результаты применения алгоритма фильтрации в последовательности объектов обобщены на фильтрацию ЛТ в форме причинно-следственных схем в исходных данных. При известных схемах показано, как можно фильтровать ЛТ, выявляя только фрагменты схем.