Архитектура системы параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей

Сети Интернета вещей в настоящее время находят свое применение во многих областях жизни людей. Краеугольным камнем в вопросе возможности дальнейшего распространения и использования таких сетей является аспект обеспечения их безопасности. Однако особенности сетей данного вида таковы, что использование в них традиционных средств и систем компьютерной защиты затруднено или невозможно. Одной из таких особенностей является необходимость в режиме реального времени и с минимальными вычислительными затратами анализировать очень большие объемы данных, разнородных по своей природе. С учетом особенностей вычислительных мощностей сети Интернета вещей предлагается архитектура системы параллельной обработки больших данных, основанная на использовании технологии обработки потоков данных Complex Event Processing и платформы параллельных вычислений Hadoop. Рассматриваются вопросы, непосредственно связанные с архитектурой системы, а также с реализацией следующих ее основных компонентов: сбора данных, хранения данных, нормализации и анализа данных и визуализации данных. Взаимосвязь между компонентами обеспечивается с помощью распределенной файловой системы Hadoop, которая является основой для построения распределенного хранилища данных. Компонент сбора данных организует распределенный прием данных и их хранение в компоненте хранилища данных. Компонент нормализации и анализа данных преобразует их к единому формату и обрабатывает с помощью правил корреляции. Компонент визуализации данных представляет данные в графическом виде, более удобном для дальнейшего восприятия оператором. Обсуждаются результаты экспериментальной оценки производительности системы, подтверждающие вывод о ее высокой эффективности.