Метод обработки фото- и видеоданных с фотоловушек с использованием двухстадийного нейросетевого подхода

В работе предложена технология анализа данных с фотоловушек с помощью двухстадийной нейросетевой обработки. Задача первого этапа состоит в отделении пустых изображений от непустых. Для решения задачи проведен сравнительный анализ архитектур YOLOv5, YOLOR, YOLOX и выявлена наиболее оптимальная модель детектора. Задача второго этапа заключается в классификации объектов, найденных детектором. Сравнивались модели EfficientNetV2, SeResNet, ResNeSt, ReXNet, ResNet. Для обучения модели детектора и классификатора разработан подход подготовки данных, заключающийся в удалении изображений-дубликатов из выборки. Метод был модифицирован с помощью агломеративной кластеризации для разделения выборки на обучение, валидацию и тест. В задаче обнаружения объектов лучшим на наборе данных оказался алгоритм YOLOv5-L6 с точностью нахождения 98,5%. В задаче классификации найденных объектов, лучше всех себя показала архитектура ResNeSt-101 с качеством распознавания 98,339% на тестовых данных.