Послойная дистилляция знаний для обучения упрощенных биполярных морфологических нейронных сетей

В работе представлено улучшение структуры биполярного морфологического нейрона, повышающее его вычислительную эффективность и новый подход к обучению на основе непрерывных аппроксимаций максимума и дистилляции знаний. Были проведены эксперименты на выборке MNIST с нейронной сетью LeNet-подобной архитектуры, а также на выборке CIFAR10 с моделью архитектуры ResNet-22. На LeNet-подобной модели с помощью предложенного метода обучения получилось добиться 99.45% точности классификации при такой же точности у классической сети, а на ResNet-22 точность составила 86.69% при точности 86.43% у классической модели. Полученные результаты показывают, что предложенный метод, использующий log-sum-exp (LSE) аппроксимацию максимума и послойную дистилляцию знания, позволяет получить упрощенную биполярную морфологическую сеть, не уступающую классическим сетям.