Метод чередования обучаемых параметров

В работе предлагается метод повышения качества обучения сверточных искусственных нейронных сетей (ИНС) за счет разделения параметров по их возможности расширения рецептивного поля. При обучении ResNet50 достигается увеличение точности за счет чередуемой остановки обучения в 4-х слоях, расширяющих рецептивное поле. Показано, что повышение обобщающей способности модели при использовании предложенного метода достигается за счет устранения избыточного вклада отдельных существенных (окклюзивных) элементов изображения при формировании карт признаков. В пользу указанных предположений приводятся результаты экс-периментов в задаче transfer learning и рассуждения относительно существования указанной проблемы. Предлагаемые подходы могут оказаться полезными, в частности, при обучении ИНС на малых данных или дистилляции обучающего множества, где проблемы переобучения на отдельных окклюзивных признаках имеют высокую значимость.