|
Эта публикация цитируется в 4 научных статьях (всего в 4 статьях)
Обзоры
Глубокие нейронные сети: зарождение, становление, современное состояние
А. В. Макаренко Институт проблем управления им. В.А. Трапезникова РАН, г. Москва
Аннотация:
Рассмотрено эволюционное развитие искусственных нейронных сетей: от зарождения в виде нейрона Маккаллока - Питтса до современных глубоких архитектур. Перечислены основные «нейросетевые кризисы» и показаны причины их появления. Основное внимание уделено нейронным архитектурам, обучающимся в режиме «обучения с учителем» по размеченной выборке данных. Приведены ссылки на оригинальные работы и основополагающие математические теоремы, формирующие теоретический фундамент под направлением искусственных нейронных сетей. Проанализированы причины затруднений на пути к формированию эффективных глубоких нейронных архитектур, рассмотрены пути разрешения возникших трудностей, выделены обстоятельства, способствующие успеху. Перечислены основные слои свёрточных и рекуррентных нейронных сетей, а также их архитектурные комбинации. Приведены примеры и ссылки на статьи, демонстрирующие эффективность глубоких нейронных сетей не только на данных, имеющих ярко выраженные структурные паттерны (изображения, голос, музыка и др.), но и на сигналах стохастического/хаотического характера. Выделено также одно из основных направлений развития свёрточных нейросетей — внедрение в слои обучаемых интегральных преобразований. На базовом уровне рассмотрена современная архитектура «Трансформер» — мейнстрим в задачах обработки последовательностей (в том числе в компьютерной лингвистике). Приведена ключевая проблематика современной теории искусственных нейронных сетей.
Ключевые слова:
глубокое обучение, свёрточные нейронные сети, рекуррентные нейронные сети.
Поступила в редакцию: 17.12.2019 Исправленный вариант: 25.12.2019 Принята в печать: 25.12.2019
Образец цитирования:
А. В. Макаренко, “Глубокие нейронные сети: зарождение, становление, современное состояние”, Пробл. управл., 2020, № 2, 3–19
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/pu1178 https://www.mathnet.ru/rus/pu/v2/p3
|
Статистика просмотров: |
Страница аннотации: | 347 | PDF полного текста: | 149 | Список литературы: | 45 | Первая страница: | 19 |
|