|
Эта публикация цитируется в 5 научных статьях (всего в 5 статьях)
Общие численные методы
Малоранговое представление нейронных сетей
Ю. В. Гусакa, Т. К. Даулбаевa, И. В. Оселедецab, Е. С. Пономаревa, А. С. Чихоцкийa a 121205 Москва, Большой бульвар, 30, стр. 1, Сколковский институт науки и технологий, Россия
b 119333 Москва, ул. Губкина, 8, Институт вычислительной математики им. Г.И. Марчука Российской академии наук, Россия
Аннотация:
Представлен новый метод ускорения глубоких нейронных сетей, который использует основные идеи сокращения размерности для решения уравнений в динамических системах. В основе предложенного метода лежит алгоритм поиска подматрицы максимального объема (MaxVol). Эффективность разработанного метода продемонстрирована на задаче ускорения предобученных нейронных сетей на задаче классификации изображений для трех разных наборов данных. Показано, что во многих практических задачах возможно эффективно заменить сверточные слои на полносвязные с малым числом параметров и меньшей вычислительной сложностью без существенной потери точности.
Библ. 39. Фиг. 3. Табл. 4.
Ключевые слова:
ускорение нейронных сетей, MaxVol, машинное обучение, анализ компонент.
Поступила в редакцию: 24.12.2020 Исправленный вариант: 24.12.2020 Принята в печать: 14.01.2021
Образец цитирования:
Ю. В. Гусак, Т. К. Даулбаев, И. В. Оселедец, Е. С. Пономарев, А. С. Чихоцкий, “Малоранговое представление нейронных сетей”, Ж. вычисл. матем. и матем. физ., 61:5 (2021), 800–812; Comput. Math. Math. Phys., 61:5 (2021), 774–785
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/zvmmf11239 https://www.mathnet.ru/rus/zvmmf/v61/i5/p800
|
Статистика просмотров: |
Страница аннотации: | 70 |
|