Доклады Российской академии наук. Математика, информатика, процессы управления
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Общая информация
Последний выпуск
Архив
Импакт-фактор

Поиск публикаций
Поиск ссылок

RSS
Последний выпуск
Текущие выпуски
Архивные выпуски
Что такое RSS


Докл. РАН. Матем., информ., проц. упр.:
Год:
Том:
Выпуск:
Страница:
Найти




Персональный вход:
Логин:
Пароль:
Запомнить пароль
Войти
Забыли пароль?
Регистрация

Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, том 514, номер 2, страницы 187–195
DOI: https://doi.org/10.31857/S2686954323601999 (Mi danma464) 		 
СПЕЦИАЛЬНЫЙ ВЫПУСК: ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И МАШИННОГО ОБУЧЕНИЯ

Одномерные топологические инварианты для оценки невыпуклости функции потерь

Д. С. Воронковаa, С. А. Баранниковab, Е. В. Бурнаевac

a Сколковский институт науки и технологий, Москва, Россия
b CNRS, IMJ, Paris Cité University, Франция
c Научно-исследовательский институт искусственного интеллекта AIRI Москва, Россия
Список литературы:
PDF
HTML
DOI: https://doi.org/10.31857/S2686954323601999
Аннотация: В данной работе рассматривается применение топологического анализа данных к исследованию геометрических свойств ландшафта функции потерь. Используя топологию и теорию Морса, мы строим одномерные топологические инварианты для оценки близости функции потерь к выпуклой функции с точностью до произвольной перепараметризации. Предложенный подход использует оптимизацию двумерных симплексов в пространстве параметров нейросети и позволяет проводить как качественную, так и количественную оценку ландшафта функции потерь для получения новых представлений о поведении и оптимизации нейронных сетей. Мы предоставляем геометрическую интерпретацию топологических инвариантов и описываем алгоритм их вычисления. Мы ожидаем, что предложенный подход может дополнить существующие инструменты для анализа ландшафта функции потерь и пролить свет на нерешенные вопросы в области глубокого обучения.
Финансовая поддержка Номер гранта
Сколковский институт науки и технологий
Данная работа была частично поддержана программой Next Generation Program (3rd Call for Proposals).
Статья представлена к публикации: А. Л. Семёнов
Поступило: 05.09.2023
После доработки: 15.09.2023
Принято к публикации: 18.10.2023
Англоязычная версия:
Doklady Mathematics, 2023, Volume 108, Issue suppl. 2, Pages S325–S332
DOI: https://doi.org/10.1134/S1064562423701569
Реферативные базы данных:
Тип публикации: Статья
УДК: 004.8
Образец цитирования: Д. С. Воронкова, С. А. Баранников, Е. В. Бурнаев, “Одномерные топологические инварианты для оценки невыпуклости функции потерь”, Докл. РАН. Матем., информ., проц. упр., 514:2 (2023), 187–195; Dokl. Math., 108:suppl. 2 (2023), S325–S332
Цитирование в формате AMSBIB
\RBibitem{VorBarBur23}
\by Д.~С.~Воронкова, С.~А.~Баранников, Е.~В.~Бурнаев
\paper Одномерные топологические инварианты для оценки невыпуклости функции потерь
\jour Докл. РАН. Матем., информ., проц. упр.
\yr 2023
\vol 514
\issue 2
\pages 187--195
\mathnet{http://mi.mathnet.ru/danma464}
\crossref{https://doi.org/10.31857/S2686954323601999}
\elib{https://elibrary.ru/item.asp?id=56717811}
\transl
\jour Dokl. Math.
\yr 2023
\vol 108
\issue suppl. 2
\pages S325--S332
\crossref{https://doi.org/10.1134/S1064562423701569}
Образцы ссылок на эту страницу:
  • https://www.mathnet.ru/rus/danma464
  • https://www.mathnet.ru/rus/danma/v514/i2/p187
    • Citing articles in Google Scholar: Russian citations, English citations
    Related articles in Google Scholar: Russian articles, English articles
    		Доклады Российской академии наук. Математика, информатика, процессы управления Доклады Российской академии наук. Математика, информатика, процессы управления
    Статистика просмотров:
    Страница аннотации:61
    Список литературы:7
     
      Обратная связь:
    		  Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024