Eurasian Mathematical Journal
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Общая информация
Последний выпуск
Архив
Импакт-фактор

Поиск публикаций
Поиск ссылок

RSS
Последний выпуск
Текущие выпуски
Архивные выпуски
Что такое RSS



Eurasian Math. J.:
Год:
Том:
Выпуск:
Страница:
Найти






Персональный вход:
Логин:
Пароль:
Запомнить пароль
Войти
Забыли пароль?
Регистрация


Eurasian Mathematical Journal, 2022, том 13, номер 4, страницы 70–81
DOI: https://doi.org/10.32523/2077-9879-2022-13-4-70-81
(Mi emj455)
 

Convergence of the partition function in the static word embedding model

K. Mynbaeva, Zh. Assylbekovb

a International School of Economics, Kazakh-British Technical University, 59 Tolebi St, 050000 Almaty, Kazakhstan
b Department of Mathematics, School of Sciences and Humanities, Nazarbayev University, 53 Kabanbay Batyr Ave, 010000 Astana, Kazakhstan
Список литературы:
Аннотация: We develop an asymptotic theory for the partition function of the word embeddings model WORD2VEC. The proof involves a study of properties of matrices, their determinants and distributions of random normal vectors when their dimension tends to infinity. The conditions imposed are mild enough to cover practically important situations. The implication is that for any word $i$ from a vocabulary $\mathcal{W}$, the context vector $\mathbf{c}_i$ is a reflection of the word vector $\mathbf{w}_i$ in approximately half of the dimensions. This allows us to halve the number of trainable parameters in static word embedding models.
Ключевые слова и фразы: word embeddings, partition function, neural networks, WORD2VEC, asymptotic distribution.
Финансовая поддержка Номер гранта
Nazarbayev University 091019CRP2109
The work is supported by the Nazarbayev University Collaborative Research Programme 091019CRP2109, PI Zhenisbek Assylbekov.
Поступила в редакцию: 07.07.2022
Реферативные базы данных:
Тип публикации: Статья
MSC: 68T50
Язык публикации: английский
Образец цитирования: K. Mynbaev, Zh. Assylbekov, “Convergence of the partition function in the static word embedding model”, Eurasian Math. J., 13:4 (2022), 70–81
Цитирование в формате AMSBIB
\RBibitem{MynAsy22}
\by K.~Mynbaev, Zh.~Assylbekov
\paper Convergence of the partition function in the static word embedding model
\jour Eurasian Math. J.
\yr 2022
\vol 13
\issue 4
\pages 70--81
\mathnet{http://mi.mathnet.ru/emj455}
\crossref{https://doi.org/10.32523/2077-9879-2022-13-4-70-81}
\mathscinet{http://mathscinet.ams.org/mathscinet-getitem?mr=4537112}
Образцы ссылок на эту страницу:
  • https://www.mathnet.ru/rus/emj455
  • https://www.mathnet.ru/rus/emj/v13/i4/p70
  • Citing articles in Google Scholar: Russian citations, English citations
    Related articles in Google Scholar: Russian articles, English articles
    Eurasian Mathematical Journal
     
      Обратная связь:
     Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024