Квантизация больших языковых моделей с переопределенным базисом

В работе предложен алгоритм для эффективной квантизации данных, предлагаемый для использования в Больших языковых моделях и других задачах машинного обучения, требующих хранения и использования большого объема информации. Алгоритм основан на использовании так называемого “представления Кашина”. В итоге работы алгоритма многомерный ($N$-мерный) вектор (матрица, тензор) представляется в виде суммы двух векторов, таких, что первый вектор имеет малую равномерную норму, а второй имеет малую равномерную норму относительного другого, (случайного) ортонормированного базиса в $\mathbb{R}^N$. Неожиданным оказался тот факт, что для случайных векторов максимумы норм компонент разложения оказываются сконцентрированными вокруг нескольких пиков. Численные эксперименты показывают преимущество предложенного алгоритма в сравнении с некоторыми другими методами квантизации.

Список литературы

1. D. Merkulov, D. Cherniuk, A. Rudikov, I. Oseledets, E. Muravleva, A. Mikhalev, B. Kashin, “Quantization of Large Language Models with an Overdetermined Basis”, Proceedings of the 40th Conference on Uncertainty in Artificial Intelligence (UAI 2024), Proceedings of Machine Learning Research, 244, 2024, 2527–2536 https://proceedings.mlr.press/v244/merkulov24a.html, arXiv: 2404.09737