MMA: a fight for multilingual models acceleration

В работе мы рассматриваем стандартный способ проектирования моделей для обработки естественного языка: дообучение многоязыковой языковой модели, в котором данные для целевой задачи на одном языке используются для последующего решения этой задачи на другом целевом языке. Цель работы – определить, как популярные методы ускорения моделей машинного обучения влияют на многоязыковые возможности моделей на основе трансформеров, а также исследуем использование этих методов в различных комбинациях. В результате мы получаем модель NERC, которая может эффективно работать на CPU и сохраняет многоязыковые свойства для нескольких тестовых языков после настройки и ускорения только с использованием данных на английском языке. Библ. – 24 назв.