Машинный перевод: индикаторная оценка результатов обучения искусственной нейронной сети

Представлены данные, полученные в ходе наблюдения за обучением системы нейронного машинного перевода (НМП). Проведена количественная оценка работы системы НМП с помощью индикаторов. В качестве экспериментального материала были использованы 250 русскоязычных текстовых фрагментов, для каждого из которых ежемесячно в течение одного года фиксировался перевод на французский язык, выполненный с помощью системы НМП Google. Фиксация переводов была реализована посредством их аннотирования в надкорпусной базе данных (НБД), в результате чего была сформирована серия из 12 аннотаций для каждого из 250 текстовых фрагментов. Аннотирование переводов позволило не только зафиксировать допущенные в переводе ошибки в случае их наличия, но и определить категорию нестабильности НМП, указывающую на изменения качества перевода или на их отсутствие. Цель статьи — представить разработанный индикаторный подход и пример его применения для оценки результатов обучения искусственной нейронной сети (ИНС).