Методика темпоральной оценки нестабильности машинного перевода

Изложены основные положения методики темпоральной оценки нестабильности нейронного машинного перевода (НМП), позволяющей оценить изменение НМП одних и тех же текстов во времени. Дается описание эксперимента по исследованию НМП с использованием 250 русскоязычных текстовых фрагментов. Каждый фрагмент многократно переводился на французский язык в течение одного года с шагом в один месяц посредством системы НМП Google. Полученные переводы были проаннотированы с помощью надкорпусной базы данных (НБД), чтобы зафиксировать сделанные в переводе ошибки, если таковые имели место. В итоге сформировалась серия из 12 аннотаций для переводов каждого из 250 текстовых фрагментов. В последней аннотации ставится рубрика, обозначающая степень нестабильности НМП применительно ко всей серии переводов. Эта рубрика характеризует изменения качества перевода или указывает на их отсутствие. Цель статьи — описать методику темпоральной оценки нестабильности НМП и результаты ее применения.