Экспертная оценка машинного перевода: классификация ошибок

Рассматривается оценка качества машинного перевода (МП) с применением классификации его ошибок. Классификация включает рубрики общеязыковых ошибок на уровне грамматики, лексики, пунктуации и др., а также категорийно обусловленных ошибок, которые связаны с конкретным типом языковых единиц, выбранным для оценки качества перевода в исследуемой системе МП. Оценка качества выполняется в процессе лингвистического аннотирования МП. Если при аннотировании эксперт обнаруживает ошибки в переводе, то в аннотацию включаются рубрики для типологизации обнаруженных ошибок. Простановка рубрик дает возможность вычислить относительные частотности ошибок МП в рамках всего массива тестовых предложений, отобранных для перевода и оценки его качества. Основная цель статьи состоит в описании предлагаемой классификации общеязыковых и категорийно обусловленных ошибок. Ее главное отличие от существующих классификаций (типологий) ошибок заключается в том, что она нацелена на обеспечение интервальной оценки для систем МП, качество работы которых изменяется во времени. Рубрики предлагаемой классификации дают возможность экспертам фиксировать в МП как улучшение, так и снижение качества на заданном интервале времени.