Машинный перевод с помощью ChatGPT: мониторинг воспроизводимости результатов

Рассматривается вопрос воспроизводимости на интервале времени результатов применения чат-бота ChatGPT для решения математической задачи, генерации кода и разгадки визуальной головоломки. Дан краткий обзор экспериментальных данных мониторинга воспроизводимости результатов для этих трех приложений чат-бота. Представленные экспериментальные данные иллюстрируют то, что результаты работы ChatGPT при решении одной и той же задачи могут изменяться со временем. При этом значительные изменения могут произойти за относительно короткий промежуток времени, что подчеркивает необходимость мониторинга и оценки поведения чат-бота ChatGPT при его использовании. Основная цель статьи состоит в исследовании воспроизводимости на заданном интервале времени результатов машинного перевода, выполненного по запросу к ChatGPT. Полученные экспериментальные данные мониторинга воспроизводимости результатов также свидетельствуют об их изменении, включая и снижение на интервале времени качества машинного перевода одних и тех же текстов. Для мониторинга воспроизводимости результатов и оценки поведения ChatGPT применяется ранее разработанный метод интервального оценивания машинного перевода.