Нейросетевые переводчики достигли новых высот, благодаря чему способны учитывать сложные языковые нюансы и контекст целых абзацев. Последняя модель YandexGPT для перевода заняла первое место в бенчмарке DiBiMT в категории с английского на русский, и мы подробнее рассмотрим принцип её работы в переводе текстов. Команда также поделилась информацией о методах обучения данной модели.
Основой нейросети-переводчика является мощная языковая модель. В процессе её обучения было проанализировано большое количество текстов на разнообразных языках, что позволило ей усвоить структуру предложений. Тем не менее, для достижения качества, сопоставимого с профессиональным переводом, необходима дополнительная подготовка.
Обучение происходит по следующему принципу: модели показывают оригинал и профессионально выполненный перевод текста, что позволяет ей учиться сравнивать обе версии. Затем ИИ-тренеры оценивают результаты переводов, что помогает модели понять, какие её действия приводят к улучшенному результату.
Требования к нейросетям-переводчикам значительно выше, чем к чат-ботам. Чат-боты могут применять импровизацию или переводить слишком дословно, тогда как переводчики должны сохранять оригинальный смысл, включая тон и стиль авторских текстов. Модель должна правильно интерпретировать семантику, чтобы адекватно передать игру слов или выбрать подходящий перевод для многозначных терминов.
На данный момент многие модели могут уверенно работать с отдельными абзацами текста, однако доверять перевод целого произведения пока нецелесообразно. Это связано с тем, что нейросети могут забыть информацию, обработанную ранее, например, имя персонажа, и указать другое.
Для оценки работы нейросетей-переводчиков существуют специальные бенчмарки. DiBiMT — один из таких, где новая модель Яндекса показала отличные результаты, акцентируясь на многозначных словах. Здесь собираются предложения с терминами, чье значение может быть понято человеком невооружённым глазом, но является трудным для интерпретации машиной. Профессиональные переводчики составляют ананимизированный рейтинг возможных переводов для последующей оценки работы различных моделей.
Источник: @techno_yandex
