Международный бенчмарк DiBiMT: Яндекс Переводчик стал лучшим среди других языковых моделей и онлайн-переводчиков, таких как Google Translate, DeepL, mBART-50, M2M100, OPUS. Его перевод текста с английского на русский оказался самым точным, а содержание семантических ошибок в нем — наименьшим. По качеству перевода с английского на китайский, немецкий, итальянский и испанский языки сервис занял третье место.
Особенностью работы сервиса Яндекса является то, что он использует специальную технологию машинного перевода на основе нейросетей, которые анализируют массивы текстов, учатся находить в них закономерности и составляют списки всех употребляемых слов и фраз. Во время перевода каждое предложение не разбивается на слова и фразы, а переводится полностью. Нейросеть определяет семантику слов и взаимосвязь между ними, даже если они не находятся рядом.
Тестирование проводилось на базе данных из нескольких тысяч предложений на английском языке с омонимами. Модели и сервисы переводили эти предложения, а алгоритмы бенчмарка определяли процент корректно переведённых слов. В процессе участвовали и профессиональные переводчики, что обеспечило наиболее высокое качество замеров. А рейтинг опубликован одними из ведущих мировых центров изучения языка — итальянскими институтами Sapienza и SSML Carlo Bo.
Оценили 6 человек
13 кармы