Яндекс-переводчик занял 3-е место по качеству перевода с англ на кит

[Ари]

Яндекс Переводчик признан мировым лидером по качеству перевода с английского на русский, согласно международному независимому бенчмарку DiBiMT.

Также сервис занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки.



https://nlp.uniroma1.it/dibimt/public/leaderboard

[бкрс]

Любопытно, но это для машинного перевода, т.е. без языковых моделей, поэтому практическая польза невысока.

Пока искал описание теста (так и не нашёл), наткнулся на
https://aclanthology.org/2023.wmt-1.44.pdf

Цитата:1. LLMs usually match or beat massive MT models on seen languages. Except for the very rich-resourced En-De, where supervised MT systems appear to have an edge, LLaMA 65B mostly matches the SOTA NMT systems (namely DeepL and NLLB-200). Furthermore, BLOOMZ sets a new SOTA in its seen languages, Spanish and Chinese, and outperforms DeepL by margins of 7.3% and 12.2% respectively. These improvements against such strong, supervised massive NMT systems are particularly remarkable since our corresponding setup for inferencing the LLMs is quite cheap – as we noted previously, this is only naive few-shot prompting of an 8-bit quantized model, with a beam size of 1.

Т.е. даже слабые модели лучше МП.

[China Red Devil]

2024.02.27Ари Яндекс Переводчик признан мировым лидером по качеству перевода с английского на русский, согласно международному независимому бенчмарку DiBiMT.

Также сервис занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки.

А первое- гултранслит

Бенчмарк DiBiMT, я не знаю, что ты такое, но у меня для тебя очень плохие новости.

[sept]

А есть где-нибудь перечень различий между MT model и LLM? Я думал, что современные автоматические переводчики и функционируют на основе больших языковых моделей. Или ChatGPT - просто более современный вариант этой же технологии?

[бкрс]

2024.02.27sept А есть где-нибудь перечень различий между MT model и LLM? Я думал, что современные автоматические переводчики и функционируют на основе больших языковых моделей. Или ChatGPT - просто более современный вариант этой же технологии?

Они разные, хотя продвинутые переводчики как и LLM основанные на машинном обучении (а старые простые это словарные пары как у нас пословный). Главное отличие, что МП пытаются работать с двумя языками (обучаются на языковых парах), а БЯМ только с одним (походу, вообще отсутствует понятие языков, всё как один большой язык).

Т.е. МП пытаются переводить как начинающий переводчик "у такого слова такой перевод, подставляем", а ИИ скорее как носитель "после этого слова в этом контексте скорее всего будет это слово".