Меню

Free protonmail

Назад Главная » Паранормальные новости » Искусственный интеллект » 2020 » Октябрь » 22

ИИ Facebook AI научился обходиться без английского


Facebook AI представила M2M-100 — первый мультиязыковой переводчик, который не использует дополнительный шаг с переводом исходного текста на английский. Для обучения алгоритма ученые автоматически собрали 7,5 миллиарда предложений на 100 языках, для каждого из которых доступен перевод как с исходного языка, так и на целевой. Подробнее о проекте рассказывается на сайте компании.

Во многих случаях машинный перевод с одного языка на другой проходит через один обязательный этап — перевод исходного текста на английский, а затем — перевод уже этого текста на язык целевой. Этот шаг значительно облегчает задачу, в особенности — когда дело касается статистического перевода, основанного на параллельных корпусах: текстов на английском языке значительно больше, чем на любом другом языке, и вероятность того, что какой-то текст будет переведен на английский язык и это можно будет использовать для перевода, также значительно выше.

При этом переход через английский, разумеется, необязателен, а иногда может быть и лишним: например, смысла в том, чтобы использовать английский в автоматическом переводе с русского на чувашский, нет совсем, так как параллельных корпусов английский-чувашский меньше, чем русский-чувашский. Кроме того, в процессе могут появляться лишние грамматические ошибки или семантически неправильно использованные слова. Избавиться от перевода на английский частично позволили переводчики, основанные на нейросетях. Тем не менее, мультиязыковых переводчиков, которые бы не использовали дополнительный шаг с переводом на английский, до сих пор не было.

Чтобы обучить систему переводить с одного языка на другой без использования английского, разработчики Facebook собрали корпус из предложений: для этого использовали доступные программы-кроулеры, в том числе — представленную в прошлом году CCAligned (разновидность Common Crawl). Разработчики сосредоточились на 100 языках (это чуть меньше, чем у Google Переводчика, который поддерживает 108 языков), которые разбили на 14 групп на основе принадлежности к лингвистическим семьям, культурным особенностям носителей и странах, в которых носители проживают.

Далее все возможные пары перевода с каждого из 100 языков отсортировали на основе того, насколько часто они используются — самым популярным парам уделяли больше места в получившемся фразовом словаре. Всего разработчикам удалось собрать 7,5 миллиарда фраз — для определения языка использовали разработанный в Facebook сервис FastText. Дополнительно разработчики использовали автоматически переведенные предложения — этот шаг необходим для языков, параллельных корпусов с которыми в принципе очень мало.

Собранные данные использовали для обучения модели на основе XLM-R — алгоритма перевода, который Facebook представил в прошлом году, а количество учтенных грамматических, морфологических и семантических параметров достигает 12 миллиардов. По словам разработчиков, качество перевода M2M-100 превышает системы, основанные на переходе через английский язык: система набрала на 10 очков BLEU (стандартных алгоритм для оценки качества машинного перехода: обычно он выдает коэффициент от 0 до 1, но в работе разработчики, по-видимому, использовали другую шкалу) больше, чем другие протестированные системы.

Пока что Facebook не планирует использовать M2M-100 в своих сервисах: проект реализуется в первую очередь в исследовательских целях. Модель и датасет для обучения исследователи также выложили в открытый доступ. Другой переводчик от Facebook, представленный два года назад, и вовсе обходится без параллельных корпусов: в нем для перевода используется векторная репрезентация отдельных слов.

Источник

Интересные новости:

Подписывайтесь на наш Telegram, «X(twitter)» и «Zen.Yandex», «VK», «OK» и новости сами придут к вам..

Подписывайтесь на наш Telegram-канал, «X(twitter)» и «Zen.Yandex», «VK», «OK» и новости сами придут к вам..

Теги

Никто не решился оставить свой комментарий.
Будь-те первым, поделитесь мнением с остальными.
avatar
Свежие статьи:
28.03.2024 в 23:16 Финансовый гороскоп для всех знаков Зодиака на 29 марта 2024 года
Предлагаем вам краткий гороскоп на пятницу, 29 марта 2024 года, чтобы помочь каждому представителю знака зодиака быть бдительным и осторожным в этот день.

Читать далее

28.03.2024 в 17:21 Не все панды оказались черно-белыми: ученые нашли объяснение
Благодаря своей поразительной окраске гигантская панда является мгновенно узнаваемым видом. Однако существует несколько гигантских панд, которые не являются черно-белыми. Эти величественные существа с коричнево-белым мехом обитают в одном горном массиве в Кита...

Читать далее

28.03.2024 в 17:15 В Австралии кашалоты отбились от косаток фекальными бомбами
У побережья Западной Австралии морские биологи смогли наблюдать хитроумную стратегию кашалотов, оборонявшихся от нападения косаток. Киты выпустили в сторону хищников огромные пузыри фекалий

Читать далее


Советы:
Как избежать мокрых пятен в области подмышек
Мокрые пятна в области подмышек становится настоящей проблемой для многих. Однако есть весьма простые способы, которые способны решить задачу. Многие из-за мокрых пятен на одежде боятся даже поднять руку в общественных местах. Но этого вполне можно избежать....

Читать далее

Как приготовить вкусные чебуреки с пузырьками: рецепт, с которым справится любая хозяйка
Перед вами рецепт тонкого теста без лишнего жира для чебуреков с пузырьками. Рассказываем, как приготовить вкусные чебуреки на заварном тесте.

Читать далее

Храним бананы долгое время свежими
Покупать впрок бананы – идея не очень хорошая, хотя недозрелые плоды могут пролежать в домашних условиях достаточно долго. Есть несколько действенных и простых полезных советов, которые помогут сохранить бананы как можно дольше....

Читать далее