Назад Главная » Искусственный интеллект » 2020 » Октябрь » 22

ИИ Facebook AI научился обходиться без английского


Facebook AI представила M2M-100 — первый мультиязыковой переводчик, который не использует дополнительный шаг с переводом исходного текста на английский. Для обучения алгоритма ученые автоматически собрали 7,5 миллиарда предложений на 100 языках, для каждого из которых доступен перевод как с исходного языка, так и на целевой. Подробнее о проекте рассказывается на сайте компании.

Во многих случаях машинный перевод с одного языка на другой проходит через один обязательный этап — перевод исходного текста на английский, а затем — перевод уже этого текста на язык целевой. Этот шаг значительно облегчает задачу, в особенности — когда дело касается статистического перевода, основанного на параллельных корпусах: текстов на английском языке значительно больше, чем на любом другом языке, и вероятность того, что какой-то текст будет переведен на английский язык и это можно будет использовать для перевода, также значительно выше.

При этом переход через английский, разумеется, необязателен, а иногда может быть и лишним: например, смысла в том, чтобы использовать английский в автоматическом переводе с русского на чувашский, нет совсем, так как параллельных корпусов английский-чувашский меньше, чем русский-чувашский. Кроме того, в процессе могут появляться лишние грамматические ошибки или семантически неправильно использованные слова. Избавиться от перевода на английский частично позволили переводчики, основанные на нейросетях. Тем не менее, мультиязыковых переводчиков, которые бы не использовали дополнительный шаг с переводом на английский, до сих пор не было.

Чтобы обучить систему переводить с одного языка на другой без использования английского, разработчики Facebook собрали корпус из предложений: для этого использовали доступные программы-кроулеры, в том числе — представленную в прошлом году CCAligned (разновидность Common Crawl). Разработчики сосредоточились на 100 языках (это чуть меньше, чем у Google Переводчика, который поддерживает 108 языков), которые разбили на 14 групп на основе принадлежности к лингвистическим семьям, культурным особенностям носителей и странах, в которых носители проживают.

Далее все возможные пары перевода с каждого из 100 языков отсортировали на основе того, насколько часто они используются — самым популярным парам уделяли больше места в получившемся фразовом словаре. Всего разработчикам удалось собрать 7,5 миллиарда фраз — для определения языка использовали разработанный в Facebook сервис FastText. Дополнительно разработчики использовали автоматически переведенные предложения — этот шаг необходим для языков, параллельных корпусов с которыми в принципе очень мало.

Собранные данные использовали для обучения модели на основе XLM-R — алгоритма перевода, который Facebook представил в прошлом году, а количество учтенных грамматических, морфологических и семантических параметров достигает 12 миллиардов. По словам разработчиков, качество перевода M2M-100 превышает системы, основанные на переходе через английский язык: система набрала на 10 очков BLEU (стандартных алгоритм для оценки качества машинного перехода: обычно он выдает коэффициент от 0 до 1, но в работе разработчики, по-видимому, использовали другую шкалу) больше, чем другие протестированные системы.

Пока что Facebook не планирует использовать M2M-100 в своих сервисах: проект реализуется в первую очередь в исследовательских целях. Модель и датасет для обучения исследователи также выложили в открытый доступ. Другой переводчик от Facebook, представленный два года назад, и вовсе обходится без параллельных корпусов: в нем для перевода используется векторная репрезентация отдельных слов.

Источник

Читайте последние новости мира на канале Ufospace в Telegram и Zen.Yandex.

Теги

Никто не решился оставить свой комментарий.
Будь-те первым, поделитесь мнением с остальными.
avatar

Свежие статьи
12.08.2022 в 18:01 Орлой: Почему башенные часы в Праге назвали Око дьявола?
На Староместской площади Праги, в центре старого города, у здания ратуши частенько собираются многочисленные группы туристов, и это не случайно. И влекут их сюда не только исторические здания, сохранившие дух давно минувшего Средневековья. Внимание гостей стол...

Читать далее

12.08.2022 в 17:54 Самые загадочные случаи в истории советской криминалистики
О преступлениях в СССР говорить было не принято, поскольку в «идеальном обществе: им места не было, и тем более не спешили рассказы вать о ЧП, которые так и остались нераскрыты. Представляем вашему вниманию самые громкие нераскрытые преступления времён Советск...

Читать далее

12.08.2022 в 16:34 500 миллионов лет назад Земля почти полностью лишилась магнитного поля
За всё разнообразие жизни и комфортные условия существования на Земле мы можем смело благодарить магнитное поле нашей планеты. Без него солнечная радиация уничтожила бы атмосферу и океаны, оставив после себя бесплодную пустыню....

Читать далее