Специалисты «Яндекса» создали новую систему онлайн-перевода, которая одновременно использует и старые статистические алгоритмы, и искусственный интеллект.
«Пока наша новая система поддерживает только перевод с английского на русский язык. В ближайшее время мы начнем добавлять другие языковые пары и в течение нескольких месяцев реализуем поддержку большинства самых популярных языков», — заявили в пресс-службе «Яндекса».
В последние несколько лет ведущие IT-компании начали активно развивать и использовать различные формы искусственного интеллекта для поиска информации в Сети, обработки фотографий и их каталогизации и множества других целей, где неклассические алгоритмы обработки данных не работают.
Когда нейросеть «читает» переводимый текст, то она не пытается перевести его по фразам или отдельным словам, а ищет ответ целиком, используя данные, накопленные при анализе текстов, переведенных человеком.
У подобного подхода, как отмечают специалисты «Яндекса», есть как плюсы, так и минусы: в таком виде текст становится более читаемым и похожим на то, как его перевел бы человек, но, с другой стороны, машина периодически начинает «фантазировать», если ей встречаются редкие слова и фразы.
Эту проблему «Яндекс» решил, объединив искусственный разум со старой системой перевода, хорошо справлявшейся с редкими словами, но сталкивавшейся с большими проблемами при их объединении в предложения. Когда пользователь вводит текст, его одновременно переводит и нейросеть, и статистический алгоритм, после чего система машинного обучения CatBoost, недавно созданная «Яндексом», сопоставляет результаты и собирает из них более читаемый и грамотный вариант.