В скором времени «Яндекс» запустит собственный сервис голосового перевода и дубляжа видео с английского языка на русский на базе специально созданной нейросети. Таким образом в компании планируют расширить возможности русскоговорящих пользователей без знания английского языка. Команда разработчика продемонстрировала возможности прототипа на подборке из дюжины Youtube-роликов.

«Яндекс» создал технологию машинного перевода видео. С ее помощью видеоролики зарубежных авторов смогут посмотреть даже те, кто не владеет иностранными языками. Система позволяет переводить видео на русский язык в автоматическом режиме с одновременным озвучанием голосом. Разработчики утверждают, что опробовали технологию на видеозаписях на самые разные темы: изменение климата, машинное обучение, история Плутона.

По заявлению создателей, технология не имеет аналогов в мире. Пока система работает только с роликами на английском языке. В будущем нейросеть будут обучать переводу с других наиболее распространённых языков мира.

Пользователям функция машинного перевода видеороликов доступна в фирменном браузере «Яндекса» для операционных систем Windows и macOS.

Специалисты компании создали на Youtube-канале «Yet another browser» подборку из 12 видео (плейлист «Перевод видео»), с помощью которых любой желающий сможет убедиться в работоспособности технологии. Доступные для просмотра с русским закадровым голосом видео отображаются в желтой рамке. Для включения перевода достаточно нажать одну кнопку.

Поскольку система является прототипом, посмотреть можно ограниченное количество роликов. В ближайшее время пользователи получат возможность самостоятельно выбирать, какие именно ролики переводить, обещают в «Яндексе».

Над созданием платформы перевода видеороликов трудится несколько команд. Базовой частью проекта стала технология синтеза речи, разработки «Яндекс.переводчика», а также биометрия, которая используется для определения пола говорящего. Впоследствии обе технологии позволяют подобрать подходящий голос для закадровой озвучки.

Стоит отметить, что технология «Яндекса» поддерживает синхронизацию закадрового голоса с видеорядом, при необходимости корректируя темп речи виртуального переводчика и добавляя в нее паузы. Синхронизация необходима, поскольку исходные и переведенные реплики могут значительно отличаться по длительности. Так, в английском языке часто используемые фразы нередко лаконичнее своих русских аналогов.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера, – говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот. – И мы близки к тому, чтобы окончательно стереть все границы. "Яндекс.браузер" давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше».