Пользователи фирменного браузера Яндекса отныне могут воспользоваться синхронным переводом прямых видеотрансляций на русский язык. Такая опция уже доступна для предварительно выложенных роликов на YouTube и прямых трансляций (пока в тестовом режиме). Позднее, как обещают разработчики, функция может быть доступна и для других ресурсов.

Синхронный перевод видеороликов обеспечивают сразу четыре специально созданные командой Яндекса нейросети. Как рассказали разработчики, первая нейросеть распознаёт звуковой ряд и переводит его в текстовый формат, вторая определяет пол говорящего человека, третья расставляет знаки препинания и смысловые акценты, а четвёртая уже получает результат работы третьей и собственно производит перевод и озвучку.

«Автоматизированный синхронный перевод — задача сложная. Одному иностранному слову в зависимости от контекста могут соответствовать несколько русских, поэтому в идеале нейросети необходимо «скормить» как можно больше текста. Однако при работе в режиме реального времени это крайне трудная задача, поскольку задержка должна быть минимальной, - говорят разработчики Яндекса.

Новая функция пока доступна в режиме открытого бета-тестирования и ограничена фиксированным набором каналов. Список поддерживаемых системой YouTube-каналов доступен на странице проекта.

В перспективе разработчики «Яндекс Браузера» планируют добавить синхронный перевод к стримам в Twitch. Сейчас нейросети «Яндекса» работают с английским, немецким, французским, итальянским и испанским языками, позже будут добавлены ещё несколько европейских языков, а также японский, китайский и другие.

Стоит отметить, что осенью 2021 года Яндекс запустил функцию закадрового перевода в видеороликах. За 10 месяцев пользователи «Яндекса Браузера» просмотрели 81 млн роликов с новой функцией. После этого стал доступным перевод в формате титров, а сейчас настал черёд прямых эфиров.