YouTube научил губы говорить: автодубляж теперь с липсингом

ИИ-дубляж вышел на новый уровень: YouTube меняет правила игры
Автор: Владислав Дегтярёв , Редактор Фото: RusPhotoBank
В мире

YouTube продолжает активно внедрять технологии искусственного интеллекта, и теперь платформа делает шаг вперёд в области мультиязычного контента. Вслед за автоматическим дубляжом видеороликов, компания начала тестировать функцию синхронизации движений губ с переведённой озвучкой. Благодаря этому дубляж выглядит как настоящая речь, а не накладка поверх оригинального видео, пишет PEPELAC.NEWS.

По словам главы проекта Auto-dubbing Буддики Коттахаччи, система работает на пиксельном уровне, учитывая не только форму рта, но и движения губ, зубов и мимику, создавая правдоподобный эффект. За этим стоит кастомная ИИ-модель Google, ориентированная на реалистичность. Пока технология поддерживает только видео в разрешении до 1080p и пять языков: английский, французский, немецкий, испанский и португальский. Это решение открывает новую эпоху глобализации видеоконтента.

Авторы смогут расширить аудиторию без необходимости нанимать команду переводчиков, а зрители будут получать более естественное восприятие дубляжа. Однако остаётся вопрос: будет ли функция платной? Платформа пока не уточняет, кто станет её спонсором — автор или зритель, но ясно одно: интерфейс YouTube становится всё более гибким и персонализированным.