Визуальный дубляж с эффективным использованием данных Dubbing for everyone на основе предыдущих функций нейронного рендеринга.

Визуальный дубляж — это процесс генерации движений губ актера в видеоролике для синхронизации с заданным звуком. Метод основан на принципах нейронной визуализации с эффективной обработкой данных. Процедура состоит из обучения предварительно отложенной сети нейронного рендеринга и адаптации ее к конкретному актеру с использованием нейронных текстур.

По словам разработчиков, приложение достигает самого современного уровня по визуальному качеству и узнаваемости как количественно, так и качественно. Эксперименты на реальных сценариях с ограниченными видео- и аудиоданными показали, что модель превосходит все существующие методологии.

Источник