Используйте вместе две нейросетки: Whisper Speech і Dreamt — чтобы сделать текст громким и анимировать изображение в соответствии с разговором.

Теперь вы можете заставить любую картинку говорить вашим голосом!

Их можно использовать для декодирования голосовых сообщений, преобразования голосовых запросов для работы с ChatGPT и многого другого.

Whisper — это система автоматического распознавания речи, обученная на 680 000 часов многоязычных и многозадачных контролируемых данных, собранных из Интернета. Она прекрасно распознает акценты, анализирует фоновый шум и понимает технический язык.

Dream Talk предназначен для создания иллюстраций на основе текстовых подсказок. Упрощает процесс создания контента для сайтов и социальных сетей для копирайтеров, маркетологов и SMM-специалистов.

Вместе эти две сети воплотят в жизнь любую вашу идею.

Источник