Новый уровень говорящих портретов

Новый уровень говорящих портретов - создание видео из фото с эмоциями и звуком. Ну что ж, мы скоро станем еще на шаг ближе к созданию фильмов без актеров

Alibaba показали сервис Emote Portrait Alive для анимации говорящих портретов. Технология так же основана на модели диффузии Audio2Video, но, в отличие от других нейросетей в том, что она не просто оживляет изображения, а наделяет их эмоциями, делает переходы между кадрами более плавными, а сам “анимируемый” остается похожим на себя.

То есть тут не будет как в D-ID компьютерного рта, который убивает “личность” персонажа. А сам ролик выглядит гораздо реалистичнее

Достаточно загрузить одно фото и к нему аудиофайл, и нейросеть реалистично подстроит движение губ и эмоции персонажа. Посмотрим, что будет в итоге, надеюсь, это будет лучше липсинка у Pika Labs, который не очень-то и синхронизирует движение губ при использовании русского языка.

В любом случае, код выложат позже на github , так же пробная версия будет на huggingface, а значит можно будет бесплатно поюзать эту нейросеть, что уже плюс, так как и D-ID и Pika Labs платные. А в D-ID я вообще еле отменила подписку, каждый день пытались списать деньги, хоть карту меняй) Так что ждем бесплатный инструмент.
https://masterok.livejournal.c...