Как отличить deepfake от реального человека

Технология deepfake все более активно входит в повседневную жизнь. Не так давно VK представила функцию, которая трансформирует лица пользователей в образы знаменитостей практически в реальном времени. В то же время многие эксперты видят в таких возможностях серьезные угрозы для безопасности.

Разработка VK показала, насколько deepfake стал доступным развлечением. Натянуть на себя лицо селебрити и выложить в сториз - наша новая реальность. "Масочки" и фильтры уходят в прошлое. И есть основания полагать, что довольно скоро в наш мир ворвутся "дипфейк-звонки". "В будущем мы планируем поддержать обработку видео в режиме реального времени и интегрировать технологию в другие наши сервисы, например в VK Звонки. Надеемся, что новая механика поможет нашим пользователям еще больше экспериментировать с видеоконтентом, в несколько этапов создавать вирусные клипы и видео и набирать миллионы просмотров", - говорит Александр Тоболь, СТО "ВКонтакте", VK Видео и VK Клипы.

Играть с подобными технологиями начали давно. Это сложные алгоритмы, заранее прописанные разработчиками. Но если раньше подобное видео было штучным товаром, сейчас рынок дипфейков уже набрал обороты. Синтезировать голос, мимику, лицо стало возможно благодаря специализированному ПО, которое совмещает картинку и звук.

Кроме того, уже появилось то, что можно назвать deepfake as a service - специальные приложения, где пошагово расписано, как из своего видео сделать deepfake.

Сотовый оператор "МегаФон" в прошлом году выпустил рекламный ролик, в котором снялся цифровой клон Брюса Уиллиса, все было согласовано с актером, он получил свой гонорар за использование образа и утверждал каждый итоговый креатив. А два месяца назад инвестиционный стартап в сфере недвижимости reAlpha Tech Corp. выпустил маркетинговое видео с участием Илона Маска.

Качественные симуляции позволяют экономить на маркетинговых кампаниях значительные суммы денег, а также расширять творческие возможности. Несанкционированные дипфейки могут считаться злоупотреблением чужой репутацией или брендом.

Дипфейки не всегда безобидны по отношению к потребителям. Так, пользователи столкнулись с крупной финансовой аферой, связанной с банкротством биржи FTX. В видео, опубликованном под фейковым аккаунтом основателя биржи, говорится о том, что компания "в качестве компенсации" проводит розыгрыш и каждый может удвоить свои средства, просто отправив желаемую сумму на специальный адрес.

В штате Калифорния принят закон о размещениях deepfake, порочащих репутацию политиков. Это случилось после нашумевшего видео с якобы нетрезвой Нэнси Пелоси, спикером палаты представителей конгресса США. В Китае все deepfake подлежат обязательной маркировке.

Примечательно, что растущее недоверие к контенту и рост осведомленности о технологии deepfake зачастую приводит к тому, что люди принимают подлинные видеозаписи за поддельные. Так, в июле 2022 года пользователи интернета начали массово клеймить выступление президента США Джо Байдена фейковым. Люди обратили внимание на то, что президент выглядит иначе на другом видео, опубликованном в тот же день. Как оказалось, причиной различий было освещение, использованное при съемках.

Распознать дипфейки пока еще можно технически. Хотя последнее поколение синтетических видео сгенерированы нейросетями очень качественно, и без помощи специальных программ распознавания "вывести на чистую воду" создателей практически невозможно.

Практически все IT-гиганты разрабатывают или даже уже тестируют свои решения для распознавания дипфейков. О своем желании борьбы с deepfake недавно заявил Роскомнадзор.

"В первую очередь на наличие признаков deepfake планируется проверять аудиовизуальный контент, распространяемый под видом достоверных сообщений и имеющий высокую социальную или экономическую значимость - публичные выступления и высказывания официальных должностных лиц", - поясняет Роман Коросташов, исполняющий обязанности руководителя Научно-технического центра "ГРЧЦ", подведомственного Роскомнадзору.

Одно из таких решений разрабатывают в ИТМО. Технологию оценки состоятельности экспертного мнения назвали "Эксперт". Сервис анализирует визуальную составляющую (само видео/картинку со спикером), акустическую (речь) и расшифровку (речь, переведенную в текст) по ряду характеристик. Анализируется конгруэнтность, насколько то, что говорит человек, соотносится с его жестами и мимикой. Среди остальных факторов анализа - агрессивность, уверенность, противоречивость. Тестировали и обучали технологию с использованием дипфейков на английском языке, собранных самостоятельно из открытых источников.й различий было освещение, использованное при съемках.

Распознать дипфейки пока еще можно технически. Хотя последнее поколение синтетических видео сгенерированы нейросетями очень качественно, и без помощи специальных программ распознавания "вывести на чистую воду" создателей практически невозможно.

Практически все IT-гиганты разрабатывают или даже уже тестируют свои решения для распознавания дипфейков. О своем желании борьбы с deepfake недавно заявил Роскомнадзор.

"В первую очередь на наличие признаков deepfake планируется проверять аудиовизуальный контент, распространяемый под видом достоверных сообщений и имеющий высокую социальную или экономическую значимость - публичные выступления и высказывания официальных должностных лиц", - поясняет Роман Коросташов, исполняющий обязанности руководителя Научно-технического центра "ГРЧЦ", подведомственного Роскомнадзору.

Одно из таких решений разрабатывают в ИТМО. Технологию оценки состоятельности экспертного мнения назвали "Эксперт". Сервис анализирует визуальную составляющую (само видео/картинку со спикером), акустическую (речь) и расшифровку (речь, переведенную в текст) по ряду характеристик. Анализируется конгруэнтность, насколько то, что говорит человек, соотносится с его жестами и мимикой. Среди остальных факторов анализа - агрессивность, уверенность, противоречивость. Тестировали и обучали технологию с использованием дипфейков на английском языке, собранных самостоятельно из открытых источников.

https://vk.com/ai_qc