• РЕГИСТРАЦИЯ

Нейросеть услышала голоса людей и нарисовала их портреты.

Sage
29 мая 10:56 1 2962

В последнее время нейронные сети удивляют своими умениями — могли бы вы десять лет назад поверить в то, что компьютер сможет «оживлять» портреты Достоевского и Мэрилин Монро? Готовьтесь удивляться дальше, потому что исследователи из Массачусетского технологического института создали нейросеть Speech2Face, которая способна рисовать портреты людей, просто послушав их голоса.

Технология пока далека от идеала, но ее способность определять пол, национальность и возраст человека впечатляет.

Для обучения нейросети использовался набор AVSpeech с миллионом коротких видеороликов с тысячами говорящих людей. Дорожки с видео и звуком разделены, поэтому система смогла изучить каждый тип материала максимально подробно. На первом этапе работы, алгоритм VGG-Face изучал фрагменты видео и создавал портреты фигурирующих на них людей в анфас и нейтральным выражением лица. Другая часть алгоритма изучала спектрограмму голоса и накладывала на полученные портреты дополнительные изменения — в итоге получился примерный портрет каждого разговаривающего человека.

Нейросеть для создания портретов на основе голоса — уже реальность.

Если сравнить лицо человека с видео и предложенный алгоритмом вариант, то можно найти множество отличий. Впрочем, исследователи уверяют, что они изначально не хотели создать максимально похожий портрет человека — на тон и интонацию человеческого голоса влияют множество факторов, поэтому идеального результата они бы все равно не получили. Зато нейронная сеть отлично справляется с тем, что важно исследователям, а именно с точным определением пола, национальности и возраста.

Авторы работы отметили, что на данный момент алгоритм слабоват при определении возраста, но они в силах повысить точность. Также было обнаружено, что алгоритм лучше воссоздает лица с европейской и азиатской внешностью, но это связано только с тем, что на обучающих видеороликах было не равное количество лиц разных национальностей.

Зачем нужна нейросеть?

Чем же может быть полезна эта технология в будущем? Как вариант, при помощи нее когда-нибудь может быть создан сервис, где виртуальный аватар пользователя создается автоматически, на основе его голоса. Новое исследование также несет большую научную пользу — изучив данные, ученые могут найти взаимосвязь между внешностью человека и его голосом. Послушать голоса и посмотреть на воссозданные на их основе портреты можно на сайте проекта.

Рамис Ганиев

Источник

Зеленский пошел на попятную перед силовиками

В ближайшее время уровень поддержки президента Украины Владимира Зеленского может опуститься ниже плинтуса. Все дело в том, что гарант государства пошел на попятную перед силовиками. Он...

Ленин в шоке!
  • alexkolos
  • 21 августа 11:42
  • Промо

Нет, все понятно. Партийная элита всегда жила хорошо. А хочет жить еще лучше. Но кто у нас в кандидатах от КПРФ? Человек с пенсией в 160 с гаком рублей? 3 квартирами в Москве, 6 в Гелен...

Ходорковский «уничтожает» провинившегося Навального и делает ставку на Соболь

Серия несанкционированных митингов в российских городах, организованная кучкой незарегистрированных кандидатов, привела к множеству арестов. За решеткой, в частности, оказался основател...

Загрузка...

Ваш комментарий сохранен и будет опубликован сразу после вашей авторизации.

0 новых комментариев

    Загрузка...
    Sage Вчера 18:16

    Кто такие староверы и старообрядцы? Е.Ю.Спицин и академик А.В. Пыжиков.

    Источник: https://politikus.ru/video/121820-kto-takie-starovery-i-staroobryadcy.html...
    106
    Sage Вчера 18:12

    Белокурые сихиртя - пропавший народ Арктики.

    Как известно, русичи осваивая территории Севера, называли местное население собирательным именем ЧУДЬ. Однако отдельно выделяя ЧУДЬ БЕЛОГЛАЗУЮ которая занималась в горах добычей золота и серебра, и долгое время спустя древние рудники в Сибири, где добывали золото, серебро и медь, в народе называли чудскими копями. Да и сами финно-угорские народы, в част...
    501
    Sage Вчера 18:02

    Предиктивное программирование мирового правительства.

    Весь мир – театр,В нем женщины, мужчины – все актеры.У них свои есть выходы, уходы,И каждый не одну играет роль…                           Уильям Шекспир            ...
    399
    Sage Вчера 17:41

    Бразилия во тьме.

    Бразилия погружается во тьму. И дело не в отключении электроэнергии или солнечном затмении. Бразильский дождевой лес в Амазонии горит уже 16 дней. Ветер принес дым от лесных пожаров, полыхающих приблизительно в 2700 км от Сан-Паулу. Бразильский центр космических исследований INPE обнаружил около 72 843 локальных пожара и это рекордный показатель. ...
    320
    Sage Вчера 16:24

    Неудобная нация. Гарвардский профессор — о «русском вопросе»

    Книга профессора Гарвардского университета Терри Мартина «Империя положительной деятельности. Нации и национализм в СССР, 1923–1939» перевернула представления о «сталинской империи», образ которой десятилетиями формировали легионы западных историков и политологов, а с конца 1980-х — и вспомогательные когорты отечественных коллег. Уже в силу этого не заметить сей труд ...
    745
    Sage Вчера 11:21

    Как политик-авантюрист пошатнул российскую монархию и перехитрил сам себя: Михаил Родзянко.

    Михаил Владимирович Родзянко, председатель государственной Думы III и IV созывов, подтолкнул императора к мысли об отречение от трона. Но его попытка упрочить своё положение и возглавить правительство после крушения монархической власти и её традиционных государственных устоев и Февральской революции успехом не увенчалась. Его отчаянные попытки удержать...
    174
    Sage 22 августа 19:11

    Храмы на костях: Христианские оссуарии (костницы).

    Интерьер можно сделать из любого материала. Как вам, к примеру, интерьер, выполненный из человеческих костей? И не где-нибудь в пещере людоеда, а в христианском храме.Оссуа́рий (лат. ossuarium, от лат. os (родительный падеж ossis) — «кость») — ящик, урна, колодец, место или же здание для хранения скелетированных останков. В русском языке существует ...
    771

    Добро и Зло существует только для спящих. Георгий Гурджиев о совести и морали.

    Из книги П.Д. Успенского "В поисках чудесного"«В обыденной жизни понятие «совесть» воспринимается слишком упрощённо; считается, что мы обладаем совестью. На самом деле, «совесть» в сфере эмоций равнозначна сознанию в сфере интеллекта. И точно так же, как мы лишены сознания, у нас нет и совести.«Сознание — это состояние, в котором человек сразу знает всё...
    1169
    Sage 22 августа 17:03

    Huawei приступила к разработке оборудования для сетей 6G.

    Пока операторы десятков стран активно занимаются внедрением сетей пятого поколения, а производители электроники выпускают 5G-версии смартфонов, компания Huawei приступила к разработке сетевых решений для стандарта 6G. В работе участвуют и партнёры китайского техногиганта с разных уголков мира, а эксперты уже назвали дату запуска «мобильного интернета бу...
    548
    Sage 22 августа 16:22

    Сами мы не местные - народы, которые не считают себя людьми или утверждают, что пришли со звезд.

    Их немного, но они твердо убеждены, что они не люди или явились со звезд. И, знаете, их образ жизни и некоторые особенности позволяют даже поверить в это. Хотя, конечно,  кто знает.На самом деле таких всего два — Тода в Индии и Уру в Южной Америке. Наверное к ним стоит добавить еще один народ — Аймара. Нет, индейцы Аймара не утверждают ничего сверх...
    1170
    Sage 22 августа 10:22

    20 цитат Льва Толстого, которые откроют его вам с новой стороны.

    Он был первым, кто отказался от авторского права, был противником государственной системы, а за отрицание религиозных авторитетов его отлучили от церкви. Он отказался от Нобелевской премии, ненавидел деньги и выступал на стороне крестьян. Таким его не знал еще никто. Его имя — Лев Толстой. Сила правительства держится на невежестве народа, и оно знает...
    1554
    Sage 22 августа 09:53

    Работа финансовых рынков: Золотая афера «хозяев денег»

    Серьёзные игроки на финансовых рынках знают: понимание того, как работают эти рынки, невозможно без понимания того, что происходит и что может происходить с золотом. Золото – ось мировой финансовой системы Осью мировых финансовых рынков является золото. А вокруг этой оси вращаются различные бумаги (акции, государственные и корпоративные облигации, т...
    870
    Sage 21 августа 18:21

    Античный Петрополис – столица сарматской Гипербореи (Тайна Петра Первого).

    *ОТ автора блога. Данная статья лишь теория. Но она многое объясняет в мутной истории образования Санкт-Петербурга.Введение.Многие объективные исследователи русской истории пишут о том, что северная столица Русского государства Санкт-Петербург имеет намного более древнее происхождение в отличие от академической исторической версии. Иными словами, они от...
    2076
    Sage 21 августа 17:10

    В Гренландии будет построен Элизиум – рай на Земле.

    16 августа 2019 года The Wall Street Journal, со ссылкой на некие “осведомленные источники”, сообщил, что Администрация президента США Дональда Трампа рассматривает вариант покупки у Дании острова Гренландия.The Wall Street Journal – издание очень серьезное, поэтому если там пишут о каком-то факте – то этот факт имеет место быть. Однако, поначалу было н...
    845
    Sage 21 августа 10:08

    Черное каменное яйцо: Неуместный артефакт из Нью-Гэмпшира.

    Эта необычная находка одна из самых малоизученных и малоизвестных в мире. При этом ее никто не скрывает, но и не изучают, она просто вот уже более сотни лет лежит никому не нужная на полке музея.Обнаружили это каменное «яйцо» совершенно случайно в 1872 году.Рабочие рыли ямы для ограды частного дома в городе Мередит в районе озера Уиннипесоки и один из н...
    1902

    Концепция страха смерти и уровни Мироздания

    Организм начинает стареть в тот момент, когда уровень жизненной энергии падает настолько, что ее не хватает для поддержания физиологических процессов, и некоторые из них отключаются, вследствие чего биологические системы начинают выходить из баланса. У человека с возрастом может ухудшиться кровоснабжение какого-то органа, что вначале приведет к умен...
    4136
    Sage 20 августа 16:31

    Научитесь с позиции «настоящего» позитивно оценивать свое прошлое

    — Именно прошлый опыт позволит вам не допустить повторных ошибок. Отношение к прошлому опыту является важнейшим показателем мудрости человека.— Прошлое — это история вашей жизни, любите свою историю, потому что, во-первых, она уникальна и неповторима, во-вторых, это ваша, а не чья-либо чужая история.Помните, что не только прошлое влияет на настоящее, но...
    696
    Sage 20 августа 16:14

    Путин отказался передавать частоты Минобороны коммерсантам под сети 5G.

    Подковерная борьба силовиков с министрами-капиталистами, лоббирующими интересы транснациональных сотовых корпораций, пытающихся прибрать к рукам частоты Минобороны и Роскосмоса, завершилась (по крайней мере, пока) победой военных. По сообщению газеты «Ведомости», Президент Путин написал резолюцию «Согласен» на письме Совета безопасности с отрицательной ...
    1301
    Sage 20 августа 10:51

    Проклятие карельского шамана.

    В 1300 году правитель Швеции Торкель Кнутсон возвел в устье реки Охты крепость под названием Ландскрона («Венец земли»). Оттуда шведы начали устраивать систематические набеги на ближайшие карельские поселения. Легенды гласят, что в один из таких набегов солдаты наткнулись на старое языческое капище. Из-за вросших в землю каменных идолов навстречу захват...
    1269
    Sage 20 августа 10:19

    Климат Земли влияет на космическую погоду

    Российские учёные нашли доказательство тому, что изменения климата у поверхности Земли влияют на погоду в ближнем космосе. Учёные Балтийского федерального университета (БФУ) имени Канта, специалистами ВУЗа совместно с сотрудниками Института земного магнетизма, ионосферы и распространения радиоволн РАН, а также Института физики атмосферы выяснили связь к...
    278
    Служба поддержи

    Яндекс.Метрика