Facebook разрабатывает искусственный интеллект, который будет следить за каждым шагом человека.

4 736

Специалисты Facebook активно работают над различными проектами в области дополненной реальности. Одним из амбициозных проектов является разработка системы искусственного интеллекта, которая постоянно записывает и анализирует информацию.

Авторы проекта перечислили возможности, которым они хотят обучить систему. В частности, это функция «эпизодической памяти» (например, поиск ответа на вопрос вроде «где я оставил ключи?»), а также аудиовизуальный дневник, способный помнить, кто и что сказал.

Сейчас ни одна система искусственного интеллекта не может с высокой степенью надёжности решать задачи подобного уровня, и специалисты Facebook подчёркивают, что это исследовательский, а не коммерческий проект. Но в любом случае возникают серьёзные вопросы относительно конфиденциальности. Если эксперты уже сейчас недовольны возможностями очков от Facebook и Ray-Ban, то подобные опасения будут только усугубляться, если новые устройства будут не только записывать видео, но также расшифровывать и анализировать записи, а люди превратятся в ходячие системы наблюдения.

Проект получил название Ego4D, его разработку ведут специалисты Facebook и учёные 13 университетов по всему миру. В общей сложности база исходных данных включает в себя 3205 часов видеозаписей, полученных от 855 участников эксперимента, которые проживают в 9 странах. Подчёркивается, что за сбор данных отвечали университеты, а не Facebook. Участники, некоторые из которых получили гонорары за участие в эксперименте, снимали видео своих повседневных действий на камеры GoPro и умные очки. Это были простые действия простых людей: строительные работы, выпечка, игры с домашними животными и общение с друзьями. Учёные произвели анонимизацию всех видео, размыв лица прохожих и удалив любую личную информацию.

Авторы проекта говорят, что это крупнейший набор исходных данных, однако для запуска системы необходимы соответствующие навыки, которым специалисты пытаются обучить собственные нейросети. Выдвигается ряд конкретных задач.

Эпизодическая память: что и когда случилось (например, «Где я оставил ключи?»).

Прогнозирование: что я сделаю дальше («Вы уже добавили соль в блюдо?»).

Манипуляции: что я делаю («Научи меня играть на барабанах»).

Аудиовизуальный дневник: кто, когда и что сказал («Какой была тема урока?»).

Социальное взаимодействие: кто с кем взаимодействует («Помогите мне расслышать человека, с которым я говорю в шумном ресторане»).

Решать подобные задачи современным системам искусственного интеллекта пока не под силу, однако наличие наборов данных и тестов — это путь к их развитию. Специалисты Facebook надеются, что проект Ego4D станет эталонным для систем дополненной реальности источником данных, каким когда-то стал ресурс ImageNet. Обученный на основе этих данных интеллект можно будет использовать не только на носимых устройствах, но и на домашних роботах-ассистентах, которые также станут использовать камеры для навигации.

Хотя задачи, которые ставит перед собой Facebook, представляются практичными, интерес данной компании к подобным проектам обязательно будет беспокоить общественность. «Достижения» Facebook в области конфиденциальности данных сейчас представляются просто катастрофическими, учитывая астрономические штрафы от регуляторов и репутацию, которую компании создали показания информаторов.

На этом фоне уже сейчас вызывает беспокойство тот факт, что в описании проекта Ego4D не упоминается аспект обеспечения конфиденциальности, а в описании «аудиовизуального дневника» ничего не говорится об удалении данных людей, не желающих оказаться в кадре. В ответ на это представитель Facebook пообещал, что соответствующие меры будут предприняты в дальнейшем. По мере развития проекта.

Автор: Павел Котов

Источник

Возможности современных ИИ демонстрирует следующая статья:

Нейросеть заменила реальные объекты на улице на виртуальные

Немецкие и швейцарские разработчики создали программу для смартфонов и планшетов, реализующую смешанную реальность необычным способом. Она не просто накладывает на реальный мир виртуальные объекты, а удаляет настоящие объекты и вставляет на их место виртуальные, копирующие поведение оригинала. Например, она может в реальном времени заменить человека на фантастическое существо, сохранив при этом оригинальные движения тела. Разработку представили на конференции ISMAR 2021, а статья о ней доступна на сайте одного из авторов.

Классическая дополненная реальность (AR) подразумевает, что пользователь видит реальный мир, на который реалистично наложены виртуальные объекты. Благодаря распознаванию геометрии сцены современные системы дополненной реальности умеют корректно располагать объекты на поверхностях, учитывать перекрытие реальными объектами (например, если между виртуальным персонажем и человеком расположен шкаф, персонажа будет не видно или видна лишь его часть, выглядывающая из-за препяствия), вычислять источник освещения и корректно освещать виртуальные предметы.

Но так или иначе, дополненная реальность работает с уже существующей средой, а если она каким-либо образом взаимодействует с реальными объектами в кадрами, то только меняет их вид. Существует также смежный термин смешанная реальность (mixed reality, MR). Разработчики и компании дают ему разные определения, к примеру, фреймворк ARCore от Google сама компания называет фреймворком дополненной реальности, хотя согласно некоторым определениям его можно отнести и к смешанной реальности. В целом можно сказать, что он отличается от дополненной реальности тем, что такая система меняет саму среду, а не только вносит в нее новые объекты.

Группа разработчиков из Германии и Швейцарии во главе с Мохамедом Кари (Mohamed Kari) из Porsche и Университета Дуйсбурга-Эссена создали приложение для мобильных устройств, которое в реальном времени трансформирует одни объекты среды в другие, виртуальные и сохраняющие свойства реальных. Стоит отметить, что программа основана на четырех основных алгоритмах, которые не первый год применяют при работе с изображениями, но ранее никто не использовал вместе в такой связке.

Работа программы происходит следующим образом. Она получает кадры с камеры смартфона или планшета и передает их на сервер по мобильной связи, потому что дальнейшая обработка требует слишком большой вычислительной мощности, чтобы работать в реальном времени на мобильном устройстве.

Сначала происходит сегментация экземпляров, то есть нейросеть выделяет на кадре интересующие объекты, в данном случае это автомобили и люди. Затем параллельно происходит два процесса: одна нейросеть определяет трехмерное положение человека или машины в пространстве, а другая вырезает этот объект из кадра и реалистично заполняет эту область так, будто этого объекта не было. На последнем этапе алгоритм накладывает на полученный зарисованный кадр виртуальный объект так, чтобы его положение повторяло оригинал.

Потенциально в качестве новых объектов можно вставлять любые 3D-модели. Авторы выбрали несколько тем для объектов: хеллоуин (например, ведьма на метле вместо машины и Джек с тыквой вместо человека), научную фантастику, животных и первобытные времена. В зависимости от выбранной нейросетевой модели для удаления и закрашивания кадров программа работает с разной частотой: от 4 до 22 кадров в секунду.

Качество закрашивания варьируется соответствующим образом: более быстрая модель дает менее реалистичные кадры. Кроме того, программе требуется подключение с низким откликом, и из-за работы в облаке изображение на экране отстает от реальности на десятки или сотни миллисекунд, в зависимости от выбранной модели. В будущем вычислительную мощность сервера, а значит качество и скорость работы системы можно будет увеличить.

Источник

PS: Так готовят для массы безработного населения (работают роботы) виртуальный матричный мир...

27 Планет Солнечной Системы

На долю Солнца, масса которого в - 740 раз больше общей массы планет солнечной системы известных сегодня науке, приходится всего 2% общего момента системы, а остальные 98% на - 0,001 об...

Россия против Запада: гонка на выживание

Я всегда говорил и буду говорить, что силовые методы во внутренней и внешней политике — последний довод. Не невозможный, не запрещённый, не аморальный, а именно последний.Моральные оцен...

Обсудить
  • :open_mouth: :smile: :smile: Так Он и сейчас следит и давно... На каждый Чих и Тпелодвижерние подсовывает Решение/предложение
  • Шо, и в туалете? Уссаться можно!