Как работает виртуальная реальность?

Как работает виртуальная реальность? Как объяснить технологию, благодаря которой вы можете перемещаться по поверхности Марса, на самом деле переходя из кухни в ванную? Сегодня мы будем объяснять, каким образом функционируют различные гарнитуры виртуальной реальности. Давайте начнем с некоторых основ.

Использование гарнитуры в настоящее время ассоциируется с компаниями Oculus, Sony, Samsung и Google. Для подключения в мир виртуальной реальности, как правило, требуется три вещи. ПК, консоль или смартфон, чтобы запустить приложение, гарнитура, обеспечивающая отображение смоделированного мира в ваших глазах и какой-нибудь адаптер, который отвечает за отслеживание головы, рук и голоса, за контроллеры, включение устройства, а также трекпады.

Полное погружение заключается в том, что гарнитура, запуская различные приложения, делает опыт виртуальной реальности настолько реальным, что пользователь попросту забывает, что все это, на самом деле, искусственно смоделированный мир. Так как же происходит процесс попадания в это пространство?

Основы

VR-гарнитуры, как Oculus Rift и Project Morpheus, часто называют HMD, что на деле означает дисплеи, установленные на голове (head mounted display). Даже без отслеживания звука или движений, надев на голову «картонку» от Google и разместив дисплей вашего смартфона перед лицом, вы сделаете достаточно, чтобы хотя бы наполовину погрузиться в виртуальное пространство.

Цель этих устройств – создать 3D виртуальную среду в натуральную величину и без границ, ассоциируемых обычно с экранами телевизоров и компьютеров. В зависимости от того, куда вы смотрите, экран, установленный напротив лица, следует за вами. Это главное отличие от технологии дополненной реальности, которая в свою очередь накладывает графические элементы на видение реального мира.

Видео передается от консоли управления или компьютера на гарнитуру с помощью кабеля HDMI в случае гарнитур HTC Vive и Rift. Что касается Google Cardboard и Samsung Gear VR, в этих гарнитурах уже находится специальный слот для смартфона.

VR-гарнитуры используют либо два канала, отправленных на один дисплей, либо сразу два ЖК-дисплея, по одному на каждый глаз. Существуют также линзы, которые размещены между вашими глазами и пикселями, что является причиной, по которой устройства называют «очками». В некоторых случаях, они могут корректироваться в соответствии с расстоянием между вашими глазами.

Эти линзы фокусируют и изменяют изображения для каждого глаза и создают стереоскопическое 3D-изображение, поворачивая два 2D-изображения и создавая таким образом имитацию третьего изменения. Для понимания этого на практике попробуйте позакрывать поочередно каждый глаз и наблюдайте за резким перемещением некоторых предметов.

Одним из способов улучшения качества погружения является увеличение поля зрения. Дисплеи на 360 градусов стоили бы немалых затрат, что влияло бы и на их исходную цену. Большинство высококлассных гарнитур предлагают поле зрения в 100-110 градусов, чего вполне достаточно для достижения необходимых ощущений.

И, для пущей реальности показываемого, минимальная частота кадров должна быть около 60 кадров в секунду. Правда, переживать по этому поводу совершенно нет смысла. Современные VR-гарнитуры выходят далеко за пределы 60 fps. Oculus способна выдавать 90 кадров в секунду, а, например, Project Morpheus от компании Sony выжимает все 120.

Отслеживание головы 

Отслеживание головы подразумевает, что, когда вы носите VR-гарнитуру, картина перед вами двигается в соответствии с тем, как вы посмотрите вверх, вниз или из стороны в сторону. Система называется 6DoF (шесть степеней свободы), она анализирует размещение головы относительно осей x, y, z для измерения движений головы вперед и назад, из стороны в сторону и от плеча к плечу, иначе известных как тангаж, рыскание и крен.

Также в гарнитуру встроено несколько различных внутренних компонентов, которые могут быть использованы в системе отслеживания головы: гироскоп, акселерометр и магнитометр. Sony Project Morpheus также использует девять светодиодов, размещенных вокруг гарнитуры, чтобы обеспечить 360 градусов отслеживания благодаря внешней камере наблюдения PS4.

Технология отслеживания головы для успешной работы требует низкую задержку - мы говорим о цифре 50мс или меньше, в ином случае пользователь будет ощущать отставание кадров в момент поворота головы. Oculus Rift имеет впечатляюще минимизированное отставание всего на 30 миллисекунд.

Наушники также могут быть использованы для усиления ощущения погружения. Двойной или 3D звук может быть использован в приложениях и играх, чтобы подарить пользователю ощущение реалистичности происходящего (с усилением или затиханием звуков, в зависимости от перемещения по виртуальному миру). 

Отслеживание движений

Отслеживание головы – это одно сплошное преимущество. Но пока еще неизданные гарнитуры премиум-класса предлагают эту возможность, более демократичные модели не могут обещать того же. Тут в ход вступает второй важнейший аспект погружения – отслеживание движений. Ведь когда вы одеваете на голову VR-гарнитуру, то первое, что вы хотите сделать, это увидеть свои руки в виртуальном пространстве.

Для этого существует несколько устройств. Одним из первых аксессуаров, позволяющих отслеживать движения рук, является Leap Motion. Устройство использует инфракрасный датчик и присоединяется к гарнитуре виртуальной реальности.  Также небезызвестным является Kinect. Но с развитием отрасли начало появляться все больше интересных гаджетов от Oculus, Valve и Sony.

Oculus Touch – это набор беспроводных контроллеров, позволяющих полноценно подключать руки к погружению в виртуальную среду. В каждую руку вы берете по контроллеру и используете кнопки для управления. Так, например, можно стрелять из пистолета или открывать дверь. На каждом контроллере также есть датчики для распознавания различных жестов.

Стоит также отметить технологию Valve Lighthouse и контроллеры HTC для гарнитуры Vive. Устройство включает в себя две базовые станции в частях комнаты, которые пускают через комнату лазеры.  Они в свою очередь обнаруживают точное положение вашей головы и рук, и передают информацию на датчики в самой гарнитуре или портативном контроллере. Как и Oculus Touch, датчики оснащены кнопками, а самым невероятным является то, что в одной комнате можно использовать несколько систем Lighthouse от Valve, позволяющих отслеживать несколько пользователей одновременно.

Другие методы могут включать в себя голосовое управление, смарт-перчатки и специальные беговые дорожки, такие как Virtuix Omni, которые позволяют моделировать хождение по среде виртуальной реальности.

Отслеживание глаз

Отслеживание глаз, пожалуй, является последним кусочком этой головоломки. Функция не доступна на Rift, Vive или Morpheus, но ее предлагает достаточно перспективная краудфандинговая гарнитура FOVE. Итак, как же это работает?

ИК-датчик анализирует, куда смотрят ваши глаза внутри гарнитуры. Главное преимущество этой технологии, помимо более точной реакции игровых персонажей на то, куда вы смотрите, это сделать глубину резкости более реалистичной.

В стандартных VR-гарнитурах все выглядит довольно резко, что отличается от того, как мы привыкли смотреть на мир. Если наши глаза смотрят на объект на расстоянии, например, передний план будет размываться, и наоборот. Отслеживая наши глаза, графический движок FOVE может смоделировать все это в 3D пространстве виртуальной реальности. Соответственно, размытие может быть хорошим.

Гарнитурам следует также увеличить разрешение дисплея, чтобы избежать эффекта «зерна». Кроме того, все, на что будут смотреть наши глаза, должно быть настолько приближенно к жизни, насколько это возможно. В ином случае ваш мозг будет понимать, что что-то не так и вас будет ждать головокружение после получаса игры в гарнитуре.

via