С блогом EmpathyBox своими размышлениями о настоящем и будущем технологий виртуальной реальности.

Почему VR — это будущее

У каждого, кто читает эти строки, перед глазами, скорее всего, есть монитор — потомок телевизора. C телевизорами произошла такая история: в 1947 году в США было около 180 тысяч телевизоров, а к 1951 году их число превзошло 10 миллионов. Потом подобное повторилось со смартфонами (рассмотрим данные по iPhone): летом 2010 года их было продано более пяти миллионов, а к лету 2012 их число превзошло 250 миллионов.

Законы развития цикличны — это даёт определённые основания усматривать ту же судьбу для шлемов виртуальной реальности вроде Oculus Rift.

Что сейчас

По состоянию на лето 2014 года было продано более 100 тысяч комплектов разработчика Oculus Rift. Уже сейчас VR-девайсы имеют большую пользовательскую привлекательность за счёт доступной цены и новых впечатлений. Достижение той самой легендарной «виртуальной реальности» наконец-то видится возможным в ближайшие годы.

И я имею в виду не только компьютерные игры. С играми имеется проблема, связанная с отсутствием периферии, стандартизированной и покрывающей потребности пользователей (об этом ниже).

Зато у VR есть достаточно потенциальных преимуществ над настольными видеомониторами.

Oculus (здесь и далее под Oculus автор подразумевает все устройства типа HMVRD, head mounted virtual reality display — прим. ред.) может «показывать» намного больше площади, чем любой экран, при почти сопоставимой стоимости; занимает намного меньше места, чем настольный монитор; может показывать 3D-картинку лучше, чем настольный монитор, и в ближайшем будущем достигнет сопоставимой зрительной плотности пикселей. Польза для инженеров и CG-артистов очевидна.

Кроме того, в Oculus можно будет смотреть 3D-кино и оперировать информацией с множества виртуальных рабочих столов.

Dream

Что касается тренда развития VR — мы наблюдаем картину, схожую с условиями начала типичного технологического бума. Остаётся только вопроc, когда. Цукерберг считает, что не скоро . Cогласно его мнению, потребуется около 10-20 лет. Однако я не вижу за этим прогнозом существенных оснований — проблемы есть, ниже я их перечислю, но ни одна из них не стоит решения в 10 лет длиной.

Когда наступит эра VR

Что нужно, чтобы это произошло?

1. VR-девайсы с хорошими тактико-техническими характеристиками (ТТХ), желательно, дешевые

Имеющиеся сейчас HMVRD (здесь я вольно называю их Oculus) обладают недостаточными характеристиками для полноценной передачи виртуальной реальности. К счастью для потребителя, это всего лишь прототипы.

Проблемы, которые были обнаружены благодаря этим прототипам, активно решаются — в частности, с эффектом укачивания начали бороться уже в DK2 Crystal Cove.

Что касается эффекта «screen door» (эффект барьера перед глазами из-за низкого разрешения виртуального экрана), то и он будет побеждён. Например, Майкл Абраш (один из первых евангелистов VR) очень конкретно подсчитал, что для достаточного покрытия нашей «визуальной потребности в детализации картинки» разрешение экрана внутри Oculus должно достичь 8Кx4К.

Казалось бы, огромные цифры. Но производители матриц для смартфонов не дремлют. Sharp анонсировал дисплеи сверхвысокой четкости до 4096x2160 и это определённо не предел. Дальше пикселей будет только больше.

К сожалению, большое количество пикселей — большая забота для того, кто их рендерит. Системам, обслуживающим рендеринг для VR, придется существенно подтянуться по мощности. Например, не самая дешевая в настоящий момент видеокарта R9 290 выдаёт в Crysis 3 порядка 60 кадров (FullHD, максимальные настройки).

Для Oculus DK3 (анонсированное разрешение дисплея — 2560x1440), можно справедливо предположить, что для этой же игры в VR частота кадров упадёт более чем в 1,77 раза (1,77 — отличие разрешений по площади в пикселях). 33 кадра — это совсем не хорошо для VR. Геймерам, чьи системы окажутся ниже планки по трафику и гигафлопсам (а это большинство нынешних игроков), придётся менять их.

Когда индустрия будет готова заинтересовать их играми для VR?

Elite: Dangerous

2. Хорошие игры для VR

Дорогие контентно-насыщенные игры разрабатываются крупными компаниями с ориентацией на уже сложившуюся клиентскую базу. Следовательно, условия для массового пришествия виртуальной реальности в хардкорный гейминг сложатся тогда, когда у среднего геймера, готового купить VR-игру, в компьютере будет стоять нечто наподобие GFX Titan Z.

Кроме этого, позиция крупных компаний в настоящий момент такова, что они подождать с разработкой игр, пока маленькие компании «разведают почву», найдут удачные решения и выявят проблемы. Таким образом, первую ААА-игру, разработанную специально с ориентацией на Oculus, можно ожидать не ранее, чем через года три-четыре.

Among the Sleep

3. Стандартизованная удобная периферия

С этим сейчас очень сложная ситуация. В течение нескольких лет разнообразных разработок от множества компаний стало понятно только одно — единого устройства не будет. Несложно сделать джойстики, муляжи пистолетов, автоматов, мечей — сложно это всё стандартизировать так, чтобы ради очередной игры не пришлось покупать эксклюзивный девайс, под который ее заточили разработчики. А разработчики, в свою очередь, не могут ни на что ориентироваться, потому что очевидного мейнстримного решения пока не видно.

Несмотря на то, что журналисты восхищаются VR с Virtuix Omni и различными видами джойстиков, они же отмечают сложности с адекватным перенесением в VR классического игрового опыта (когда игрок статично сидит за столом, действуя только мышкой и клавиатурой).

VR создаёт сильное ощущение присутствия и подразумевает более тесную связь игрока с его аватаром, из-за чего у геймера возникает ожидание, что его действия своим телом будут в высокой точности передаваться в игру. Вот с реализацией этих потребностей — как раз самые большие проблемы.

Что касается технической стороны вопроса, то я замечаю, что дело движется в сторону свободного объемного сканирования (позиционирования) тела игрока разными устройствами. Возможно, что в итоге будет выработан единый формат данных о положении тела игрока — тогда станет неважно, какие устройства и какими методами собрали эти данные, будь то специальный костюм или внешние камеры-сканеры глубины.

Singmetosleep

Технические аспекты VR

Сейчас есть только один известный аспект, с которыми уже сталкиваются разработчики. Речь идёт про бандвич (филлрейт) рендеринга. Высокое разрешение и необходимость высокой частоты кадров создают серьезные требования к компьютеру и видеокарте, которые рендерят картинку для VR.

Для стереоскопической картинки требуются два кадра. В самом примитивном случае каждый кадр необходимо рендерить отдельно с другими настройками камеры, а это означает двойной прогон всего контента через конвейер движка. Из-за этого для CPU кадр для Oculus будет «выглядеть» по нагрузке как два полноценных кадра в обычной ситуации. При этом допускать низкое проседание FPS очень нежелательно: это будет вызывать тошноту (или иные неприятные ощущения) и значительно ухудшать восприятие виртуальной реальности.

Кроме этого, возможно, придётся отказаться от техник рендеринга, манипулирующих биллбордами или скринспейсом — они подходят для формирования красивой картинки на экране 2D-монитора, но в трехмерном пространстве наш мозг (и наше бинокулярное зрение) сложнее обмануть — всё, что не сможет создать ощущения единого 3D-континуума, будет создавать дискомфорт восприятию. Типичный пример — снег или дождь, реализованный плоскостями, параллельными экрану, или дым, реализованный биллборд-партиклами. Не исключено, что биллборд-эффектам вообще не найдется места в VR.

Почему будущее дистанционного общения не за VR-системами, а за смешанной реальностью? Своим видением коммуникационных систем будущего поделился AR-эксперт Марк Биллингхерст.

Летом 1995 мне повезло поучаствовать в удивительном событии, которые изменило мою жизнь навсегда. Я надел шлем виртуальной реальности в университете Вашингтона и переместился из Сиэтла в маленькую чайную комнату в Японии. Я мог поговорить с другими людьми в комнате, повернуться к ним своим виртуальным лицом и помахать им своей виртуальной рукой. Это был проект Greenspace, и это было первым опытом создания общего виртуального мира.

В то время оборудование стоило больше миллиона долларов, а счет за связь превысил десятки тысяч долларов. Двадцать лет спустя проведение VR-конференций становится все более распространенным. Совместные виртуальный пространства разрабатывают High Fidelity , Sansar и Facebook . Altspace VR регулярно пользуются более 30 тысяч людей в месяц, а совместные VR-приложения, вроде Rec Room и Big Screen , набирают популярность.

Одно из самых больших преимуществ VR-конференций заключается в том, что они позволяют людям использовать некоторые коммуникационные сигналы, которые они используют при личном общении. Они могут не только разговаривать друг с другом – у них есть виртуальные тела, которые позволяют им поворачиваться друг к другу, пожимать руки и использовать широкий ряд невербальных жестов. В конце концов, они могут взаимодействовать с виртуальной средой вокруг них, показывая на объекты или играя в игры вместе. В Rec Room пользователи могут играть в теннис, а в Facebook Spaces создавать совместные 3D-эскизы. Всё это позволяет достигнуть большей степени социального присутствия, чем в традиционной аудио- или видеоконференции.

Совместная смешанная реальность – это следующий телефон?

У VR-конференций большой потенциал, и компании инвестируют десятки миллионов долларов в создание соответствующих платформ. Но конференции в смешанной реальности (MR) могут иметь даже большее влияние из-за своей связи с реальным миром.

Смешанная реальность определяется как технология, которая смешивает реальный и виртуальный миры. VR отделяет людей от реального мира, а MR пытается расширить взаимодействия реального мира или добавить элементы окружающего мира в среду VR.

Преимущества использования смешанной реальности для удаленного взаимодействия:

• люди могут получать помощь в выполнении задач реального мира от удаленных пользователей;
• виртуальные люди будут помещены в реальное пространство;
• поддержка перехода от совместного AR к VR;
• использование MR-изображений для расширения сигналов удаленной коммуникации;
• предоставление пользователям возможности делиться своей точкой зрения и видеть всё взглядом другого человека;
• налаживание связи между пространством задачи и пространством общения;
• поддержка естественных пространственных сигналов для удаленной коммуникации.

Возможно, самое большое преимущество MR-конференций – это их фокус на совместном взгляде на рабочее пространство. Для многих задач реального мира, например, удаленного техобслуживания, гораздо важнее увидеть то, над чем работает человек, а не его лицо. Эту возможность можно применить во множестве областей, от удаленного ассистирования до медицинской поддержки в операционной или совместных игр.

Первые системы MR-коллаборации

Почти двадцать лет назад я помогал разрабатывать одну из первых MR-систем. Это было приложение для AR-конференций, которое помещало виртуальные аватары людей в реальную среду пользователей. Они могли переворачивать карточки с именами, и эти люди появлялись перед ними. Всё это происходило при помощи шлема виртуальной реальности. Главным преимуществом системы было то, что она переместила конференции с экрана компьютера в реальный мир. Мы обнаружили, что видеоаватар собеседника в реальной среде обеспечивал большую степень социального присутствия, чем его изображение на экране компьютера.

AR-конференция 1998 года

Я особенно запомнил одно исследование, в котором мы сравнивали AR-конференции с видеоконференциями на компьютере. Один человек, использующий систему видеоконференции, сильно приближался к монитору, предполагая, что так собеседник услышит его лучше. Но когда он использовал AR-систему, он сразу отодвинулся назад, давая собеседнику личное пространство, как и в реальном разговоре. Это подсознательное действие показало, насколько социальное присутствие повышается при использовании AR-приложения.

Примерно в то же время мы показали возможность использования пространственных сигналов при разработке WearCom. Она представляла собой носимую AR-систему, которая позволяла виртуальным людям появляться вокруг человека, который использовал небольшой компьютер и носил на голове экран. В этом случае мы применяли пространственную ориентацию аудио для того, чтобы голоса людей шли от их виртуальных аватаров. Мы обнаружили, что, как и в личном разговоре в большой толпе людей, люди легко могли разделить речь разных людей, даже когда они говорили практически одновременно.

Хотя это исследование было многообещающим, проблема заключалась в том, что видеоаватары людей были плоскими прямоугольниками. Если вы смотрели на них с другой стороны, они исчезали, что точно не происходит с трехмерными людьми. Эта проблема была решена пару лет спустя с помощью 3D Live System, где мы использовали несколько камер для записи людей. Это создавало иллюзию, что настоящий человек стоит в вашем реальном пространстве. Виртуальную копию человека можно было показывать в VR и в AR-среде. Это позволило пользователям использовать движения и жесты, как и в разговоре лицом к лицу.

3D Live, 2002 год

Термин “смешанная реальность” описывает пространство от технологий интерфейса реального мира до полностью виртуальной среды. Многие системы коллаборации существуют в конкретных точках этого пространства, например, общение лицом к лицу в реальном мире или конференции в виртуальном пространстве. MR-конференции предоставляют людям возможность перемещаться по MR-пространству. Например, проект MagicBook – это интерфейс, который поддерживал общение лицом к лицу, AR или VR-вид, а также смесь этих видов. Используя эту систему, люди могли читать книгу и смотреть на страницы через дисплей, при этом на экране появлялся AR-контент. Когда пользователь видел интересную AR-сцену, он мог переключиться на полноценный VR-опыт. В этой VR-сцене один из людей мог видеть собеседника из реального мира как гигантскую голову, парящую в небе. Так MagicBook поддерживал бесшовные переходы между реальным миром, AR и VR.

Эти прототипы показали, что технологию MR можно использовать для встраивания виртуальных собеседников в реальную среду пользователя. В отличие от VR-конференций, MR-интерфейс расширяет общение в реальном мире и позволяет пользователям получать помощь с любыми заданиями.

Текущее состояние MR-конференций

Развитие нового поколения AR и VR-дисплеев привело к созданию новых MR-систем. Microsoft представил MR-версию Skype при помощи своего шлема HoloLens. Пользователь может поместить окно Skype в любое место в пространстве и увидеть видео от собеседника. В то же время камера HoloLens может передавать видео удаленному пользователю, и они могут увидеть окружение собеседника и добавить в него AR-аннотации для помощи с выполнением задач. Удаленный пользователь при этом видит окружающую действительность глазами пользователя HoloLens.

Как и приложения для AR-конференций двадцатилетней давности, Skype для HoloLens помещает видео в виртуальный прямоугольник. Проект Microsoft Holoportation решает эту проблему, используя камеру глубины для записи и трансляции трехмерной виртуальной модели удаленного пользователя в реальный мир. В сочетании с HoloLens локальный пользователь может видеть копию удаленного пользователя в реальном мире.

В этой области существует также большое количество начинающих стартапов. Mimesys позиционируют себя как первую голографическую платформу для общения, которая может записывать образ людей и помещать их вместе в виртуальное пространство. Holoportal DoubleMe предоставляет облегченную версию Holoportation для общения. Обе компании фокусируются на сборе данных о людях, а Envisage AR захватывает окружение пользователя и делится им с удаленными собеседниками. В следующие несколько лет мы увидим намного больше активности в этой сфере.

Эти системы показывают, что опыт MR-конференций можно создать на существующих AR и VR-коммерческих платформах.

Что дальше?

Существует ряд разработок, который продолжит совершенствовать MR-конференции и позволит людям общаться эффективнее, чем раньше. В частности, сейчас существует три важных тренда:

• Естественное общение: С ростом скорости связи становится возможно расширить опыт коммуникации (не только аудиосигналы, но и жесты), что приведет к более естественному общению.
• Запись опыта: Развивается технология, которая позволит людям захватывать свое окружение и опыт, то есть происходит переход от фотографии к записи трехмерных сцен.
• Скрытое понимание: Компьютеры начнут больше понимать о пользователях и их окружении. Это позволит им понимать скрытое поведение, например, направление взгляда человека.

Все эти тренды объединяются в направление, которое стремится к созданию систем, позволяющих нам делиться тем, что мы видим, слышим и чувствуем. В отличие от традиционных инструментов общения, эмпатические системы созданы, чтобы позволить вам более глубоко понимать точку зрения собеседника, видеть его глазами, слышать то, что слышат он.

Примером такого типа взаимодействия являются наши Empathy Glasses. Это AR-дисплей, который может распознавать выражение лица и отслеживать направление взгляда. Удаленный собеседник видит не только окружающую обстановку, но и выражение лица и информацию о направлении взгляда человека в очках. Это одна из первых систем, которая делится информацией о направлении взгляда, и это только начало изучения эмпатической технологии удаленного общения.

Прощай, телефон…

Через двадцать лет использование мобильного телефона для общения с друзьями будет таким же устаревшим способом, как использование стационарного телефона сейчас. К тому времени технология смешанной реальности позволит людям видеть виртуальные копии своих друзей в реальном мире, а также видеть мир глазами друзей и помогать им в выполнении реальных задач.

Сегодняшние VR и AR-системы показывают лишь часть того, что возможно со смешанной реальностью. MR-системы могут делиться большим количеством коммуникационных сигналов и позволяют людям общаться так, как было невозможно до этого. При следующем звонке представьте, что вы можете видеть, слышать и чувствовать то, что видят, слышат и чувствуют ваши друзья.

Будущее. Каким только не видят его писатели-фантасты , сценаристы, художники и обычные люди. Будущее притягательно для нас тем, что оно пока еще неизведанное и как знать, быть может, в нем хранится много тайн и сюрпризов, которые позволят сделать жизнь человека намного проще и комфортнее. Стараясь хотя бы немного приблизить будущее, многие крупные корпорации и небольшие компании регулярно пытаются воплотить в жизнь серьезные и не очень футуристические проекты.
Ни для кого не секрет, что большая часть созданных на сегодняшний день технологий, изначально предназначалась для использования в игровой сфере геймерами. Разработчики буквально из кожи вон лезут, для того чтобы позволить человеку максимально погрузиться в другую, фантастическую реальность. И сегодня можно с уверенностью говорить о том, что их попытки все же приносят свои плоды, что не может не радовать конечного пользователя.

Будущее за шлемами VR?!

Про современные и сегодня не слышали разве что самые ленивые и не любопытные пользователи сети Интернет. Бесспорным лидером в этом сегменте является компания Oculus со своим VR шлемом Rift , который может предложить всем поклонникам виртуальной реальности достаточно большой угол обзора и практически полное отсутствие всевозможных зависаний и багов, благодаря чему картинка выглядит максимально реалистично.
Бета-версия шлема уже успешно прошла тестирование и первые модели этого устройства, даже появились в продаже. Гаджет подключается к компьютеру через специальные разъемы DVI или HDMI. Предусмотрена в шлеме и поддержка стандарта USB, который позволяет осуществлять быструю передачу данных с трекера , а в случае необходимости USB — разъем может выступать в качестве дополнительного источника питания.
Главным отличием Oculus Rift от большинства других 3D технологий является тот факт, что разработчики шлема решительно отказались от использования поляризаторов и затворов. Исходная картинка сначала выводится на общий дисплей, после чего корректируется с помощью линз для обоих глаза.

Костюм PrioVR

Еще одним примером развития рынка виртуальной реальности является уникальный костюм, который может иметь от семи до семнадцати сенсоров, улавливающих движение. Эти датчики установлены по всему телу пользователя за исключением ступней ног. Уникальный дизайн костюма и использование самых современных технологий позволяют его владельцу получать полный контроль над своим персонажем в виртуальном мире. Костюм может стать приятным дополнением шлема , вне всяких сомнений, сочетание этих двух гаджетов позволит максимально полно погрузиться в виртуальную реальность.

Бег по виртуальному миру

Сделать погружение в виртуальную реальность более полным позволят специальные беговые дорожки. Наибольшую известность в этом сегменте смогла получить уникальная беговая платформа Virtuix Omni , которое позволяет сделать игровой процесс еще более интересным и увлекательным. Благодаря этому необычному гаджету пользователи смогут полностью контролировать свой игровой персонаж, который будет бежать, прыгать или приседать одновременно с игроком.

Рынок VR гаджетов

Для того чтобы испытать все эти гаджеты в действии пользователям остается лишь дождаться их появления в магазинах. По словам разработчиков, уже к концу текущего года практически любой геймер сможет приобрести для себя полный геймерский набор, для тотального погружения в выдуманный мир.
Справедливости ради, необходимо отметить, что не ограничивается лишь разнообразными девайсами для геймеров. Так, например, год назад очень много шума наделала технология под названием Leap Motion , предназначенная для бесконтактного управления персональными компьютерами. Для тех, кто не в курсе, как работает эта технология нужно пояснить, что в ее основе лежит мощная камера, которая способна захватывать положение руки пользователя, после чего передает данные на компьютер, а тот в свою очередь выполняет необходимые задачи – открывает документы, перелистывает страницы, уменьшает или увеличивает изображение и т.д.
Как отмечает, руководитель компании Leap Motion Michael Buckwald, перед его командой стояла непростая задача – создать приложение, которое способно полностью изменить принцип взаимодействия человека и операционной системы компьютера.
Не менее интересным и перспективным, с точки зрения открывающихся возможностей, стал другой футуристический проект, получивший название NeuroG. Целью этого проекта заявлено создание уникального прибора, который позволит управлять компьютером … силой мысли. Пользователям этого прибора для того чтобы передвинуть курсор или написать реферат на 25 страниц нужно будет лишь мысленно сконцентрироваться на поставленной задаче, а все остальное сделает ПК.
В настоящее время, по словам участников NeuroG уже создан прототип этого устройства, уже известно, что для работы с ним человеку не придется подключать свое тело к приборам или вживлять в него специальные датчики, достаточно будет просто одеть шлем и подумать о работе.
Вне всяких сомнений, разработки в области удаленного управления компьютером продолжатся в ближайшее время и совершенно не известно, до чего еще могут додуматься наши ученые.
Наверняка многие из вас видели фильм Геймер известного режиссера Марка Невелдайна . В основе сценария этого кино лежит идея сочетания технологий реального и виртуального мира для успешного управления сознанием людей. А теперь представьте на минуту, что вы находитесь в небольшой комнате, но мир вокруг вас – это дополненная реальность, игра, которую можно прекратить в любой момент. Представили? А теперь спешим вас порадовать, что нечто подобное станет возможным, как только в продаже появится устройство под названием CAVE, которое представляет собой уникальную проекционную систему дополненной реальности, с визуализацией 3D картинки на специальные сверх четкие экраны. Размеры такого экрана равняются три на три метра, используя от трех до шести таких мониторов, пользователи имеют возможность максимально глубоко погрузиться в выдуманный мир фантазий и грез.
В настоящее время ученые всего мира используют устройство CAVE для проведения различных научных исследований, проектирования виртуального пространства и создания гаджетов и приборов, обладающих сложной конструкцией.
Еще одним интересным проектом, является задумка компании Microsoft , по созданию специальной комнаты, которая будет имитировать виртуальную вселенную. Проект уже получил название IllumiRoom, его целью является разработка динамичного помещения с помощью проектора, возможностью выхода картинки за пределы монитора или экрана телевизора и т.д. Вне всяких сомнений это новшество будет особенно интересно всем владельцам XBOX.
Практически ежедневно в головах людей, возникают все более новые и смелые идеи, при этом часть из них вполне успешно воплощается в жизнь. Вполне вероятно, что уже через несколько десятков лет человек сможет жить в полностью придуманном им мире, делая все, что ему хочется и, реализуя любые мечты и фантазии.
То, что сегодня мы наблюдаем на рынке VR-технологий можно сравнить разве, что с марафонской гонкой, в которой принимают участие энтузиасты-любители и прославленные чемпионы мирового спорта. В этом необычном забеге спортсмены могут поставить подножку своему конкуренту или объединиться со своими соперниками, для того чтобы увеличить свои шансы на победу. Конца этому марафону пока еще не предвидится, и кто дойдет до победного финала — не известно.
Пользовательскую аудиторию еженедельно буквально заваливают громкими анонсами, обнадеживающими обзорами и успешными результатами бета-тестирования различных устройств. Однако, несмотря на это релизы и старты продаж всех этих девайсов чаще всего откладываются производителями на более поздний срок, который вполне вероятно не наступит уже никогда.
Несомненными лидерами рынка являются Oculus Rift и Sony Morpheus , однако даже их позиции в последнее время пошатнулись. Что совершенно неудивительно, ведь на рынке регулярно появляются все более оригинальные и интересные технологии, которые сулят обычному пользователю весьма заманчивые перспективы.

Мы регулярно рассказываем о новых релизах игр. Многие из них выходят на эксклюзивных правах для PlayStation VR на эксклюзивных правах. И мы частенько сетуем на ограниченное отслеживание PlayStation VR и контроллеров PlayStation Move, на неидеальное управление. Отслеживание в 180 градусах делает перемещение внутри виртуального мира гораздо более ограниченным, чем нам хотелось бы. А отсутствие аналоговых джойстиков на контроллерах затрудняет передвижение. Это печальная реальность, с которой многие из нас научились жить, чтобы наслаждаться такими невероятными играми, как Skyrim VR. В то же время мы всё чаще задумываемся. А какое же будущее PlayStation VR в итоге увидит?

Каждая игра виртуальной реальности требует достаточно высоких технических характеристик. И скоро покажет нам, как можно наслаждаться тем же самым контентом с гораздо более четкими визуальными эффектами, которые позволят нам лучше погрузиться в миры, которые мы изучаем.

Но PlayStation VR – это особый случай, потому что именно у этого шлема есть огромный список уже жизненно необходимых улучшений. И если они так остро необходимы уже сейчас, что же будет с устройством через три-пять лет? Какое будущее PlayStation VR мы увидим?

Предположим и вообразим

Ну, попробуем разобраться. Предположительно, PlayStation VR 2 будет гарнитурой, которая работает с гипотетическими консолями PlayStation 5 и PlayStation 5 Pro. Ограниченная вычислительная мощность PlayStation 4 была серьезной проблемой для разработчиков, которые адаптировали уже существующие игры, ранее появившиеся для более требовательных Oculus Rift и HTC Vive.

Если PlayStation 5 будет более совместима с ними, командам легче было бы реализовывать адаптации контента версий для компьютера. И всё это благодаря увеличенной мощности. Ведь даже сейчас PlayStation 4 Pro дает разработчикам гораздо больше возможностей для работы по сравнению с PlayStation 4. Не будет больше размытых текстур в Arizona Sunshine, например, или, возможно, намного меньше скачущих градиентов в Apex Construct.

Это значит, что дисплей PlayStation VR 2 должен значительно отличаться от функциональности оригинала. Чем мощнее гарнитура, тем более жизнеспособной становится мечта получить разрешение 3K или, может быть, даже 4K. Такие игры, как Skyrim и Resident Evil 7, позволяли бы чувствовать себя намного более погруженными с точки зрения чисто визуальной перспективы.

Вторая проблема

Тем не менее, не меньше, чем любой другой аспект, проблемными остаются контроллеры и отслеживание. Они в наибольшей степени выиграют от обновления PlayStation VR. С некоторой тонкой настройкой вы можете получить неплохую игру при PlayStation VR прямо сейчас. Однако вы все равно не сможете быть полностью удовлетворены при использовании контроллеров PlayStation Move. Напомним, что камера не может отслеживать их, если не может их видеть напрямую. Что часто грозит прерываниями и потерей сигнала.

Также слишком простым остаётся перемещаться за пределы поля зрения камеры или в итоге страдать от неидеального отслеживания местоположения. По мере приближения новых решений с наименьшими издержками и улучшенным отслеживанием SteamVR, PlayStation VR выглядит всё более отсталым с каждым днем.

Мечты, мечты

Представьте себе PlayStation VR 2 с обратной совместимостью, которая исправляет все это. Способность поворачиваться, когда враги окружают вас в Skyrim, быстро нацеливать пистолет в Arizona Sunshine. И никакой путаницы в отслеживании, движениях и перемещении по вашей гостиной.

И, что касается контроллеров PlayStation Move, мы молимся о том, что что-то из недавних Sony для улучшения дизайна окажется правдой. Разработчики в своё время выжали все возможное с архаичными проектами прежних контроллеров, первоначально созданных для PlayStation 3. Однако мы будем удовлетворены лишь тогда, когда получим отслеживание в 360 градусах и аналоговый джойстик или трекпад.

Проще говоря, если появится обратная совместимость технических характеристик с другими топовыми устройствами, сообщество PlayStation VR 2, которое уже имеет обширную библиотеку отличного контента, получит ещё больше крутых релизов. Терпение, которое многие из нас продемонстрировали, будет вознаграждено часами погружения в улучшенную виртуальную реальность.

Однако пока разработчики ни слова не говорят о планируемом улучшении. Неизвестно, как скоро это произойдёт. В то же время PlayStation VR продолжает терять очки по сравнению с устройствами, которые появляются на рынке или улучшаются. И потому будущее PlayStation VR остаётся неясным.

Выступление главного научного сотрудника Oculus Майкла Абраша (Michael Abrash) на конференции Connect стало доброй традицией с непременно интересным наполнением. Он помогает взглянуть на виртуальную реальность в перспективе. В этот раз - на Connect 3 - Абраш сделал несколько смелых и конкретных прогнозов о состоянии отрасли в ближайшие пять лет.

Во-первых, в краткосрочной перспективе наиболее важно улучшать визуальные качества виртуальной реальности. Современные шлемы высокого класса, такие как и , предлагают 100 градусов поля обзора и разрешение 1080×1200, что эквивалентно примерно 15 пикселям на градус. Человек от природы обладает полем зрения примерно в 220 градусов - около 120 пикселей на градус. Абраш утверждает, что дисплеи и оптика далеки от достижения этой цели (забудьте о 4K или 8K, это больше 24K на глаз). По его словам, через пять лет мы можем надеяться на удвоение количества пикселей на градус - до 30 - с расширением поля зрения до 140 градусов при разрешении около 4000×4000 на каждый глаз. Кроме того фиксированная глубина фокуса должна смениться регулируемой. Сейчас сделать такие шлемы невозможно, но в перспективе нескольких лет задача представляется Абрашу решаемой.

Рендеринг картинки в разрешении 4000×4000 на каждый глаз при скорости 90 кадров в секунду находится за пределами возможностей самых мощных бытовых компьютеров. Для достижения таких показателей важной технологией является фовеальный рендеринг («foveated rendering», от лат. fovea centralis - центральная ямка), который в июле 2016 года наглядно .

Фовеальный рендеринг - это метод, при котором только небольшая часть изображения в центре поля зрения пользователя отрисовывается в полном качестве, а остальное размывается по мере приближения к периферии. Одной из особенностей нашего зрительного аппарата является лучшее распознавание деталей в центре и ухудшение детализации при улучшении распознавания движения по краям поля зрения. Таким образом фовеальный рендеринг пользуется естественной особенностью зрения для уменьшения затрат ресурсов на отрисовку той части картинки, которой высокая детализация всё равно не нужна. Есть лишь одно «но»: для использования данного метода нужны системы окулографии (слежения за направлением взгляда человека) такой точности, которой от современных устройств добиться не удалось. Но впереди целых пять лет.

Затем Абраш на некоторое время перешёл от графики к звуку. Функция персонализированной передачи звука в зависимости от положения головы (head-related transfer functions - HRTF) улучшит его реалистичность. Текущее решение для трёхмерного звука генерирует HRTF в реальном времени на основе трекинга головы, но оно создано усреднённым для всех пользователей сразу. Функция HRTF должна варьироваться в зависимости от размеров туловища и головы, формы ушей - это выведет качество звука на новый уровень. Абраш не стал вдаваться в способ достижения такой персонализации, для которой обычно требуется тест в безэховой камере, но заметил, что в следующие пять лет будет представлен способ «лёгкой и быстрой» домашней настройки. Также он ждёт значительного прогресса в моделировании отражения, дифракции и интерференции.

Что касается контроллеров, Абраш уверен в способности устройств, подобных , оставаться в строю в «ближайшие 40 лет». За это время, без сомнений, улучшатся их эргономика, точность и функциональность, но суть не изменится, как много лет не менялась суть компьютерной мыши. Особенно интересно в этом контексте мнение Абраша о трекинге рук без контроллеров или перчаток (как у ): в течение пяти лет они могут стать ещё одним стандартом отрасли наряду с контроллерами. Вероятно, здесь можно провести параллель с сенсорными экранами, которые идеальны для планшетов или смартфонов, и физическими кнопками, которые незаменимы в играх и работе на ПК. В разных ситуациях удобным окажется одно из решений.

Вместе с улучшениями по части изображения, трекинга и передачи данных нас ждёт облегчение гарнитур, которые сегодня трудно долго носить во многом из-за веса. В частности, это будет достигнуто лучшим распределением веса комплектующих по корпусам. Также ожидается более гибкая корректировка линз в зависимости от особенностей зрения пользователя - возможно, произрастающая из технологии смены глубины фокуса.

Наконец, шлемы станут беспроводными, но для этого в течение пяти лет придётся поработать, с одной стороны, над беспроводной передачей данных, а с другой, над фовеальным рендерингом.

Далее Абраш коснулся темы добавления элементов реального мира в виртуальный, называемого им «дополненная виртуальная реальность». Шлемы будущего смогут сканировать пространство и переносить вещи из физического окружения пользователя в ВР-приложения. Также актуальной может стать «телепортация» пользователя в снимаемые в реальном времени места. По сути, это смешанная реальность, успехами в разработке которой регулярно делятся . Абраш уточняет: шлемы дополненной виртуальной реальности будут очень отличаться от шлемов дополненной реальности, поскольку позволяют не только накладывать графику, но и контролировать каждый пиксель в смешанной сцене. Чем-то подобным занимается .

Прогресс в виртуальной телепортации, трекинге тела, головы и рук обеспечит значительные улучшения в создании ВР-аватаров. Но реалистичное отображение человеческого тела в реальном времени представляется Абрашу одной из наиболее сложных задач, поскольку мы, не замечая этого, очень внимательны к экспрессии и языку тела. Прорыв в реалистичной передаче окружения, совместных пространствах в течение пяти лет возможен, но на создание аватара, способного передать собеседнику ощущение реального человека, могут уйти десятилетия.

В конце выступления главный исследователь переключился на «рабочее пространство мечты», о котором говорил и в прошлом году. В виртуальном окружении можно создать любую атмосферу, добавить неограниченное количество интерактивных досок, мониторов и совершенно любых других объектов. Осталось добавить людей, и перед нами мощный многопользовательский инструмент. Но до этого придётся провести все улучшения, о которых шла речь в презентации - изображения, ввода, звука, рендеринга, передачи данных и так далее. Виртуальная реальность должна стать настолько комфортной, чтобы заменить опосредованные технологии: мониторы, мыши, клавиатуры, оцифровку человека, массу программных решений.

Полное выступление Майкла Абраша:

Видеозаписи всех сессий для разработчиков с Oculus Connect 3 доступны в нашем .

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности - подписывайтесь на Голографику в

Похожие статьи