Новейшая система с высококачественным мультиплеерным VR

Гарнитуры виртуальной реальности и прикладные программы для виртуальной реальности не завоевывают популярность среди пользователей из-за дилеммы «курица и яйцо», отсутствия контента виртуальной реальности и медленного проникновения на рынок специализированных VR-устройств.

Теперь исследователи Университета Пердью создали новый подход к виртуальной реальности, который позволяет нескольким игрокам взаимодействовать с одной и той же виртуальной игрой на смартфонах и предоставляет новые возможности для корпоративных приложений, образования, здравоохранения и развлечений.

Система Purdue VR, называемая Coterie, использует новый способ управления сложной задачей рендеринга виртуальных сцен с высоким разрешением для удовлетворения строгого качества опыта (QoE) VR. К ним относятся высокая частота кадров и низкая задержка движения к фотону, которая представляет собой задержку между движением головы пользователя или игрового контроллера и изменением дисплея устройства VR, отражающим движение пользователя. Новый подход позволяет использовать виртуальное разрешение с разрешением 4K на обычных мобильных устройствах и позволяет одновременно взаимодействовать до 10 игрокам в одном приложении виртуальной реальности.

«Мы работали над созданием технологии виртуальной реальности, которую кто-то может использовать на обычном смартфоне с подключением к Wi-Fi», — сказал Й. Чарли Ху, профессор электротехники и вычислительной техники Майкла и Кэтрин Бирк, возглавлявший команду Purdue. «Наше решение не только позволяет нескольким игрокам одновременно участвовать в VR-игре, но также предоставляет лучший и более экономичный вариант для использования в одиночной игре».

Технология подробно описана в документе, опубликованном в ASPLOS 2020, международной конференции по исследованию междисциплинарных систем, пересекающихся компьютерной архитектуры, аппаратных средств и новейших технологий, языков программирования и компиляторов, операционных систем и сетей.

Одной из причин высокой вычислительной нагрузки виртуальных приложений с высоким разрешением является постоянная необходимость обновлять как взаимодействие на переднем плане с игроками, так и фоновую среду в виртуальном мире.

«С тяжелой нагрузкой просто невозможно справиться даже с одними высококлассными смартфонами», — сказал Ху.

Приложения виртуальной реальности, использующие Coterie, разделяют эту сложную задачу рендеринга между смартфоном и пограничным сервером по Wi-Fi таким образом, что значительно снижает нагрузку на смартфон, в то же время позволяя субкадрам, отображаемым на обоих, сливаться в конечный кадр в течение 16 мс, удовлетворяя VR QoE.

Ху Цзиньтао сказал, что такой подход не только уменьшает требования к сети, поэтому несколько игроков могут использовать один и тот же WiFi, но также снижает потребление энергии и вычислительные потребности на каждом мобильном устройстве и обеспечивает лучший пользовательский опыт.

«Наши технологии открывают двери для корпоративных приложений, таких как обучение сотрудников, совместная работа и операции, приложения для здравоохранения, такие как хирургическое обучение, а также образование и военные приложения», — сказал Ху. «В операционной VR может быть несколько врачей и медицинских работников».