By Edward J. Correia
Корпорация Intel стремится привнести новые возможности во взаимодействие между пользователями и компьютерами, и одним из сторонников новых разработок является Джекоб Пеннок. В 2013 году Пеннок выиграл конкурс Intel Perceptual Computing Challenge, предложив игру Head of the Order*, в которой использовались поистине волшебные возможности управления компьютером без помощи контроллеров. Эта игра была изначально создана с использованием пакета Intel® Perceptual Computing SDK и камеры Creative Senz3D*. Новая версия игры опирается на новый пакет Intel® RealSense™ SDKи фронтальную камеру Intel® RealSense™ 3D. В работе Пеннока и его коллег задействованы новые API и предусмотрены подсказки, которые могут быть использованы другими разработчиками в собственных приложениях.
Получив в свое распоряжение новую версию Intel RealSense SDK и новую компанию Livid Interactive, Пеннок и его команда решили переделать пользовательский интерфейс и расширить возможности игры Head of the Order (рис. 1) путем реализации улучшенного управления с помощью жестов и трехмерного отслеживания рук в Intel RealSense SDK. Эти возможности были недоступны в прежней версии Intel Perceptual Computing SDK.
Рисунок 1. РоликигрыHead of the Order* компании Livid Interactive
Отпакета Perceptual Computing к Intel® RealSense™ SDK
Улучшенное управление жестами
Разработчики Head of the Orderбыли особенно заинтересованы новыми возможностями отслеживания рук и пальцев, доступными в Intel RealSense SDK. Эти возможностипозволяют получить трехмерную картину расположения каждого сустава кисти пользователя. Отслеживается 22 точки (см. рис. 2), что позволяет получить весьма высокую точность. В этой игре управление при помощи жестов руки крайне важно. Именно с помощью рук можно создавать и накладывать заклинания, а также соединять несколько заклинаний вместе, чтобы получать более мощные заклинания.
Рисунок 2.С помощью 22 реперных точек отслеживается точное трехмерное положение руки [Источник изображения]
Трехмерное отслеживание руки
В первоначальном пакете SDK руки пользователя можно было представить только в виде плоских, двухмерных изображений, наложенных на экран (см. рис. 3 [слева]). Для достижения объемного изображения Пенноку пришлось создать систему, которая обрабатывала двухмерные изображения руки низкого разрешения и добавляла их в стек рендеринга игры на различной глубине посредством обработки с помощью собственного кода.
По словам Пеннока, реализация точного отслеживания руки в новом пакете Intel RealSense SDK позволила сделать ощущения от игры гораздо более реалистичными и увлекательными. Теперь руки отображаются в виде трехмерных моделей (см. рис. 3 и 4 [справа]), которые взаимодействуют с игровым миром.
Рисунок 3.Исходное двухмерное отображение создания заклинаний (слева) и улучшенное трехмерное изображение рук (справа)
Эта функциональность позволяет игрокам полнее погрузиться в атмосферу игры и дает возможность запускать Head of the Orderв шлемах виртуальной реальности. Пакет Intel RealSense SDK значительно повышает точность отслеживания положения всех суставов пальцев, намного лучше определяет глубину, что позволяет точнее и удобнее накладывать заклинания и перемещаться в виртуальном игровом пространстве.
Рисунок 4. Исходное двухмерное отображение создания наложения заклинаний (слева) и улучшенное трехмерное изображение рук (справа)
Переход с Intel Perceptual Computing SDK на Intel RealSense SDK прошел не совсем гладко: потребовалось немало времени, чтобы реализовать всю необходимую функциональность в новом SDK. Тем не менее к моменту выпуска Intel RealSense SDK версии Gold R2 Пенноку и его команде удалось воспроизвести и даже расширить те возможности, которые были достигнуты в предыдущем SDK.
Задачи
В игре Head of the Orderуправление осуществляется полностью при помощи жестов рук; для создания заклинаний нужно рисовать руками в воздухе простые фигуры. Со временем игроки узнают, как сочетать несколько разных жестов воедино, чтобы создавать наиболее мощные заклинания. При этом научиться управлять игрой при помощи жестов может быть довольно непросто, особенно для игроков, привыкших к традиционным играм, где управление осуществляется с помощью клавиатуры и мыши или игровых контроллеров. Одна из сложнейших задач для разработчиков состояла в том, чтобы сообщить игрокам, что именно требовалось делать.
Дело в том, что возможности камеры Intel RealSense 3D по распознаванию жестов очень широки. Если игрок делал случайные или нераспознаваемые жесты (например, слишком далеко или слишком близко от камеры), то камера просто не могла «понять», что же пытается сделать игрок. У игроков, привыкших к традиционным интерфейсам, такие ситуации вызывали вполне справедливое раздражение. «Даже если все прекрасно работает, — говорит Пеннок, — игроки могут делать движения, которых камера не ожидает, поэтому может показаться, что система не работает. Исправить такие затруднения на этапе разработки довольно трудно».
Для устранения таких проблем команда Пеннока создала 5-минутное учебное руководство с рассказом и видеороликами, где демонстрируются правильные способы взаимодействия с игрой (см. рис. 5), а игрокам помогают справляться с различными сценариями в игре. Эта идея родилась еще во время первого конкурса, когда тестерам никак не удавалось понять, что для создания заклинания нужно три действия.
Рисунок 5.В учебном материале демонстрируется правильная методика ввода
Наглядные подсказки также важны в игровом процессе, поэтому Пеннок решил отображать такие подсказки и для скорости жестов. Теперь на экране остается след лишь в том случае, если скорость движения руки находится в допустимых пределах. «Во всех прочих случаях, когда мы отслеживаем определенный жест, руки подсвечиваются», — говорит Пеннок.
Для пользователей, не желающих излишних сложностей, в Head of the Orderпредусмотрены персонажи с очень простыми жестами.
Советы разработчикам
Тестирование
Пеннок подчеркивает, что в приложениях на основе жестов очень важно дать пользователям попробовать поработать с приложением и понаблюдать за этим; пожалуй, даже важнее, чем в приложениях с традиционными способами ввода. Кроме того, важно привлекать к тестированию таких приложений посторонних людей, а не участников разработки, ведь очень легко все сделать правильно, если вы и так уже знаете, как пользоваться приложением. Если же с приложением работают новые пользователи, можно увидеть, что именно их не устраивает, и обдумать возможные способы решения выявленных проблем.
И, разумеется, привлечение к тестированию юных пользователей обычно дает лучшие результаты. «Если дети выросли с привычкой пользоваться контроллерами с управлением движениями, такими как Microsoft Kinect*, то они интуитивно и без особых затруднений осваивают и управление при помощи жестов», — говорит Пеннок, добавляя, что проблемы чаще всего возникают у пользователей постарше, например, при демонстрации игр на выставках.
Производительность
Разработчики признают, что с производительностью могут возникнуть проблемы: камеры выдают значительные потоки данных, из-за чего увеличивается время реакции на действия пользователя. Это особенно вероятно, если одновременно используется несколько модулей отслеживания или отслеживается сразу много суставов.
Потребовалось немало времени и усилий, чтобы реализовать нужную функциональность в RealSense SDK, но, по словам Пеннока, версия Gold R2 помогла решить множество проблем. В этой последней версии RealSense SDK снижен уровень помех при отслеживании суставов пальцев, улучшены функции сглаживания.
Перспективы
Перечень устройств, на которых можно играть в Head of the Order, постоянно расширяется. Эта игра предназначена только для систем с естественным пользовательским интерфейсом, например с камерой Intel RealSense 3D. Корпорация Intel выпускает различные решения, поддерживающие нужные приложения. В настоящее время в число поддерживаемых устройств входят планшеты, обычные ноутбуки и трансформеры, а также моноблоки, оснащенные технологией Intel RealSense. Более того, многие компании, такие как Acer, Asus, Dell, Fujitsu, Hewlett-Packard, Lenovo и NEC, в настоящее время уже выпускают или объявили о выпуске систем, поддерживающих технологию Intel RealSense.
Пакет Intel RealSense SDK и реализованные в нем технологии предоставляют возможности обнаружения и отслеживания лица, распознавания выражений лица, фотографирования с определением глубины, трехмерного сканирования, удаления фона и отслеживания 22 суставов на каждой руке для точного распознавания жестов без касания экрана. По мнению Пеннока, в будущем технология Intel RealSense может быть использована для управления автомобилями, в робототехнике, в домашних системах автоматизации, в промышленности и на измерительных устройствах.
О разработчике
Первоначальная версия игры Head of the Orderбыла создана и представлена на конкурс Intel Perceptual Computing компанией Unicorn Forest Games, принадлежавшей Пенноку. Затем эта компания была объединена с компанией Helios Interactive, в которой Пеннок работал разработчиком. В результате появилась новая компания под названием Livid Interactive, расположенная в Сан-Франциско.
По словам Майкла Шаймана (Michael Schaiman), управляющего партнера компании Helios, его компании поручили разработку принципов работы для Intel® Experience — своего рода «стендов практической демонстрации», которые обустраивают в 50 крупнейших магазинах сети Best Buy в США. Назначение этих стендов состоит в демонстрации самых современных технологий Intel®покупателям любого возраста и с любым уровнем технических навыков. Шайману поручили демонстрацию технологии Intel RealSense. «Одна из предложенных нами идей заключалась в создании особой версии игры Head of the Order, в которую могли бы играть посетители, — говорит Шайман. — Им это очень понравилось». Демонстрационная версия Head of the Orderпоступила в магазины в июне 2015 года, а полная версия игры — чуть позже.
Ресурсы Intel
В процессе разработки команда Head of the Orderпроводила ежемесячные телеконференции с инженерами Intel для обсуждения новых технологий. Благодаря этому обмену информацией разработчики Livid всегда были в курсе всех возможностей Intel RealSense SDK, имели доступ к образцам кода и документации и могли оставлять отзывы об уже реализованных решениях.
Дополнительные сведения см. на страницах Intel RealSense SDK
и поддержки.
Дополнительные сведения о компании Livid Interactive см. здесь.