Очки смешанной реальности Hololens 2.0 получат собственный процессор на базе искусственного интеллекта. Он позволит обеспечить гарнитуре возможность автономной работы и обработки огромного массива постоянно поступающих данных без подключения к внешним мощностям. Об этом заявил Гарри Шум, исполнительный вице-президент подразделения Microsoft AI & Research, во время своего доклада на вступительной сессии конференции CVPR 2017.
Первая версия HoloLens имеет собственный уникальный мультипроцессор Holographic Processing Unit (HPU). Он обрабатывает информацию со всех встроенных сенсоров, включая датчик глубины реального времени, камеры для отслеживания положения головы пользователя, сенсоры блока измерения инерции (IMU) и инфракрасную камеру. Мультипроцессор HPU является неотъемлемой частью того, что делает HoloLens первым и на данный момент единственным в мире автономным голографическим компьютером.
Вторая версия HPU, над которой сейчас работают в Microsoft Research, будет дополнена ИИ-сопроцессором, который позволит органично и гибко использовать технологии глубоких нейронных сетей. Он сможет постоянно работать от батареи, установленной в HoloLens, и будет поддерживать широкий спектр слоев, полностью поддающихся программированию.
На практике новый мультипроцессор HoloLens сможет не просто показывать картинку, а в реальном времени анализировать все, что видит и слышит пользователь, и осуществлять действия на основе полученных данных. По словам разработчиков, это значительно улучшит некоторые функции шлема смешанной реальности Microsoft, например, обеспечит более сложное отслеживание рук и распознавание голоса, без необходимости отправки данных на обработку в удаленном облаке.