Платформа интеллектуальных технологий для
смешанной реальности
Предназначена для создания принципиально новых визуальных эффектов в AR. Платформа обеспечивает реакцию виртуального пространства на происходящее в реальности, позволяя виртуальным объектам «понимать» семантику и контекст физического мира и реагировать соответствующим образом в виртуальной среде.
Платформа интеллектуальных технологий для смешанной реальности предоставляет набор инструментов и сервисов, позволяющих сократить время и трудозатраты на разработку систем и решений смешанной реальности со сложной логикой взаимодействия виртуального контента со средой реального мира, снимаемого на камеру. Благодаря таким инструментам и сервисам, как быстрая калибровка оптики камер, локализация и построение карты пространства по видеопотоку, выявление людей и других подвижных объектов, определение их позиции в пространстве снимаемой сцены и многому другому, возможно реализовать более глубокое взаимопроникновение реального и виртуального миров, в том числе, не прибегая к дорогостоящему оборудованию.
Основные возможности, предоставляемые платформой:
— детекция и уточнение оптических параметров камеры «на лету»;
— картирование пространства в реальном времени, в том числе при многокамерной съемке;
— локализация (трекинг) камеры по видеопотоку в реальном времени;
— определение глубины пространства и расположенных на изображении объектов, даже по статическому кадру;
— распознование объектов окружающего мира и отслеживание их положения в реальном времени;
— распознование людей и их движений (pose estimation);
— возможность «живой трансляции» извлекаемых из видеопотока данных в среду разработки, например, игровой движок.
Платформа содержит инструменты, которые можно использовать, в зависимости от ставящейся задачи, как в комплексе, так и независимо:
— модуль аппаратного композитинга изображения;
— модуль калибровки оптики;
— модуль картирования пространства;
— модуль позиционирования (трекинга);
— модуль распознавания и отслеживания объектов реального мира;
— модуль отслеживания и извлечения поз людей;
— модуль трансляции данных ("live connection").
С применением базовых инструментов платформы были реализованы решения дополненной реальности для торжественных церемоний открытия и закрытия II Европейских Игр, церемонии открытия Международного этапа чемпионата Worldskills Kazan 2019, сопровождение оперативной графикой церемонии закрытия теннисного турнира SPB OPEN 2019.
ДЛЯ РАЗРАБОТКИ НА ОСНОВЕ ПЛАТФОРМЫ НУЖНЫ:
МОДУЛЬ ВНУТРЕННЕГО АППАРАТНОГО КОМПОЗИТИНГА ВИДЕОПОТОКА ДЛЯ РЕШЕНИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ позволяет совмещать видеопоток виртуальной сцены, созданной в Unreal Engine 4 (UE4), с видеопотоком, входящим на карту захвата с внешнего устройства (камеры).
FUSIONCROWD — библиотека для мультиагентного моделирования пешеходов и транспорта.
Email для обратной связи: karsakov@itmo.ru