Модуль внутреннего аппаратного композитинга
(совмещения) видеопотока для решений дополненной
реальности

 

Модуль для игрового движка Unreal Engine 4 создан для работы с картами скоростного видеозахвата Blackmagic DeckLink (с поддержкой 12G-SDI и 8К). Он предназначен для создания визуальных сцен смешанной (дополненной) реальности и позволяет совмещать видеопоток виртуальной сцены, созданной в Unreal Engine 4 (UE4), с видеопотоком, входящим на карту захвата с внешнего устройства (камеры), используя аппаратные возможности данной карты.

Данный модуль предоставляет удобный пользовательский интерфейс, реализующий функции BlackMagic DeckLink SDK для различных режимов вывода в рамках пайплайна Internal Keying: Internal Keying, Only Output или Input Loop. В этом случае совмещение видеопотоков осуществляется на карте видеозахвата встроенными аппаратными средствами. При использовании режимов Only Output и Input Loop композитинг не осуществляется: выходной сигнал содержит только кадр виртуальной сцены или входящий видеосигнал без изменений соответственно.

В режиме Internal Keying осуществляется вывод совмещенного видеосигнала. В этом случае изображение с камеры не обрабатывается пользователем в Unreal Engine, совмещение видеопотоков осуществляется на карте видеозахвата.

 

 

По умолчанию в Unreal Engine 4 взаимодействие с платами Blackmagic DeckLink ограничивается методами общедоступного плагина Blackmagic Media Design, предоставляемого изготовителем.

В частности, доступен пайплайн внешнего композитинга, при котором выходной сигнал карты захвата содержит только кадр виртуальной сцены и маску для наложения на видеопоток камеры, а совмещение видеопотоков осуществляется внешним устройством. На данный момент официальный модуль взаимодействия с картами захвата Blackmagic, предоставленный разработчиками, не обладает возможностью производить внутренний композитинг.

Преимущество предлагаемого внутреннего композитинга видеопотоков — отсутствие необходимости использования карт с полным дуплексом, пары карт (для ввода и вывода сигнала отдельно) или дополнительного внешнего устройства, выполняющего данную задачу.

Таким образом, предоставляемый модулем функционал, который не реализован в стандартных инструментах разработки Blackmagic в Unreal Engine 4, является существенным расширением возможностей разработки и потенциальным усовершенствованием (и удешевлением производства) получаемого результата. Реализация внутреннего композитинга поможет разработчикам сократить сроки, стоимость и трудозатратность разработки и реализации проектов в области дополненной и смешанной реальности.

 

ДОСТУП К МОДУЛЮ — по запросу, только для сотрудников организаций — участников Консорциума Национального центра когнитивных разработок Университета ИТМО.

 

ОБРАТИТЕ ВНИМАНИЕ, для работы с данным модулем необходимо иметь карту видео захвата Blackmagic Design серии Decklink с поддержкой функции Internal Keying в разрешении HD и выше. Список устройств, поддерживающих данную функцию, вы можете найти по ссылке или на официальном сайте Blackmagic Design.

 

РИД

Email для обратной связи: karsakov@itmo.ru