Программная библиотека инструментов анализа
изображений фасадов зданий
Библиотека инструментов реализует алгоритмы и математические модели автоматизированного распознавания элементов фасадов зданий на основе панорамных изображений улиц. Инструменты программной библиотеки предназначены для выполнения полного цикла автоматизированной аналитики, включая предварительную обработку исходных панорамных изображений, распознавание элементов фасадов, выделение на них информационных вывесок и идентификация вероятных несогласованных конструкций на основе группы правил. Распознавание изображений реализовано с применением технологий машинного зрения на базе нейронной сети.
Программная библиотека нацелена на автоматизацию процессов аудита (проверки законности) размещения рекламных и информационных конструкций на фасадах зданий и решает следующие задачи:
— Выравнивание исходных панорамных изображений городских улиц для выполнения дальнейшего распознавания элементов фасадов.
— Определение при помощи машинного зрения элементов фасадов зданий.
— Определение при помощи машинного зрения информационных вывесок и иных конструкций на фасадах зданий.
— Выявление информационных вывесок и иных конструкций, которые могут носить признаки незаконных (не получивших согласования).
Правила для определения законности (незаконности) рекламных и информационных вывесок составлены на базе законодательства Санкт-Петербурга. В Санкт-Петербурге действуют четыре региональных закона, которые диктуют условия размещения рекламы на фасадах. На фасаде здания можно разместить только три типа рекламных и информационных объектов: вывески, консольные вывески и наклейки на окнах. В данной версии программной библиотеки реализовано детектирование первых двух типов объектов. Вывески могут быть размещены между первым и вторым этажами здания, они должны оставаться на одном уровне на протяжении одного цельного фасада, они не могут занимать место выше арки, их фон должен быть прозрачным. Консольные вывески могут быть установлены только в тех случаях, когда на фасаде больше нет места для обычных вывесок. Существуют ограничения по размеру вывесок.
Поскольку ключевой задачей программной библиотеки является поиск подозрительных (незаконных) рекламных и информационных вывесок на фасадах зданий, алгоритм опирается на строгие признаки, по которым может быть сделан вывод о незаконности объекта. Большая часть таких признаков, зафиксированных в законодательстве, описывает ограничения на размер и пространственное размещение вывески на фасаде здания. Это означают, что для принятия решения о соответствии размещённых вывесок законодательству необходимо оценить их расположение относительно других элементов фасада. Для определения расположения необходимо решение задачи сегментации. В рамках задачи сегментации выполняется разбиение фотографии фасада на ключевые элементы: окна, двери, вывески и другие элементы фасада.
Существуют различные подходы к обнаружению объектов. Самой современной технологией для решения таких задач является применение нейронных сетей. В данной задаче применяется метод TensorFlow. Существует несколько доступных архитектур, которые предварительно обучены на наборе данных COCO. Наилучшая производительность была достигнута с архитектурой Inception v2, которая имеет 42 скрытых слоя, используется предварительно обученная модель.
В программной библиотеке реализованы следующие правила выявления подозрительных вывесок:
— Общий алгоритм детектирования незаконных консольных вывесок;
— Общий алгоритм детектирования незаконных вывесок, находящихся выше второго этажа;
— Общий алгоритм детектирования незаконных вывесок над арками;
— Общий алгоритм детектирования незаконных вывесок на разных уровнях.
Email для обратной связи: evsmirnov@itmo.ru