YourMaps, сервис для извлечения, обработки и агрегации
геоданных из карт и популярных геоинформационных
систем
YourMaps — интерактивный веб-сервис для городских исследователей и разработчиков, который упрощает извлечение, обработку и агрегацию геоданных из карт и популярных геоинформационных систем.
У исследователей городских данных часто возникает проблема с извлечением актуальной информации из картографических сервисов, в частности, из открытых карт OpenStreetMap. Цифровые карты хранят геометрию объектов любых видов (дороги, административные границы, природные преграды и т.п.), но работа с таким источником данных требует значительного опыта, понимания нетривиальной внутренней структуры данных и непростого формата OSM XML, знания сложного языка запросов Overpass API или навыков программирования для фильтрации извлечённых данных.
Сервис YourMaps устраняет эти проблемы, предоставляя наглядный редактор для настройки фильтрации и готовые высокоуровневые фильтры тематических групп объектов (например, можно разом извлечь все геоданные по озеленению). Сервис берёт на себя задачи подготовки запросов, извлечения данных и конвертации их в общий GeoJSON формат. Поэтому им может пользоваться любой человек, даже не обладающий навыками программирования или знаниями структуры OSM данных.
YourMaps состоит из двух основных частей:
— Веб-интерфейс для настройки пайплайнов (процессов) извлечения картографических данных;
— API для извлечения результатов.
Пользователь может единожды настроить нужные ему источники данных, фильтры и преобразования для них в визуальном редакторе. Затем он сможет получать актуальную версию результатов через API, скачивать их вручную или настроить любой иной поддерживаемый способ передачи. При этом все сложности с форматами и конвертацией оказываются скрыты от пользователя.
YourMaps оперирует следующими видами сущностей:
— Проекты (Projects) — корневые элементы, с которых начинается работа с веб-сервисом. Проект содержит в себе графы, пайплайны, историю запусков, права доступа пользователей и т.п.
— Пайплайн (Data/Pipelines) представляет собой описание процесса загрузки и преобразования картографических данных. Содержит в себе граф узлов, дополнительные настройки и историю запусков.
— Граф (Pipeline Graph) cодержит узлы, отвечающие базовым операциям над картографическими данными. У графа может быть несколько входов и должен быть один выход, который будет содержать результаты обработки.
— Узел графа представляет собой одну операцию над потоком картографических объектов. Например, фильтрацию по какому-либо тегу, геометрические операции (объединения, пересечения), преобразования (замена тегов, геометрии) и т.п.
— Результат выполнения пайплайна представляет собой массив картографических объектов, полученных на выходе графа после запуска пайплайна. В сервисе хранится история прошлых результатов выполнения.
— Шаблоны (Templates) представляют собой заранее подготовленные фрагменты графа, которые можно встраивать в другие графы в виде узла. С помощью шаблонов можно один раз создать какую-либо комплексную фильтрацию сущностей, а затем переиспользовать ее в проектах, просто добавляя один соответствующий узел в граф.
— Инструменты администрирования (Admin) предназначены для служебных целей сервиса.
Граф обработки картографических данных является ориентированным. Циклы запрещены.
Узлы графа делятся на следующие виды:
— Истоки — узлы, имеющие только исходящие ребра. Истоки отвечают за получение первичных картографических данных из сторонних источников, например OpenStreetMap. На выход они выдают списки картографических объектов, полученных из стороннего источника с заданными ограничениями (например, заданной областью поиска).
— Процессоры — узлы, имеющие и входящие, и исходящие ребра. Эти узлы модифицируют входящий поток объектов (например, отбрасывают объекты, не подходящие под какое-либо условие) и передают его дальше.
— Стоки — узлы, имеющие только входящие ребра. На данный момент граф может иметь только один сток, попавшие в него объекты будут считаться результатом работы и будут сохранены в БД в виде результата исполнения пайплайна.
Email для обратной связи: evsmirnov@itmo.ru