Геоинформационные сервисы *

База Open Street Map (OSM) является открытым ресурсом, пополняемым добровольцами. Она широко используется в проектах, где нужно отобразить что-либо на карте. Встаёт вопрос - насколько данные в ней полные и корректные?

Мы попробуем ответить на него для объектов типа "строение" (дом) на территории России. В этом нам поможет база объектов ГАР ФИАС, которая также содержит объекты такого типа, и её с некоторыми оговорками можно брать за эталонный уровень полноты. С оговорками - потому что каждый месяц в ней появляются новые объекты. На данный момент в ней около 32 млн строений (не считая гаражей, земельных участков и устаревших объектов).

Объекты ГАР ФИАС не содержат координат GPS, но есть ещё один открытый ресурс - Публичная кадастровая карта Росреестра. К сожалению, она не даёт выгружать данные целиком, как предыдущие базы, а предоставляет только API, по которому можно извлекать один объект за раз. Но зато она для многих из них содержит GPS, так что можно их сопоставить с GPS от OSM.

Забегая вперёд, озвучим результат: OSM содержит около 24% от всех домов ГАР, ПКК - около 21%, пересечение OSM с ПКК - 6% и разница координат несущественная.

Для получения результата использовался движок нормализации адресов Pullenti Address.

Привет! Меня зовут Лена, и я product-маркетолог, работающий над разными проектами. Сегодня хочу поделиться своим личным опытом использования картографических сервисов 2ГИС и Яндекс Карты для привлечения лидов. 
Будет честный разбор с цифрами, фактами и выводами!

Привет, Хабр! Меня зовут Даулет Курмантаев, я дата-сайентист в крупной казахстанской телеком-компании. Работаю в отделе Customer Experience Management. Мы анализируем качество связи и автоматизируем решения по строительству и модернизации базовых станций. 

В этой статье расскажу, как мы использовали геоаналитику и интерполяцию для создания карты покрытия сети. Поделюсь методами, с которыми работали; проблемами, с которыми столкнулись; и результатами, которых добились. 

Встретить робота‑доставщика на улицах Москвы — привычное дело. Ещё они развозят заказы в Иннополисе и Мурино, побывали на Красной Поляне и совсем недавно изучили один из районов Алматы. При этом запуск доставки роботом в новом районе или городе — это достаточно сложная процедура. Нужно определить локацию для запуска, записать и отрисовать карты, наладить инфраструктуру, протестировать все процессы, организовать поддержку для роботов.

Но несмотря на такой большой объём работ, весь процесс весьма интересный. Именно о нём я и расскажу в этой статье. Под катом — история о том, как мы поставили робота «на колёса» в Казахстане, показывали ему город для записи данных и учили объезжать арыки.

В 2ГИС продакт-менеджеры отвечают за полный цикл фичи: важно не просто запустить её, но и рассказать о ней. Подробно, честно, с деталями: как появилась идея, какие были сложности, что в итоге получилось и какие первые результаты. Это не просто «мы добавили кнопку, и теперь всё классно» — это история про поиск решения, процесс, ошибки и инсайты. 

Этим опытом мы делимся в «Доставили» — нашем блоге о продукте, который со временем стал не только инструментом коммуникации, но и частью продуктовой культуры. В этой статье о том, почему мы вкладываемся временем и менеджерскими ресурсами в написание статей и не боимся откровенно делиться результатами.

В статье я расскажу о новом приборе Itm-1 нашей разработки, который представляет собой комбинацию георадара, магнитометра и лидара. Такой прибор дает наиболее полное представление о подземных заглубленных объектах. По данным георадара определяется наличие и глубина залегания объекта, а по данным магнитометра уточняется наличие магнитной аномалии. По результатам такой обработки можно сделать заключение о материале заглубленного объекта – неметаллический, металлический-магнитный, металлический-немагнитный (цветной металл). Наличие лидара позволяет выполнять взаимную привязку положений подземных и наземных объектов, что может быть полезным при работе в густом лесу, а также в зоне расположения  глушилок ГНСС, когда спутниковая навигация становится малопригодной. Такой прибор может применяться в археологических исследованиях,  ликвидации минных заграждений, мониторинге и диагностике подземных коммуникаций, кладоискательстве и тд.

Также в статье приводится ссылка на скачивание demo-версии программного обеспечения по обработке данных, полученных прибором Itm-1, и примеры реальных данных.

Статья нужна как ссылка. За техническими подробностями обращайтесь в л/с.

Во французском сабреддите я наткнулся на пост с интересной гипотезой:

Чем ближе точка к вокзалу, тем хуже там кебаб.

Пост на французском привлёк достаточно большое внимание, учитывая относительно небольшой размер сабреддита; это доказывало, что многие с ним согласны. Впрочем, в комментариях были и критики, рассказывающие истории, противоречащие сформулированной гипотезе.

Я решил, что мне нечем заняться, ведь я вылетевший с учёбы выгоревший безработный с новоприобретённым диагнозом «аутизм», поэтому стоит пожертвовать немного своего времени на благую цель — проведение этого неформального «исследования». В пределах следующих трёх рабочих дней мне на почту точно придёт Нобелевская премия мира и куча рабочих офферов.

Прошло более 7 лет, прежде чем эта головоломка с геолокацией была решена, было потрачено бесчисленное количество часов, пытаясь найти ее и всё таки удалось найти именно это место, но не совсем обычным способом.

Под катом вас ждёт увлекательная история поиска местоположения со снимка 1950-х годов.

Мы подошли к заключительной части цикла статей, в рамках которого были разобраны аспекты расчета пробега транспортного средства по данным спутниковых систем и штатного одометра. Целью данного цикла являлось изучение причин расхождения между пробегом, зафиксированным одометром и спутниковой навигацией, а также предложение методов корректировки данных для повышения точности измерений. 

В предыдущих публикациях мы рассмотрели ключевые факторы, влияющие на точность измерений: состояние транспортного средства и условия его эксплуатации, высоту над уровнем моря, качество навигационного оборудования и обработку полученных данных. Теперь настало время перейти к финальному сравнению – пробег по данным ГНСС против пробега, полученного со штатного одометра через CAN-шину автомобиля.

Заключительная часть цикла позволит сформировать целостное представление об использовании значений пробегов полученных различными способами в задачах мониторинга транспорта.

Давным‑давно, когда мир ML состоял из бустингов, линейных моделей и статистических подходов, перед нашей командой API Яндекс Карт стояла задача сделать качественный Геокодер. Это алгоритм, который конвертирует текстовые запросы пользователей в поисковой строке карт в координаты и обратно. Он нужен, когда люди вводят адреса с ошибками, опечатками или народными наименованиями, например «Мяснитская 8». Геокодер должен понять, что имелось в виду «улица Мясницкая, дом 8/2», и вернуть на карте отметку с точной локацией и координатами.

Разработанный для России Геокодер отлично справлялся, но мы хотели найти способ быстро адаптировать это решение к адресным системам других стран. Технологические ограничения не позволяли быстро адаптировать решение, поскольку для каждой страны требовалась разработка собственных правил геокодирования, которые бы учитывали различия и языковые особенности. Однако появление и развитие алгоритмов deep learning открыло новые горизонты: методы active learning, аугментации данных и contrastive learning позволяют значительно улучшить итоговое качество геокодирования и учитывать нюансы различных адресных систем.

В этой статье мы рассмотрим основные этапы и методы построения нового Геокодера, который быстро масштабируется на адресные системы разных стран. Расскажем, что у него под капотом, как именно использовались механизмы deep learning при его создании, с какими проблемами мы столкнулись и как научили его понимать адреса с ошибками и опечатками.

Приветствую коллеги!
Пришла пора поговорить про направление информационной безопасности GEOINT на примере разбора задачи по поиску автобусной остановки.

Геопространственная разведка (GEOINT) — это сбор и анализ данных о Земле, включая снимки и информацию о местоположении, чтобы изучать объекты и события на планете.

Задача “Найти автобусную остановку”

Иногда приходится заниматься сравнением больших списков адресов, в которых адреса записаны совершенно по разному без внятных идентификаторов вроде номера объекта - есть только адрес. Один и тот же адрес может фигурировать в различных списках следующим образом:

📍 "д. Малое Шилово, ул. Березовая, д. 7" и "Березовая 7_М Шилово".
📍 "п. Ласьва, ул. Весенняя, д. 5" и "Весенняя 5_Ласьва".
📍 "Луговой пер 5, Краснокамск г" и "г. Краснокамск, пер. Луговой, 5".
📍 "д. Новая Ивановка, ул. Солнечная, 18" и "д.Новая Ивановка, ул.Солнечная, 18".

Уже выделенные отдельно адреса могут выглядеть как на скриншоте Экселя. А пример поставленной задачи может звучать так: «В реестре поданных объектов отметить все согласованные объекты (из общего списка согласованных)».

Если отбросить вариант ручного исполнения и обратиться к скриптам, то мне видится всего два решения:

✅ Использовать алгоритмы нечёткого сопоставления.
✅ Использовать геокодинг адресов.

В мониторинге транспорта телематические данные — это основа для принятия решений. Однако даже самые продвинутые системы не застрахованы от ошибок и погрешностей. Расхождения в данных спутниковой навигации, которые мы разбирали в предыдущих статьях, зачастую обусловлены не только методами расчета, но и качеством самих данных.

В этой статье мы разберем оставшиеся 3 поля из нашего датасета, кроме показаний пробега по одометру, полученные через CAN-шину. Мы разберем, как эти показатели формируются, какие значения считаются приемлемыми и как интерпретировать их при анализе данных. На основе реального датасета мы проанализируем влияние качества данных на точность расчета пробега.

Лица и имена, указанные в этом блоге, являются реальными и используются с их разрешения. Некоторые детали были отредактированы или скрыты, чтобы защитить частную жизнь других лиц.

Каждый день ветерана на протяжении почти десяти лет мой друг Билл Стивенс пытался найти и восстановить связь со своим армейским товарищем, с которым он вместе сражался более 20 лет назад. В течение нескольких лет Билл публиковал свои посты в Facebook, сопровождая их фотографиями из прошлого, в надежде, что каким-то образом его пост станет популярным и весть дойдет до его давно потерянного друга… но этого так и не произошло.

Существует ли измерительное оборудование?

Огромное количество мифов бродит по умам людей, которые связаны с точностью измерений и проведением опытов. В этой статье мы попытаемся расставить все точки над и́ в этих вопросах.

Рынок навигации постоянно растет, что положительно влияет на популярность сервисов панорамных фото улиц, которые зачастую являются частью более крупных проектов (типа приложений онлайн-карт). Поэтому я решил сравнить существующие на текущий момент такие сервисы от крупных компаний, а конкретнее: Google, Apple, Microsoft и Meta*. Похожих исследований или статей на русском я не нашел. На английском языке есть одна статья, сравнивающая те же сервисы, что и я, однако список критериев и стиль написания отличаются от моего.

Итак, для начала стоит немного окунуться в прошлое и рассказать как зарождались данные сервисы:

На удивление юристы работают не только с законодательством, бывает, что ответа на вопрос клиента или руководителя просто нет среди законов и кейсов. Тогда юрист превращается в OSINT-исследователя, потому что его работа в том, чтобы найти ответ на вопрос.

— Например, открытые данные помогают проверить контрагента, избежать нарушений законов или найти нужные доказательства для иска. Да и ресерч правовых баз можно отнести к поиску по открытым данным.

В этой статье мы разберём методы расчета скорости и направления движения в транспортной телематике, а также сравним их точность на реальных данных. Можно было бы назвать эту публикацию аналогичным образом: “Скорость автомобиля: почему значение в навигаторе и стрелка спидометра расходятся?”.

Нельзя обойти тему скорости в рамках цикла наших статей, так как ранее мы выяснили, что одометр транспортного средства считает пробег именно на основе скорости движения. Направление или курс движения - менее важный параметр, который зачастую используется только для визуализации маркера объекта на картографической подложке. 

Привет! Я Иван Косолапов, тимлид команды ETA/RTA. Мы часть сервиса Data Science и занимаемся анализом данных и машинным обучением для задач навигации в 2ГИС.

Наша команда появилась несколько лет назад, чтобы сделать точным прогноз времени в пути на автомобиле. Это важно не только для пользователей нашего навигатора, но и для бизнеса: например, для такси и служб доставки. Несколько специалистов по машинному обучению объединились с инженерами из команды навигации и создали решение, которое отвечает строгим требованиям по качеству, снизив ошибку на 20 процентов. Недавно мы также помогли сделать так, чтобы автобусы на карте отображались точно, и начали предсказывать время их прибытия на остановки. И это лишь часть задач, над которыми мы работаем.

Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.

На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведение порядка  в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять. 

Под наведением порядка в процессе разработки я подразумеваю решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.

Расскажу, как решая эти задачи, мы добились более точного отображения автобусов на карте в 2ГИС, упростив существующую на тот момент сложную систему.

Эта статья — расширенный туториал как оформить сервер и поднять свой VPN на протоколе VLESS с XTLS-Reality за 10 минут, который выделяется на общем плане тем, что трафик шифруется и маскируется под подключение к популярным сайтам (доменам), тем самым станет тёмной лошадкой для ТСПУ.