Как стать автором
Обновить
16.95

Геоинформационные сервисы *

Карты и геотеггинг в вебе

Сначала показывать
Порог рейтинга
Уровень сложности

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 6. Сравнение и выводы

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.1K

Мы подошли к заключительной части цикла статей, в рамках которого были разобраны аспекты расчета пробега транспортного средства по данным спутниковых систем и штатного одометра. Целью данного цикла являлось изучение причин расхождения между пробегом, зафиксированным одометром и спутниковой навигацией, а также предложение методов корректировки данных для повышения точности измерений. 

В предыдущих публикациях мы рассмотрели ключевые факторы, влияющие на точность измерений: состояние транспортного средства и условия его эксплуатации, высоту над уровнем моря, качество навигационного оборудования и обработку полученных данных. Теперь настало время перейти к финальному сравнению – пробег по данным ГНСС против пробега, полученного со штатного одометра через CAN-шину автомобиля.

Заключительная часть цикла позволит сформировать целостное представление об использовании значений пробегов полученных различными способами в задачах мониторинга транспорта.

Читать далее

Новости

Как с помощью deep learning мы построили Геокодер, масштабируемый для разных стран

Время на прочтение11 мин
Количество просмотров8.3K

Давным‑давно, когда мир ML состоял из бустингов, линейных моделей и статистических подходов, перед нашей командой API Яндекс Карт стояла задача сделать качественный Геокодер. Это алгоритм, который конвертирует текстовые запросы пользователей в поисковой строке карт в координаты и обратно. Он нужен, когда люди вводят адреса с ошибками, опечатками или народными наименованиями, например «Мяснитская 8». Геокодер должен понять, что имелось в виду «улица Мясницкая, дом 8/2», и вернуть на карте отметку с точной локацией и координатами.

Разработанный для России Геокодер отлично справлялся, но мы хотели найти способ быстро адаптировать это решение к адресным системам других стран. Технологические ограничения не позволяли быстро адаптировать решение, поскольку для каждой страны требовалась разработка собственных правил геокодирования, которые бы учитывали различия и языковые особенности. Однако появление и развитие алгоритмов deep learning открыло новые горизонты: методы active learning, аугментации данных и contrastive learning позволяют значительно улучшить итоговое качество геокодирования и учитывать нюансы различных адресных систем.

В этой статье мы рассмотрим основные этапы и методы построения нового Геокодера, который быстро масштабируется на адресные системы разных стран. Расскажем, что у него под капотом, как именно использовались механизмы deep learning при его создании, с какими проблемами мы столкнулись и как научили его понимать адреса с ошибками и опечатками.

Читать далее

Давайте найдем остановку в Южной Корее

Время на прочтение4 мин
Количество просмотров1.8K

Приветствую коллеги!
Пришла пора поговорить про направление информационной безопасности GEOINT на примере разбора задачи по поиску автобусной остановки.

Геопространственная разведка (GEOINT) — это сбор и анализ данных о Земле, включая снимки и информацию о местоположении, чтобы изучать объекты и события на планете.

Задача “Найти автобусную остановку”

Читать далее

Python и нечеткое сопоставление: решение проблемы разнобоя в адресах

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров3.7K

Иногда приходится заниматься сравнением больших списков адресов, в которых адреса записаны совершенно по разному без внятных идентификаторов вроде номера объекта - есть только адрес. Один и тот же адрес может фигурировать в различных списках следующим образом:

📍 "д. Малое Шилово, ул. Березовая, д. 7" и "Березовая 7_М Шилово".
📍 "п. Ласьва, ул. Весенняя, д. 5" и "Весенняя 5_Ласьва".
📍 "Луговой пер 5, Краснокамск г" и "г. Краснокамск, пер. Луговой, 5".
📍 "д. Новая Ивановка, ул. Солнечная, 18" и "д.Новая Ивановка, ул.Солнечная, 18".

Уже выделенные отдельно адреса могут выглядеть как на скриншоте Экселя. А пример поставленной задачи может звучать так: «В реестре поданных объектов отметить все согласованные объекты (из общего списка согласованных)».

Если отбросить вариант ручного исполнения и обратиться к скриптам, то мне видится всего два решения:

✅ Использовать алгоритмы нечёткого сопоставления.
✅ Использовать геокодинг адресов.

Ищем приемлемый вариант сопоставления

Истории

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 5. Качество данных и валидация

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров3K

В мониторинге транспорта телематические данные — это основа для принятия решений. Однако даже самые продвинутые системы не застрахованы от ошибок и погрешностей. Расхождения в данных спутниковой навигации, которые мы разбирали в предыдущих статьях, зачастую обусловлены не только методами расчета, но и качеством самих данных.

В этой статье мы разберем оставшиеся 3 поля из нашего датасета, кроме показаний пробега по одометру, полученные через CAN-шину. Мы разберем, как эти показатели формируются, какие значения считаются приемлемыми и как интерпретировать их при анализе данных. На основе реального датасета мы проанализируем влияние качества данных на точность расчета пробега.

Читать далее

Как OSINT воссоединил двух давно потерявших друг друга солдат

Время на прочтение10 мин
Количество просмотров2.8K

Лица и имена, указанные в этом блоге, являются реальными и используются с их разрешения. Некоторые детали были отредактированы или скрыты, чтобы защитить частную жизнь других лиц.

Каждый день ветерана на протяжении почти десяти лет мой друг Билл Стивенс пытался найти и восстановить связь со своим армейским товарищем, с которым он вместе сражался более 20 лет назад. В течение нескольких лет Билл публиковал свои посты в Facebook, сопровождая их фотографиями из прошлого, в надежде, что каким-то образом его пост станет популярным и весть дойдет до его давно потерянного друга… но этого так и не произошло.

Читать далее

Существует ли измерительное оборудование?

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3K

Существует ли измерительное оборудование?

Огромное количество мифов бродит по умам людей, которые связаны с точностью измерений и проведением опытов. В этой статье мы попытаемся расставить все точки над и́ в этих вопросах.

Читать далее

Сравнение сервисов панорамных снимков улиц от технологических гигантов

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров2K

Рынок навигации постоянно растет, что положительно влияет на популярность сервисов панорамных фото улиц, которые зачастую являются частью более крупных проектов (типа приложений онлайн-карт). Поэтому я решил сравнить существующие на текущий момент такие сервисы от крупных компаний, а конкретнее: Google, Apple, Microsoft и Meta*. Похожих исследований или статей на русском я не нашел. На английском языке есть одна статья, сравнивающая те же сервисы, что и я, однако список критериев и стиль написания отличаются от моего.

Итак, для начала стоит немного окунуться в прошлое и рассказать как зарождались данные сервисы:

Читать далее

Применение OSINT-техник в сфере юриспруденции

Время на прочтение2 мин
Количество просмотров898

На удивление юристы работают не только с законодательством, бывает, что ответа на вопрос клиента или руководителя просто нет среди законов и кейсов. Тогда юрист превращается в OSINT-исследователя, потому что его работа в том, чтобы найти ответ на вопрос.

— Например, открытые данные помогают проверить контрагента, избежать нарушений законов или найти нужные доказательства для иска. Да и ресерч правовых баз можно отнести к поиску по открытым данным.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 4. Скорость и курс

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.5K

В этой статье мы разберём методы расчета скорости и направления движения в транспортной телематике, а также сравним их точность на реальных данных. Можно было бы назвать эту публикацию аналогичным образом: “Скорость автомобиля: почему значение в навигаторе и стрелка спидометра расходятся?”.

Нельзя обойти тему скорости в рамках цикла наших статей, так как ранее мы выяснили, что одометр транспортного средства считает пробег именно на основе скорости движения. Направление или курс движения - менее важный параметр, который зачастую используется только для визуализации маркера объекта на картографической подложке. 

Читать далее

Магия простоты: как мы улучшили отображение общественного транспорта на карте

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров7.1K

Привет! Я Иван Косолапов, тимлид команды ETA/RTA. Мы часть сервиса Data Science и занимаемся анализом данных и машинным обучением для задач навигации в 2ГИС.

Наша команда появилась несколько лет назад, чтобы сделать точным прогноз времени в пути на автомобиле. Это важно не только для пользователей нашего навигатора, но и для бизнеса: например, для такси и служб доставки. Несколько специалистов по машинному обучению объединились с инженерами из команды навигации и создали решение, которое отвечает строгим требованиям по качеству, снизив ошибку на 20 процентов. Недавно мы также помогли сделать так, чтобы автобусы на карте отображались точно, и начали предсказывать время их прибытия на остановки. И это лишь часть задач, над которыми мы работаем.

Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.

На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведение порядка  в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять. 

Под наведением порядка в процессе разработки я подразумеваю решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.

Расскажу, как решая эти задачи, мы добились более точного отображения автобусов на карте в 2ГИС, упростив существующую на тот момент сложную систему.

Читать

Личный VPN: юзер ликует, VLESS смеётся, а РКН плачет

Время на прочтение6 мин
Количество просмотров207K

Эта статья — расширенный туториал как оформить сервер и поднять свой VPN на протоколе VLESS с XTLS-Reality за 10 минут, который выделяется на общем плане тем, что трафик шифруется и маскируется под подключение к популярным сайтам (доменам), тем самым станет тёмной лошадкой для ТСПУ.

Читать далее

С бумаги на цифровую карту: генерация файла из таблицы для импорта на карту и геокодирование адресов с помощью Python

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров2.2K

Сразу возникает вопрос - кому в 2024 году может понадобиться переносить данные с бумажного носителя на цифровой, ведь большинство данных уже в цифровом виде. Тем не менее есть реальная задача. В исходных данных - растровая картинка проекта в виде таблицы с географическими координатами, выраженными в градусах, минутах и секундах, а на выходе должно получиться текстовое описание маршрутов с длинами и карта с точками и сегментами.

Предстоящие действия включают следующие шаги: из бумажного проекта взять таблицу с географическими координатами предстоящей застройки, оцифровать эти данные, а затем с помощью Python скрипта создать GPX-файл с точками и отрезками для нанесения на карту.

Затем, создав другой Python-скрипт, провести геокодирование координат для получения текстовых описаний с адресами и автоматически рассчитать расстояния между точками и сегментами.

Все эти действия гораздо быстрее ручного нанесения точек на карту и ручного подсчёта расстояний.

Читать далее

Ближайшие события

11 – 13 февраля
Epic Telegram Conference
Онлайн
27 марта
Deckhouse Conf 2025
Москва
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань

Поиск по почте и никнейму

Время на прочтение4 мин
Количество просмотров6.5K

Приветствуем дорогих читателей! Продолжаем рубрику статей на тему OSINT под названием «ШХ». В этой статье для вас подготовили инструменты, которые неплохо помогут в решении задач сетевой разведки. Попробуем автоматизировать поиск по электронной почте и рассмотрим многофункциональный инструмент по поиску никнейма. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Анализ аккаунтов Telegram

Время на прочтение4 мин
Количество просмотров17K

Приветствуем снова дорогих читателей! Продолжаем цикл статей "ШХ" и сегодня нашим блюдом будет Telegram. В ранних статьях мы рассмотрели способы аккаунтов целевого пользователя по его никнейму, после чего проводили разведку его аккаунта в социальной сети Вконтакте. На данном этапе мы ставим для себя важным узнать номер телефона пользователя, т.к. от номера уже можно будет неплохо отталкиваться в разведке и номер телефона может поведать о ещё подробней о своём владельце. В прошлой статье мы пытались выяснить номер при помощи страницы Вконтакте, а в этой как уже догадались по названию, мы будем пытаться выяснить как можно больше информации об аккаунте Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные предоставленные в этой статье взяты из открытых источников. Не призывают к действию и размещены только лишь для ознакомления и изучения механизмов используемых технологий.

Читать далее

Боты и сервисы для разведки данных Вконтакте

Время на прочтение4 мин
Количество просмотров7.7K

Введение

Приветствую всех читателей статьи! Продолжаю серию статей "ШХ" на тему OSINT. В прошлой статье рассмотрели варианты поиска по никнейму, благодаря которому смогли узнать почту и сопоставить аккаунты в социальных сетях. Как раз в этой статье рассмотрим веб-ресурсы, ботов и методы поиска во всеми известной социальной сети Вконтакте (VK). Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные показаные в статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Разведка по Telegram ботам — OSINT в телеграм

Время на прочтение4 мин
Количество просмотров22K

Приветствуем дорогих читателей! Продолжая рубрику статей ШХ, в этой статье мы решили более подробно сфокусироваться на OSINT ботах в Telegram, т.к они во множестве случаев бывают ни чуть не хуже и эффективней распространённых инструментов в OSINT. Рассмотренные в этой статье OSINT боты в основном будут касаться разведки по пользователям в Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой РКН на территории РФ.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 3. Высота над уровнем моря

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.4K

Мы с вами живем в трехмерном мире и не можем игнорировать третью компоненту координат в пространстве. Но в мониторинге транспорта исторически так сложилось, что высота зачастую игнорируется. Возможно, это наследие от мореплавателей, откуда и зародилась навигация, которым высота над уровнем моря казалась неизменной константой ;) У нас в системе до сих пор есть трекеры-"долгожители", которые шлют свою скорость в морских узлах.

Например, в экспертной статье от разработчиков СМТ Wialon про неверный пробег вообще не упоминается высота. При этом в разделе документации про основные счетчики указано, что высота все-таки учитывается, если ее разброс менее 500 (!) метров между телематическими сообщениями. На практике же зачастую учет высоты отключают из-за недостаточной точности его значения в данных от GPS-трекеров. В этой статье мы попробуем оценить разницу в пробеге с учетом высоты и без нее.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 2. Датасет

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1.5K

Разовый расчет конкретного случая расхождения одометра и пробега по спутникам - это хороший аргумент в диалоге с Клиентом в рамках оказания услуг по мониторингу транспорта. Но провести сотни или хотя бы десятки таких экспериментов проблематично, как минимум, потому, что техника предназначена для целевого использования, а не экспериментов в рамках деловых отношений.

Поэтому попробуем провести исследование на обезличенных данных с реальных транспортных средств южной инфраструктурной геозоны платформы управления автопарками Waliot. Юг выбран по нескольким причинам: во-первых, это самый крупный кластер Waliot по количеству собственных объектов мониторинга и соответственно телеметрии, во-вторых, здесь мы сможем оценить влияние РЭБ и дорог с серьезным перепадом высот (перевалы и серпантины).

Читать далее

Полезные веб-ресурсы для OSINT

Время на прочтение3 мин
Количество просмотров5.8K

Приветствуем дорогих читателей! Продолжая серию статей про OSINT в этой статье мы разберём несколько веб-ресурсов, которые смогут помочь в проведении расследования по открытым источникам в ключе целевого пользователя и, что немаловажно, ускорят эту работу.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию, являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее
1
23 ...

Вклад авторов