Прошло более 7 лет, прежде чем эта головоломка с геолокацией была решена, было потрачено бесчисленное количество часов, пытаясь найти ее и всё таки удалось найти именно это место, но не совсем обычным способом.
Под катом вас ждёт увлекательная история поиска местоположения со снимка 1950-х годов.
Мы подошли к заключительной части цикла статей, в рамках которого были разобраны аспекты расчета пробега транспортного средства по данным спутниковых систем и штатного одометра. Целью данного цикла являлось изучение причин расхождения между пробегом, зафиксированным одометром и спутниковой навигацией, а также предложение методов корректировки данных для повышения точности измерений.
В предыдущих публикациях мы рассмотрели ключевые факторы, влияющие на точность измерений: состояние транспортного средства и условия его эксплуатации, высоту над уровнем моря, качество навигационного оборудования и обработку полученных данных. Теперь настало время перейти к финальному сравнению – пробег по данным ГНСС против пробега, полученного со штатного одометра через CAN-шину автомобиля.
Заключительная часть цикла позволит сформировать целостное представление об использовании значений пробегов полученных различными способами в задачах мониторинга транспорта.
Давным‑давно, когда мир ML состоял из бустингов, линейных моделей и статистических подходов, перед нашей командой API Яндекс Карт стояла задача сделать качественный Геокодер. Это алгоритм, который конвертирует текстовые запросы пользователей в поисковой строке карт в координаты и обратно. Он нужен, когда люди вводят адреса с ошибками, опечатками или народными наименованиями, например «Мяснитская 8». Геокодер должен понять, что имелось в виду «улица Мясницкая, дом 8/2», и вернуть на карте отметку с точной локацией и координатами.
Разработанный для России Геокодер отлично справлялся, но мы хотели найти способ быстро адаптировать это решение к адресным системам других стран. Технологические ограничения не позволяли быстро адаптировать решение, поскольку для каждой страны требовалась разработка собственных правил геокодирования, которые бы учитывали различия и языковые особенности. Однако появление и развитие алгоритмов deep learning открыло новые горизонты: методы active learning, аугментации данных и contrastive learning позволяют значительно улучшить итоговое качество геокодирования и учитывать нюансы различных адресных систем.
В этой статье мы рассмотрим основные этапы и методы построения нового Геокодера, который быстро масштабируется на адресные системы разных стран. Расскажем, что у него под капотом, как именно использовались механизмы deep learning при его создании, с какими проблемами мы столкнулись и как научили его понимать адреса с ошибками и опечатками.
Приветствую коллеги!
Пришла пора поговорить про направление информационной безопасности GEOINT на примере разбора задачи по поиску автобусной остановки.
Геопространственная разведка (GEOINT) — это сбор и анализ данных о Земле, включая снимки и информацию о местоположении, чтобы изучать объекты и события на планете.
Задача “Найти автобусную остановку”
Иногда приходится заниматься сравнением больших списков адресов, в которых адреса записаны совершенно по разному без внятных идентификаторов вроде номера объекта - есть только адрес. Один и тот же адрес может фигурировать в различных списках следующим образом:
📍 "д. Малое Шилово, ул. Березовая, д. 7" и "Березовая 7_М Шилово".
📍 "п. Ласьва, ул. Весенняя, д. 5" и "Весенняя 5_Ласьва".
📍 "Луговой пер 5, Краснокамск г" и "г. Краснокамск, пер. Луговой, 5".
📍 "д. Новая Ивановка, ул. Солнечная, 18" и "д.Новая Ивановка, ул.Солнечная, 18".
Уже выделенные отдельно адреса могут выглядеть как на скриншоте Экселя. А пример поставленной задачи может звучать так: «В реестре поданных объектов отметить все согласованные объекты (из общего списка согласованных)».
Если отбросить вариант ручного исполнения и обратиться к скриптам, то мне видится всего два решения:
✅ Использовать алгоритмы нечёткого сопоставления.
✅ Использовать геокодинг адресов.
В мониторинге транспорта телематические данные — это основа для принятия решений. Однако даже самые продвинутые системы не застрахованы от ошибок и погрешностей. Расхождения в данных спутниковой навигации, которые мы разбирали в предыдущих статьях, зачастую обусловлены не только методами расчета, но и качеством самих данных.
В этой статье мы разберем оставшиеся 3 поля из нашего датасета, кроме показаний пробега по одометру, полученные через CAN-шину. Мы разберем, как эти показатели формируются, какие значения считаются приемлемыми и как интерпретировать их при анализе данных. На основе реального датасета мы проанализируем влияние качества данных на точность расчета пробега.
Лица и имена, указанные в этом блоге, являются реальными и используются с их разрешения. Некоторые детали были отредактированы или скрыты, чтобы защитить частную жизнь других лиц.
Каждый день ветерана на протяжении почти десяти лет мой друг Билл Стивенс пытался найти и восстановить связь со своим армейским товарищем, с которым он вместе сражался более 20 лет назад. В течение нескольких лет Билл публиковал свои посты в Facebook, сопровождая их фотографиями из прошлого, в надежде, что каким-то образом его пост станет популярным и весть дойдет до его давно потерянного друга… но этого так и не произошло.
Существует ли измерительное оборудование?
Огромное количество мифов бродит по умам людей, которые связаны с точностью измерений и проведением опытов. В этой статье мы попытаемся расставить все точки над и́ в этих вопросах.
Рынок навигации постоянно растет, что положительно влияет на популярность сервисов панорамных фото улиц, которые зачастую являются частью более крупных проектов (типа приложений онлайн-карт). Поэтому я решил сравнить существующие на текущий момент такие сервисы от крупных компаний, а конкретнее: Google, Apple, Microsoft и Meta*. Похожих исследований или статей на русском я не нашел. На английском языке есть одна статья, сравнивающая те же сервисы, что и я, однако список критериев и стиль написания отличаются от моего.
Итак, для начала стоит немного окунуться в прошлое и рассказать как зарождались данные сервисы:
На удивление юристы работают не только с законодательством, бывает, что ответа на вопрос клиента или руководителя просто нет среди законов и кейсов. Тогда юрист превращается в OSINT-исследователя, потому что его работа в том, чтобы найти ответ на вопрос.
— Например, открытые данные помогают проверить контрагента, избежать нарушений законов или найти нужные доказательства для иска. Да и ресерч правовых баз можно отнести к поиску по открытым данным.
В этой статье мы разберём методы расчета скорости и направления движения в транспортной телематике, а также сравним их точность на реальных данных. Можно было бы назвать эту публикацию аналогичным образом: “Скорость автомобиля: почему значение в навигаторе и стрелка спидометра расходятся?”.
Нельзя обойти тему скорости в рамках цикла наших статей, так как ранее мы выяснили, что одометр транспортного средства считает пробег именно на основе скорости движения. Направление или курс движения - менее важный параметр, который зачастую используется только для визуализации маркера объекта на картографической подложке.
Привет! Я Иван Косолапов, тимлид команды ETA/RTA. Мы часть сервиса Data Science и занимаемся анализом данных и машинным обучением для задач навигации в 2ГИС.
Наша команда появилась несколько лет назад, чтобы сделать точным прогноз времени в пути на автомобиле. Это важно не только для пользователей нашего навигатора, но и для бизнеса: например, для такси и служб доставки. Несколько специалистов по машинному обучению объединились с инженерами из команды навигации и создали решение, которое отвечает строгим требованиям по качеству, снизив ошибку на 20 процентов. Недавно мы также помогли сделать так, чтобы автобусы на карте отображались точно, и начали предсказывать время их прибытия на остановки. И это лишь часть задач, над которыми мы работаем.
Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.
На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведение порядка в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять.
Под наведением порядка в процессе разработки я подразумеваю решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.
Расскажу, как решая эти задачи, мы добились более точного отображения автобусов на карте в 2ГИС, упростив существующую на тот момент сложную систему.
Эта статья — расширенный туториал как оформить сервер и поднять свой VPN на протоколе VLESS с XTLS-Reality за 10 минут, который выделяется на общем плане тем, что трафик шифруется и маскируется под подключение к популярным сайтам (доменам), тем самым станет тёмной лошадкой для ТСПУ.
Сразу возникает вопрос - кому в 2024 году может понадобиться переносить данные с бумажного носителя на цифровой, ведь большинство данных уже в цифровом виде. Тем не менее есть реальная задача. В исходных данных - растровая картинка проекта в виде таблицы с географическими координатами, выраженными в градусах, минутах и секундах, а на выходе должно получиться текстовое описание маршрутов с длинами и карта с точками и сегментами.
Предстоящие действия включают следующие шаги: из бумажного проекта взять таблицу с географическими координатами предстоящей застройки, оцифровать эти данные, а затем с помощью Python скрипта создать GPX-файл с точками и отрезками для нанесения на карту.
Затем, создав другой Python-скрипт, провести геокодирование координат для получения текстовых описаний с адресами и автоматически рассчитать расстояния между точками и сегментами.
Все эти действия гораздо быстрее ручного нанесения точек на карту и ручного подсчёта расстояний.
Приветствуем дорогих читателей! Продолжаем рубрику статей на тему OSINT под названием «ШХ». В этой статье для вас подготовили инструменты, которые неплохо помогут в решении задач сетевой разведки. Попробуем автоматизировать поиск по электронной почте и рассмотрим многофункциональный инструмент по поиску никнейма. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.
Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Приветствуем снова дорогих читателей! Продолжаем цикл статей "ШХ" и сегодня нашим блюдом будет Telegram. В ранних статьях мы рассмотрели способы аккаунтов целевого пользователя по его никнейму, после чего проводили разведку его аккаунта в социальной сети Вконтакте. На данном этапе мы ставим для себя важным узнать номер телефона пользователя, т.к. от номера уже можно будет неплохо отталкиваться в разведке и номер телефона может поведать о ещё подробней о своём владельце. В прошлой статье мы пытались выяснить номер при помощи страницы Вконтакте, а в этой как уже догадались по названию, мы будем пытаться выяснить как можно больше информации об аккаунте Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.
Дисклеймер: Все данные предоставленные в этой статье взяты из открытых источников. Не призывают к действию и размещены только лишь для ознакомления и изучения механизмов используемых технологий.
Введение
Приветствую всех читателей статьи! Продолжаю серию статей "ШХ" на тему OSINT. В прошлой статье рассмотрели варианты поиска по никнейму, благодаря которому смогли узнать почту и сопоставить аккаунты в социальных сетях. Как раз в этой статье рассмотрим веб-ресурсы, ботов и методы поиска во всеми известной социальной сети Вконтакте (VK). Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.
Дисклеймер: Все данные показаные в статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Приветствуем дорогих читателей! Продолжая рубрику статей ШХ, в этой статье мы решили более подробно сфокусироваться на OSINT ботах в Telegram, т.к они во множестве случаев бывают ни чуть не хуже и эффективней распространённых инструментов в OSINT. Рассмотренные в этой статье OSINT боты в основном будут касаться разведки по пользователям в Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой РКН на территории РФ.
Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Мы с вами живем в трехмерном мире и не можем игнорировать третью компоненту координат в пространстве. Но в мониторинге транспорта исторически так сложилось, что высота зачастую игнорируется. Возможно, это наследие от мореплавателей, откуда и зародилась навигация, которым высота над уровнем моря казалась неизменной константой ;) У нас в системе до сих пор есть трекеры-"долгожители", которые шлют свою скорость в морских узлах.
Например, в экспертной статье от разработчиков СМТ Wialon про неверный пробег вообще не упоминается высота. При этом в разделе документации про основные счетчики указано, что высота все-таки учитывается, если ее разброс менее 500 (!) метров между телематическими сообщениями. На практике же зачастую учет высоты отключают из-за недостаточной точности его значения в данных от GPS-трекеров. В этой статье мы попробуем оценить разницу в пробеге с учетом высоты и без нее.
Разовый расчет конкретного случая расхождения одометра и пробега по спутникам - это хороший аргумент в диалоге с Клиентом в рамках оказания услуг по мониторингу транспорта. Но провести сотни или хотя бы десятки таких экспериментов проблематично, как минимум, потому, что техника предназначена для целевого использования, а не экспериментов в рамках деловых отношений.
Поэтому попробуем провести исследование на обезличенных данных с реальных транспортных средств южной инфраструктурной геозоны платформы управления автопарками Waliot. Юг выбран по нескольким причинам: во-первых, это самый крупный кластер Waliot по количеству собственных объектов мониторинга и соответственно телеметрии, во-вторых, здесь мы сможем оценить влияние РЭБ и дорог с серьезным перепадом высот (перевалы и серпантины).
