Обновить
31.78

Геоинформационные сервисы *

Карты и геотеггинг в вебе

Сначала показывать
Порог рейтинга
Уровень сложности

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 4. Скорость и курс

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели1.9K

В этой статье мы разберём методы расчета скорости и направления движения в транспортной телематике, а также сравним их точность на реальных данных. Можно было бы назвать эту публикацию аналогичным образом: “Скорость автомобиля: почему значение в навигаторе и стрелка спидометра расходятся?”.

Нельзя обойти тему скорости в рамках цикла наших статей, так как ранее мы выяснили, что одометр транспортного средства считает пробег именно на основе скорости движения. Направление или курс движения - менее важный параметр, который зачастую используется только для визуализации маркера объекта на картографической подложке. 

Читать далее

Магия простоты: как мы улучшили отображение общественного транспорта на карте

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели5.5K

Привет! Я Иван Косолапов, тимлид команды ETA/RTA. Мы часть сервиса Data Science и занимаемся анализом данных и машинным обучением для задач навигации в 2ГИС.

Наша команда появилась несколько лет назад, чтобы сделать точным прогноз времени в пути на автомобиле. Это важно не только для пользователей нашего навигатора, но и для бизнеса: например, для такси и служб доставки. Несколько специалистов по машинному обучению объединились с инженерами из команды навигации и создали решение, которое отвечает строгим требованиям по качеству, снизив ошибку на 20 процентов. Недавно мы также помогли сделать так, чтобы автобусы на карте отображались точно, и начали предсказывать время их прибытия на остановки. И это лишь часть задач, над которыми мы работаем.

Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.

На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведение порядка  в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять. 

Под наведением порядка в процессе разработки я подразумеваю решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.

Расскажу, как решая эти задачи, мы добились более точного отображения автобусов на карте в 2ГИС, упростив существующую на тот момент сложную систему.

Читать

С бумаги на цифровую карту: генерация файла из таблицы для импорта на карту и геокодирование адресов с помощью Python

Уровень сложностиПростой
Время на прочтение15 мин
Охват и читатели2.1K

Сразу возникает вопрос - кому в 2024 году может понадобиться переносить данные с бумажного носителя на цифровой, ведь большинство данных уже в цифровом виде. Тем не менее есть реальная задача. В исходных данных - растровая картинка проекта в виде таблицы с географическими координатами, выраженными в градусах, минутах и секундах, а на выходе должно получиться текстовое описание маршрутов с длинами и карта с точками и сегментами.

Предстоящие действия включают следующие шаги: из бумажного проекта взять таблицу с географическими координатами предстоящей застройки, оцифровать эти данные, а затем с помощью Python скрипта создать GPX-файл с точками и отрезками для нанесения на карту.

Затем, создав другой Python-скрипт, провести геокодирование координат для получения текстовых описаний с адресами и автоматически рассчитать расстояния между точками и сегментами.

Все эти действия гораздо быстрее ручного нанесения точек на карту и ручного подсчёта расстояний.

Читать далее

Поиск по почте и никнейму

Время на прочтение4 мин
Охват и читатели8.7K

Приветствуем дорогих читателей! Продолжаем рубрику статей на тему OSINT под названием «ШХ». В этой статье для вас подготовили инструменты, которые неплохо помогут в решении задач сетевой разведки. Попробуем автоматизировать поиск по электронной почте и рассмотрим многофункциональный инструмент по поиску никнейма. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Анализ аккаунтов Telegram

Время на прочтение4 мин
Охват и читатели127K

Приветствуем снова дорогих читателей! Продолжаем цикл статей "ШХ" и сегодня нашим блюдом будет Telegram. В ранних статьях мы рассмотрели способы аккаунтов целевого пользователя по его никнейму, после чего проводили разведку его аккаунта в социальной сети Вконтакте. На данном этапе мы ставим для себя важным узнать номер телефона пользователя, т.к. от номера уже можно будет неплохо отталкиваться в разведке и номер телефона может поведать о ещё подробней о своём владельце. В прошлой статье мы пытались выяснить номер при помощи страницы Вконтакте, а в этой как уже догадались по названию, мы будем пытаться выяснить как можно больше информации об аккаунте Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные предоставленные в этой статье взяты из открытых источников. Не призывают к действию и размещены только лишь для ознакомления и изучения механизмов используемых технологий.

Читать далее

Боты и сервисы для разведки данных Вконтакте

Время на прочтение4 мин
Охват и читатели16K

Введение

Приветствую всех читателей статьи! Продолжаю серию статей "ШХ" на тему OSINT. В прошлой статье рассмотрели варианты поиска по никнейму, благодаря которому смогли узнать почту и сопоставить аккаунты в социальных сетях. Как раз в этой статье рассмотрим веб-ресурсы, ботов и методы поиска во всеми известной социальной сети Вконтакте (VK). Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.

Дисклеймер: Все данные показаные в статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Разведка по Telegram ботам — OSINT в телеграм

Время на прочтение4 мин
Охват и читатели130K

Приветствуем дорогих читателей! Продолжая рубрику статей ШХ, в этой статье мы решили более подробно сфокусироваться на OSINT ботах в Telegram, т.к они во множестве случаев бывают ни чуть не хуже и эффективней распространённых инструментов в OSINT. Рассмотренные в этой статье OSINT боты в основном будут касаться разведки по пользователям в Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой РКН на территории РФ.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 3. Высота над уровнем моря

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели1K

Мы с вами живем в трехмерном мире и не можем игнорировать третью компоненту координат в пространстве. Но в мониторинге транспорта исторически так сложилось, что высота зачастую игнорируется. Возможно, это наследие от мореплавателей, откуда и зародилась навигация, которым высота над уровнем моря казалась неизменной константой ;) У нас в системе до сих пор есть трекеры-"долгожители", которые шлют свою скорость в морских узлах.

Например, в экспертной статье от разработчиков СМТ Wialon про неверный пробег вообще не упоминается высота. При этом в разделе документации про основные счетчики указано, что высота все-таки учитывается, если ее разброс менее 500 (!) метров между телематическими сообщениями. На практике же зачастую учет высоты отключают из-за недостаточной точности его значения в данных от GPS-трекеров. В этой статье мы попробуем оценить разницу в пробеге с учетом высоты и без нее.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 2. Датасет

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели1.2K

Разовый расчет конкретного случая расхождения одометра и пробега по спутникам - это хороший аргумент в диалоге с Клиентом в рамках оказания услуг по мониторингу транспорта. Но провести сотни или хотя бы десятки таких экспериментов проблематично, как минимум, потому, что техника предназначена для целевого использования, а не экспериментов в рамках деловых отношений.

Поэтому попробуем провести исследование на обезличенных данных с реальных транспортных средств южной инфраструктурной геозоны платформы управления автопарками Waliot. Юг выбран по нескольким причинам: во-первых, это самый крупный кластер Waliot по количеству собственных объектов мониторинга и соответственно телеметрии, во-вторых, здесь мы сможем оценить влияние РЭБ и дорог с серьезным перепадом высот (перевалы и серпантины).

Читать далее

Полезные веб-ресурсы для OSINT

Время на прочтение3 мин
Охват и читатели6.1K

Приветствуем дорогих читателей! Продолжая серию статей про OSINT в этой статье мы разберём несколько веб-ресурсов, которые смогут помочь в проведении расследования по открытым источникам в ключе целевого пользователя и, что немаловажно, ускорят эту работу.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию, являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Пробег автомобиля: почему ГЛОНАСС и одометр расходятся? Часть 1. Введение

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели3.8K

Если кратко, то ни одометр на приборной панели, ни показания спутниковой навигации никогда не будут идеально точно отображать реальный пробег автомобиля. На этом можно было бы поставить точку, но задача измерения пробега автомобиля является важной не только для личного использования, но и для транспортных компаний и предприятий с автопарками, которые ведут учет эксплуатационных показателей своей техники.

Пробег является одним из главных показателей состояния автомобиля, определяющий регламент проведения технического обслуживания, замену расходных материалов и запчастей, а также управление затратами на предприятии. В действительности для большинства этих задач корректнее использовать моточасы двигателя, но эта тема выходит за рамки данной статьи.

Читать далее

Бот OVERLOAD и поиск групп пользователя в Telegram

Время на прочтение4 мин
Охват и читатели123K

Приветствуем дорогих читателей! Продолжаем тестировать ботов Telegram, которые эффективно помогут нам справиться с задачей поиска целевых данных в открытом доступе или же по-простому в OSINT. В этой статье мы разберём ещё достойных кандидатов стать инструментами поиска на постоянной основе не выходя из всеми известного мессенджера.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Индекс твоего города — обновление

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели774

Накопилось немного обновлений для city-indexes.online, которые уже давно доступны (тем кто возможно пользуется сайтом), но время рассказать появилось только сейчас.

Читать далее

Ближайшие события

Опыт работы с библиотекой h3: гексы, геопризнаки и Geo Feature Store

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели1.6K

Привет, меня зовут Роман Симановский, я Junior Data Scientist в команде Геоаналитики Альфа-Банка. Сегодня поделюсь опытом того, как мы работаем с пространственными данными, преобразовывая их в гео-признаки. С их помощью мы улучшаем модели машинного обучения, добавляя в них информацию об окружающем мире. На самом деле, это не так уж сложно, поэтому статья будет короткой.

Читать далее

Разведка по Telegram ботам — OSINT в телеграм

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели40K

Приветствуем дорогих читателей! Продолжая рубрику статей ШХ, в этой статье мы решили более подробно сфокусироваться на ботах в Telegram, т.к они во множестве случаев бывают ни чуть не хуже и эффективней распространённых инструментов в OSINT. Рассмотренные в этой статье боты в основном будут касаться разведки по пользователям в Telegram.

Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее

Rus Geocode

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели729

Всем привет!
Поговорим про геолокацию и геокодирование, я даже немного удивлен, что на хабре про это ни слова.

Но сначала немного предыстории.

Лет 10 назад мне нужно было найти одну организацию в Праге и у меня был адрес. Прибыв туда я увидел огромное(по площади) старое здание с кучей входов, никак не обозначенных. Я два раза обходил его, пока не нашел нужно место. И тогда я задумался о чем то более точном чем адрес, но более удобном к запоминанию и использованию, чем пара координат(широта и долгота).

Я перелопатил кучу возможных решений вроде "what three words", но все это не достаточно подходило.

Хотелось бы(в том числе) и чтобы глядя на закодированное место и текущее местоположение можно было понять в какую сторону идти. В общем я начал думать над собственным решением по кодированию координат. Крутил кучу мыслей, но спустя какое-то время наткнулся на проект, который делал работник швейцарского Гугла(у дураков мысли схожи), который делал именно то, что мне было нужно(с некоторыми допущениями). Называлась она Plus Codes.

Теперь, спустя года, заходя на Гугл карты, вы можете видеть в том числе и подобные метки(HFVQ+M3 Бенальмадена, Испания).

Они просты к записи, использованию и легко узнаваемы(когда я думал над собственным решением, мне хотелось какой-то символ, который бы обозначал координаты) благодаря плюсу внутри.

Штука эта хорошая, но плохо ложиться на российские реалии из-за латиницы, подумал я спустя несколько лет и форкнул репозиторий с намерением поменять алфавит на общеприменимый. Символы, используемые в Rus Codes были выбраны так, чтобы их можно было использовать как людям, использующим латинский алфавит, так и использующим кириллицу, а так же уменьшить вероятность ошибки при написании(ноль и О исключить например).

Читать далее

GEOINT Challenge: геолокация уличного искусства в Доминике

Время на прочтение4 мин
Охват и читатели995

В сентябре UnShelledSec в X опубликовал интересный пост, целью которого было найти точное местоположение исходя лишь из одной картинки, задача не из простых, но Ron Kaminsky справился и более того, показал алгоритм действий по решению. 

В этой статье вы поймёте ход его действий и методику поиска, которая поможет вам в дальнейшем в решении иных GEOINT-кейсов.

Читать далее

Прогноз геомагнитных бурь: когда ожидать магнитных колебаний?

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели8.7K

Геомагнитные бури — природные явления, которые могут влиять на технологии и самочувствие людей. Для метеочувствительных людей особенно важно знать даты повышенной магнитной активности, чтобы подготовиться к ним и минимизировать возможный дискомфорт. В этой статье мы рассмотрим прогноз геомагнитных бурь на ноябрь и декабрь 2024 года, их влияние на технологии, а также рекомендации, как облегчить своё состояние в такие дни.

Читать далее

GPS в нашей жизни: как навигация стала доступна каждому

Уровень сложностиПростой
Время на прочтение14 мин
Охват и читатели2.7K

Изначально навигационная спутниковая система NavStar GPS предназначалась исключительно для военного применения: например, для определения точных координат подводных лодок при запуске межконтинентальных баллистических ракет. 

Но с 70-х годов все изменилось. Сейчас без GPS сложно представить нашу жизнь. Давайте чуть коснемся истории и посмотрим, как 32 вращающихся по орбите спутника повлияли буквально на все вокруг. 

Читать далее

Австралия, Лорд-Хау — самый странный часовой пояс

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели8.3K

Часовые пояса представляют собой довольно запутанную концепцию, но не безнадёжно. И далее я опишу точную принципиальную модель, которая вам понадобится для их понимания.

Обсуждение часовых поясов, как правило, заключается в перечислении всех заблуждений, которые о них имеют программисты. Но подобные списки не несут особой пользы, так как сложно докопаться до истины, оперируя лишь общим представлением о некотором заблуждении.

Так что я предлагаю другой подход. В этой статье я покажу вам несколько странных часовых поясов, можно даже сказать самых странных — так как страннее, пожалуй, уже некуда.
Читать дальше →

Вклад авторов