Привет, Хабр! Меня зовут Даулет Курмантаев, я дата-сайентист в крупной казахстанской телеком-компании. Работаю в отделе Customer Experience Management. Мы анализируем качество связи и автоматизируем решения по строительству и модернизации базовых станций.
В этой статье расскажу, как мы использовали геоаналитику и интерполяцию для создания карты покрытия сети. Поделюсь методами, с которыми работали; проблемами, с которыми столкнулись; и результатами, которых добились.
Встретить робота‑доставщика на улицах Москвы — привычное дело. Ещё они развозят заказы в Иннополисе и Мурино, побывали на Красной Поляне и совсем недавно изучили один из районов Алматы. При этом запуск доставки роботом в новом районе или городе — это достаточно сложная процедура. Нужно определить локацию для запуска, записать и отрисовать карты, наладить инфраструктуру, протестировать все процессы, организовать поддержку для роботов.
Но несмотря на такой большой объём работ, весь процесс весьма интересный. Именно о нём я и расскажу в этой статье. Под катом — история о том, как мы поставили робота «на колёса» в Казахстане, показывали ему город для записи данных и учили объезжать арыки.
В 2ГИС продакт-менеджеры отвечают за полный цикл фичи: важно не просто запустить её, но и рассказать о ней. Подробно, честно, с деталями: как появилась идея, какие были сложности, что в итоге получилось и какие первые результаты. Это не просто «мы добавили кнопку, и теперь всё классно» — это история про поиск решения, процесс, ошибки и инсайты.
Этим опытом мы делимся в «Доставили» — нашем блоге о продукте, который со временем стал не только инструментом коммуникации, но и частью продуктовой культуры. В этой статье о том, почему мы вкладываемся временем и менеджерскими ресурсами в написание статей и не боимся откровенно делиться результатами.
В статье я расскажу о новом приборе Itm-1 нашей разработки, который представляет собой комбинацию георадара, магнитометра и лидара. Такой прибор дает наиболее полное представление о подземных заглубленных объектах. По данным георадара определяется наличие и глубина залегания объекта, а по данным магнитометра уточняется наличие магнитной аномалии. По результатам такой обработки можно сделать заключение о материале заглубленного объекта – неметаллический, металлический-магнитный, металлический-немагнитный (цветной металл). Наличие лидара позволяет выполнять взаимную привязку положений подземных и наземных объектов, что может быть полезным при работе в густом лесу, а также в зоне расположения глушилок ГНСС, когда спутниковая навигация становится малопригодной. Такой прибор может применяться в археологических исследованиях, ликвидации минных заграждений, мониторинге и диагностике подземных коммуникаций, кладоискательстве и тд.
Статья нужна как ссылка. За техническими подробностями обращайтесь в л/с.
Во французском сабреддите я наткнулся на пост с интересной гипотезой:
Чем ближе точка к вокзалу, тем хуже там кебаб.
Пост на французском привлёк достаточно большое внимание, учитывая относительно небольшой размер сабреддита; это доказывало, что многие с ним согласны. Впрочем, в комментариях были и критики, рассказывающие истории, противоречащие сформулированной гипотезе.
Я решил, что мне нечем заняться, ведь я вылетевший с учёбы выгоревший безработный с новоприобретённым диагнозом «аутизм», поэтому стоит пожертвовать немного своего времени на благую цель — проведение этого неформального «исследования». В пределах следующих трёх рабочих дней мне на почту точно придёт Нобелевская премия мира и куча рабочих офферов.
Прошло более 7 лет, прежде чем эта головоломка с геолокацией была решена, было потрачено бесчисленное количество часов, пытаясь найти ее и всё таки удалось найти именно это место, но не совсем обычным способом.
Под катом вас ждёт увлекательная история поиска местоположения со снимка 1950-х годов.
Мы подошли к заключительной части цикла статей, в рамках которого были разобраны аспекты расчета пробега транспортного средства по данным спутниковых систем и штатного одометра. Целью данного цикла являлось изучение причин расхождения между пробегом, зафиксированным одометром и спутниковой навигацией, а также предложение методов корректировки данных для повышения точности измерений.
В предыдущих публикациях мы рассмотрели ключевые факторы, влияющие на точность измерений: состояние транспортного средства и условия его эксплуатации, высоту над уровнем моря, качество навигационного оборудования и обработку полученных данных. Теперь настало время перейти к финальному сравнению – пробег по данным ГНСС против пробега, полученного со штатного одометра через CAN-шину автомобиля.
Заключительная часть цикла позволит сформировать целостное представление об использовании значений пробегов полученных различными способами в задачах мониторинга транспорта.
Давным‑давно, когда мир ML состоял из бустингов, линейных моделей и статистических подходов, перед нашей командой API Яндекс Карт стояла задача сделать качественный Геокодер. Это алгоритм, который конвертирует текстовые запросы пользователей в поисковой строке карт в координаты и обратно. Он нужен, когда люди вводят адреса с ошибками, опечатками или народными наименованиями, например «Мяснитская 8». Геокодер должен понять, что имелось в виду «улица Мясницкая, дом 8/2», и вернуть на карте отметку с точной локацией и координатами.
Разработанный для России Геокодер отлично справлялся, но мы хотели найти способ быстро адаптировать это решение к адресным системам других стран. Технологические ограничения не позволяли быстро адаптировать решение, поскольку для каждой страны требовалась разработка собственных правил геокодирования, которые бы учитывали различия и языковые особенности. Однако появление и развитие алгоритмов deep learning открыло новые горизонты: методы active learning, аугментации данных и contrastive learning позволяют значительно улучшить итоговое качество геокодирования и учитывать нюансы различных адресных систем.
В этой статье мы рассмотрим основные этапы и методы построения нового Геокодера, который быстро масштабируется на адресные системы разных стран. Расскажем, что у него под капотом, как именно использовались механизмы deep learning при его создании, с какими проблемами мы столкнулись и как научили его понимать адреса с ошибками и опечатками.
Приветствую коллеги!
Пришла пора поговорить про направление информационной безопасности GEOINT на примере разбора задачи по поиску автобусной остановки.
Геопространственная разведка (GEOINT) — это сбор и анализ данных о Земле, включая снимки и информацию о местоположении, чтобы изучать объекты и события на планете.
Задача “Найти автобусную остановку”
Иногда приходится заниматься сравнением больших списков адресов, в которых адреса записаны совершенно по разному без внятных идентификаторов вроде номера объекта - есть только адрес. Один и тот же адрес может фигурировать в различных списках следующим образом:
📍 "д. Малое Шилово, ул. Березовая, д. 7" и "Березовая 7_М Шилово".
📍 "п. Ласьва, ул. Весенняя, д. 5" и "Весенняя 5_Ласьва".
📍 "Луговой пер 5, Краснокамск г" и "г. Краснокамск, пер. Луговой, 5".
📍 "д. Новая Ивановка, ул. Солнечная, 18" и "д.Новая Ивановка, ул.Солнечная, 18".
Уже выделенные отдельно адреса могут выглядеть как на скриншоте Экселя. А пример поставленной задачи может звучать так: «В реестре поданных объектов отметить все согласованные объекты (из общего списка согласованных)».
Если отбросить вариант ручного исполнения и обратиться к скриптам, то мне видится всего два решения:
✅ Использовать алгоритмы нечёткого сопоставления.
✅ Использовать геокодинг адресов.
В мониторинге транспорта телематические данные — это основа для принятия решений. Однако даже самые продвинутые системы не застрахованы от ошибок и погрешностей. Расхождения в данных спутниковой навигации, которые мы разбирали в предыдущих статьях, зачастую обусловлены не только методами расчета, но и качеством самих данных.
В этой статье мы разберем оставшиеся 3 поля из нашего датасета, кроме показаний пробега по одометру, полученные через CAN-шину. Мы разберем, как эти показатели формируются, какие значения считаются приемлемыми и как интерпретировать их при анализе данных. На основе реального датасета мы проанализируем влияние качества данных на точность расчета пробега.
Лица и имена, указанные в этом блоге, являются реальными и используются с их разрешения. Некоторые детали были отредактированы или скрыты, чтобы защитить частную жизнь других лиц.
Каждый день ветерана на протяжении почти десяти лет мой друг Билл Стивенс пытался найти и восстановить связь со своим армейским товарищем, с которым он вместе сражался более 20 лет назад. В течение нескольких лет Билл публиковал свои посты в Facebook, сопровождая их фотографиями из прошлого, в надежде, что каким-то образом его пост станет популярным и весть дойдет до его давно потерянного друга… но этого так и не произошло.
Существует ли измерительное оборудование?
Огромное количество мифов бродит по умам людей, которые связаны с точностью измерений и проведением опытов. В этой статье мы попытаемся расставить все точки над и́ в этих вопросах.
Рынок навигации постоянно растет, что положительно влияет на популярность сервисов панорамных фото улиц, которые зачастую являются частью более крупных проектов (типа приложений онлайн-карт). Поэтому я решил сравнить существующие на текущий момент такие сервисы от крупных компаний, а конкретнее: Google, Apple, Microsoft и Meta*. Похожих исследований или статей на русском я не нашел. На английском языке есть одна статья, сравнивающая те же сервисы, что и я, однако список критериев и стиль написания отличаются от моего.
Итак, для начала стоит немного окунуться в прошлое и рассказать как зарождались данные сервисы:
На удивление юристы работают не только с законодательством, бывает, что ответа на вопрос клиента или руководителя просто нет среди законов и кейсов. Тогда юрист превращается в OSINT-исследователя, потому что его работа в том, чтобы найти ответ на вопрос.
— Например, открытые данные помогают проверить контрагента, избежать нарушений законов или найти нужные доказательства для иска. Да и ресерч правовых баз можно отнести к поиску по открытым данным.
В этой статье мы разберём методы расчета скорости и направления движения в транспортной телематике, а также сравним их точность на реальных данных. Можно было бы назвать эту публикацию аналогичным образом: “Скорость автомобиля: почему значение в навигаторе и стрелка спидометра расходятся?”.
Нельзя обойти тему скорости в рамках цикла наших статей, так как ранее мы выяснили, что одометр транспортного средства считает пробег именно на основе скорости движения. Направление или курс движения - менее важный параметр, который зачастую используется только для визуализации маркера объекта на картографической подложке.
Привет! Я Иван Косолапов, тимлид команды ETA/RTA. Мы часть сервиса Data Science и занимаемся анализом данных и машинным обучением для задач навигации в 2ГИС.
Наша команда появилась несколько лет назад, чтобы сделать точным прогноз времени в пути на автомобиле. Это важно не только для пользователей нашего навигатора, но и для бизнеса: например, для такси и служб доставки. Несколько специалистов по машинному обучению объединились с инженерами из команды навигации и создали решение, которое отвечает строгим требованиям по качеству, снизив ошибку на 20 процентов. Недавно мы также помогли сделать так, чтобы автобусы на карте отображались точно, и начали предсказывать время их прибытия на остановки. И это лишь часть задач, над которыми мы работаем.
Сейчас тема AI, машинного обучения у всех на слуху, и со стороны может показаться, что те, кто этим занимается — маги, которые берут нейросети, прикладывают их к правильным местам, и все проблемы решаются.
На самом деле применение сложных алгоритмов требует большой подготовительной работы по наведение порядка в процессе разработки, что занимает 90 процентов всего времени, если не больше. Более того, как только процесс налажен, может оказаться так, что никакой дополнительной магии машинного обучения уже и не нужно добавлять.
Под наведением порядка в процессе разработки я подразумеваю решение четырёх задач: выбор правильной метрики, подготовка данных, построение воспроизводимой системы экспериментов, перенос алгоритмов туда, где их проще всего развивать.
Расскажу, как решая эти задачи, мы добились более точного отображения автобусов на карте в 2ГИС, упростив существующую на тот момент сложную систему.
Сразу возникает вопрос - кому в 2024 году может понадобиться переносить данные с бумажного носителя на цифровой, ведь большинство данных уже в цифровом виде. Тем не менее есть реальная задача. В исходных данных - растровая картинка проекта в виде таблицы с географическими координатами, выраженными в градусах, минутах и секундах, а на выходе должно получиться текстовое описание маршрутов с длинами и карта с точками и сегментами.
Предстоящие действия включают следующие шаги: из бумажного проекта взять таблицу с географическими координатами предстоящей застройки, оцифровать эти данные, а затем с помощью Python скрипта создать GPX-файл с точками и отрезками для нанесения на карту.
Затем, создав другой Python-скрипт, провести геокодирование координат для получения текстовых описаний с адресами и автоматически рассчитать расстояния между точками и сегментами.
Все эти действия гораздо быстрее ручного нанесения точек на карту и ручного подсчёта расстояний.
Приветствуем дорогих читателей! Продолжаем рубрику статей на тему OSINT под названием «ШХ». В этой статье для вас подготовили инструменты, которые неплохо помогут в решении задач сетевой разведки. Попробуем автоматизировать поиск по электронной почте и рассмотрим многофункциональный инструмент по поиску никнейма. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.
Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Приветствуем снова дорогих читателей! Продолжаем цикл статей "ШХ" и сегодня нашим блюдом будет Telegram. В ранних статьях мы рассмотрели способы аккаунтов целевого пользователя по его никнейму, после чего проводили разведку его аккаунта в социальной сети Вконтакте. На данном этапе мы ставим для себя важным узнать номер телефона пользователя, т.к. от номера уже можно будет неплохо отталкиваться в разведке и номер телефона может поведать о ещё подробней о своём владельце. В прошлой статье мы пытались выяснить номер при помощи страницы Вконтакте, а в этой как уже догадались по названию, мы будем пытаться выяснить как можно больше информации об аккаунте Telegram. Данный материал отредактирован и опубликован повторно, в связи в блокировкой прошлого материала РКН на территории РФ.
Дисклеймер: Все данные предоставленные в этой статье взяты из открытых источников. Не призывают к действию и размещены только лишь для ознакомления и изучения механизмов используемых технологий.
