Привет, меня зовут Роман Симановский, я Junior Data Scientist в команде Геоаналитики Альфа-Банка. Сегодня поделюсь опытом того, как мы работаем с пространственными данными, преобразовывая их в гео-признаки. С их помощью мы улучшаем модели машинного обучения, добавляя в них информацию об окружающем мире. На самом деле, это не так уж сложно, поэтому статья будет короткой.
Приветствуем дорогих читателей! Продолжая рубрику статей ШХ, в этой статье мы решили более подробно сфокусироваться на ботах в Telegram, т.к они во множестве случаев бывают ни чуть не хуже и эффективней распространённых инструментов в OSINT. Рассмотренные в этой статье боты в основном будут касаться разведки по пользователям в Telegram.
Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Всем привет!
Поговорим про геолокацию и геокодирование, я даже немного удивлен, что на хабре про это ни слова.
Но сначала немного предыстории.
Лет 10 назад мне нужно было найти одну организацию в Праге и у меня был адрес. Прибыв туда я увидел огромное(по площади) старое здание с кучей входов, никак не обозначенных. Я два раза обходил его, пока не нашел нужно место. И тогда я задумался о чем то более точном чем адрес, но более удобном к запоминанию и использованию, чем пара координат(широта и долгота).
Я перелопатил кучу возможных решений вроде "what three words", но все это не достаточно подходило.
Хотелось бы(в том числе) и чтобы глядя на закодированное место и текущее местоположение можно было понять в какую сторону идти. В общем я начал думать над собственным решением по кодированию координат. Крутил кучу мыслей, но спустя какое-то время наткнулся на проект, который делал работник швейцарского Гугла(у дураков мысли схожи), который делал именно то, что мне было нужно(с некоторыми допущениями). Называлась она Plus Codes.
Теперь, спустя года, заходя на Гугл карты, вы можете видеть в том числе и подобные метки(HFVQ+M3 Бенальмадена, Испания).
Они просты к записи, использованию и легко узнаваемы(когда я думал над собственным решением, мне хотелось какой-то символ, который бы обозначал координаты) благодаря плюсу внутри.
Штука эта хорошая, но плохо ложиться на российские реалии из-за латиницы, подумал я спустя несколько лет и форкнул репозиторий с намерением поменять алфавит на общеприменимый. Символы, используемые в Rus Codes были выбраны так, чтобы их можно было использовать как людям, использующим латинский алфавит, так и использующим кириллицу, а так же уменьшить вероятность ошибки при написании(ноль и О исключить например).
В сентябре UnShelledSec в X опубликовал интересный пост, целью которого было найти точное местоположение исходя лишь из одной картинки, задача не из простых, но Ron Kaminsky справился и более того, показал алгоритм действий по решению.
— В этой статье вы поймёте ход его действий и методику поиска, которая поможет вам в дальнейшем в решении иных GEOINT-кейсов.
Геомагнитные бури — природные явления, которые могут влиять на технологии и самочувствие людей. Для метеочувствительных людей особенно важно знать даты повышенной магнитной активности, чтобы подготовиться к ним и минимизировать возможный дискомфорт. В этой статье мы рассмотрим прогноз геомагнитных бурь на ноябрь и декабрь 2024 года, их влияние на технологии, а также рекомендации, как облегчить своё состояние в такие дни.
Изначально навигационная спутниковая система NavStar GPS предназначалась исключительно для военного применения: например, для определения точных координат подводных лодок при запуске межконтинентальных баллистических ракет.
Но с 70-х годов все изменилось. Сейчас без GPS сложно представить нашу жизнь. Давайте чуть коснемся истории и посмотрим, как 32 вращающихся по орбите спутника повлияли буквально на все вокруг.
Предоставлен доступ к исходному коду для city-indexes.online. Собраны ответы на частые вопрос в одном месте.
Обновлений для пользователя немного - добавлены города Вологда, Новороссийск, Ульяновск, Париж и Ницца.
Основное - это открытый код для расчетов и самого сайта - City Indexes - GitLab.
Просканировать ископаемые: в МФТИ разработали импортонезависимый софт для нефтяников и золотодобытчиков
Предложенное сотрудниками МФТИ цифровое решение позволяет, обрабатывая полевые данные электроразведки, определить наличие залежей полезных ископаемых на исследуемом участке. Такой прогрессивный подход позволяет существенно снизить риски непродуктивного бурения в процессе добычи.
Все мы пользуемся или уж точно слышали о американской системе глобального позиционирования GPS или о отечественной ГЛОНАСС. Однако в Европе также появилась альтернативная система GNSS, которая позволяет не зависеть от сигналов спутников других государств. Давайте посмотрим, как она появилась и зачем Евросоюз вложил в неё уже больше 10 млрд долларов.
Привет, Хабр! На связи Настя Швецова, руководитель проектов управления исследований и разработки «МосТрансПроекта». Недавно мы создали свой собственный картографический сервис. Вы спросите — зачем, есть же готовые решения? Да, но для наших нужд они не подходят по ряду причин. Что это за причины и в чем уникальность нашей ГИС расскажем под катом. Статья будет интересна тем, кто занимается картографией и геоинформационными системами.
В этой статье я подробно расскажу как оформить сервер и поднять свой VPN на протоколе VLESS с XTLS-Reality, который выделяется на общем плане тем, что трафик шифруется и маскируется под подключение к популярным сайтам (доменам), тем самым станет тёмной лошадкой для ТСПУ.
Привет, Хабр! Мы в HFLabs не унываем продолжаем исследовать тему российских адресов. Уже рассказывали о том, почему нельзя просто взять и выгрузить список городов из Государственного адресного реестра (ГАР), и разбирались, что представляет собой нормативка по адресам.
А сегодня я расскажу, как один и тот же объект может иметь различные написания адреса. Такие разночтения заставляют делать ручной разбор адресов, а в некоторых случаях и вовсе рушат аналитику. Дальше будет о том, в чём причина и что с этим делать.
Мы делаем карты 2ГИС реалистичными, чтобы приложение максимально детально отражало город вокруг: чтобы у зданий были не гладкие стены, а настоящий фасад, в парках росли деревья и стояли лавочки, а скульптуры выглядели точно так же, как и в реальности. Такая реалистичность помогает в навигации: гораздо проще сравнивать то, что ты видишь в реальности, с моделью этого здания, а не с гладкой коробкой. Поддержка освещения объектов, которую мы добавили на 2gis.ru — ещё один шаг к реалистичности.
Расскажу, чего мы добились на сегодня, на какие компромиссы пришлось пойти и чуть-чуть о том, что под капотом движка освещения и теней.
Наши океаны огромны, и по мере удаления от суши вопрос о владении водами становится всё менее прозрачным, что упрощает сокрытие множества угроз — от разливов нефти и химических веществ до демонтажа судов и незаконного рыболовства. Эти виды деятельности представляют опасность для экосистем океана, содержащей миллионы уникальных видов, для пищи, которую мы употребляем, и для воды, которую мы пьем. В этой статье мы обсудим некоторые экологические угрозы для наших океанов и то, как можно использовать методы OSINT (открытая разведка на основе общедоступных данных) для выявления, раскрытия и устранения этих угроз. Техники OSINT, в сочетании со спутниковыми снимками, отслеживанием судов и анализом данных из социальных сетей, помогают нам создать более полную картину происходящего.
Угрозы
Демонтаж судов включает разборку кораблей на части для последующей продажи, что приносит крупную прибыль — порядка 3-10 миллионов долларов за одно судно. Однако этот процесс несет серьезные экологические и медицинские риски, так как такие опасные химические вещества, как ртуть, свинец, асбест и серная кислота, часто попадают в воду и почву, представляя угрозу как для рабочих, так и для дикой природы. Большинство развитых стран приняли законы, ограничивающие опасные практики демонтажа судов, но некоторые компании, стремясь к максимальной прибыли, пытаются обойти эти правила, используя такие тактики, как регистрация судов под "удобными флагами" или сокрытие маршрутов в места демонтажа, где законы либо слабы, либо отсутствуют. Судоразборочный завод в Аланге (Индия) считается одной из крупнейших кладбищ судов, протяженностью около 8,7 миль вдоль побережья и насчитывающим 183 площадки для демонтажа. В журнале Chemistry World приводятся следующие данные:
Кейс о том, как завышенная самооценка, понты и нелепые ошибки выдали цифровой след и реальное местоположение OSINT-методами скамеров укравших 243 млн. $ у кредитора Genesis...
Анализ данных на уровне муниципалитетов осложняется преобразованиями структуры территориальных единиц: меняются не только границы, но и типы муниципалитетов, названия, код ОКТМО. Это нужно учитывать в ходе исследований и при использовании информации, например, при работе с Базой данных показателей муниципальных образований Росстата. Открытых машиночитаемых данных о таких преобразованиях нет.
Меня зовут Артём Кушлевич, я геоаналитик из команды СберИндекса. В этой статье расскажу, о каких нюансах муниципальных данных нужно знать аналитикам, как мы сделали пространственный слой муниципалитетов с историей версий и разработали справочник преобразований, который можно использовать для построения непрерывных временных рядов. Эта информация может помочь:
— геоаналитикам, заинтересованным в данных о границах муниципальных образований;
— исследователям, которые работают с муниципальными данными (в первую очередь с Базой данных показателей муниципальных образований Росстата (БДПМО));
— при проектировании БДПМО 2.0.
OSINT (Open Source Intelligence) — это разведка на основе открытых источников информации. В США OSINT играет важную роль в деятельности разведывательного сообщества, включая такие организации, как ЦРУ, ФБР и Агентство национальной безопасности (NSA). Основные цели OSINT:
Сбор информации из открытых источников: СМИ, социальные сети, публичные базы данных, форумы, правительственные отчёты и другие общедоступные ресурсы.
Анализ и корреляция данных: Превращение собранной информации в полезную разведывательную информацию через анализ, сопоставление и выявление паттернов.
Поддержка принятия решений: Обеспечение актуальной информацией для стратегических и тактических решений в области национальной безопасности.
Инструменты и методы, используемые в OSINT:
1. Социальные сети и мониторинг СМИ:
Maltego - https://www.maltego.com
TweetDeck - https://tweetdeck.twitter.com
Hootsuite - https://hootsuite.com
Social Searcher - https://www.social-searcher.com
CrowdTangle - https://www.crowdtangle.com
BuzzSumo - https://buzzsumo.com
Brandwatch - https://www.brandwatch.com
Talkwalker - https://www.talkwalker.com
Mention - https://mention.com
Netvibes - https://www.netvibes.com
Meltwater - https://www.meltwater.com
Dataminr - https://www.dataminr.com
Twint - https://github.com/twintproject/twint
Screaming Frog - https://www.screamingfrog.co.uk
Tineye - https://tineye.com
OSINT Framework - https://osintframework.com
Spyse - https://spyse.com
Pipl - https://pipl.com
Shodan - https://www.shodan.io
Foca - https://elevenpaths.com
В статье на сегодня пойдёт разговор про OSINT на территории Европы.
Тема обширная, европа разношерстная, стран много, людей много, менталитет местами разный.
Перед прочтением этой статьи скажу, что это только начало и даже не верхушка айсберга, а его самая верхняя точка.
Итак, начнем с GEOINT и его основ.
Часовые пояса
Континент Европа разделен на следующие часовые пояса:
Часовой пояс Азорских островов (UTC-1);
Западноевропейский часовой пояс / Часовой пояс по Гринвичу/
Ирландский часовой пояс (UTC+0);
Центрально европейское время (UTC+1);
Восточноевропейское время (UTC+2);
Калининградский часовой пояс (UTC+2);
Восточноевропейский часовой пояс и Московский часовой пояс (UTC+3).
Часовой пояс достаточно сильно сужает объем мест поиска.
Так например, если вам попалась фотография с метаданными (что с одной стороны редкость, а с другой реальность), то в ней может быть прописано дата её создания или редактирования. Эта дата обычна указана в формате timestamp - это формат хранения даты и времени с учетом часового пояса.
Кстати, чтобы вы знали, для метаданных есть куча онлайн и офлайн утилит для их просмотра.
К примеру exiftool, вот пример её работы.
Когда разработчики автономных транспортных средств доказывают безопасность своих беспилотных автомобилей, они часто делают упор на тестирование в симуляции. Типичные заявления звучат примерно так: «Наш автомобиль проехал X миллиардов миль в симуляции». Из таких абстрактных фраз трудно понять, что такое симулятор и как он работает.
