Предоставлен доступ к исходному коду для city-indexes.online. Собраны ответы на частые вопрос в одном месте.
Обновлений для пользователя немного - добавлены города Вологда, Новороссийск, Ульяновск, Париж и Ницца.
Основное - это открытый код для расчетов и самого сайта - City Indexes - GitLab.
Просканировать ископаемые: в МФТИ разработали импортонезависимый софт для нефтяников и золотодобытчиков
Предложенное сотрудниками МФТИ цифровое решение позволяет, обрабатывая полевые данные электроразведки, определить наличие залежей полезных ископаемых на исследуемом участке. Такой прогрессивный подход позволяет существенно снизить риски непродуктивного бурения в процессе добычи.
Все мы пользуемся или уж точно слышали о американской системе глобального позиционирования GPS или о отечественной ГЛОНАСС. Однако в Европе также появилась альтернативная система GNSS, которая позволяет не зависеть от сигналов спутников других государств. Давайте посмотрим, как она появилась и зачем Евросоюз вложил в неё уже больше 10 млрд долларов.
Привет, Хабр! На связи Настя Швецова, руководитель проектов управления исследований и разработки «МосТрансПроекта». Недавно мы создали свой собственный картографический сервис. Вы спросите — зачем, есть же готовые решения? Да, но для наших нужд они не подходят по ряду причин. Что это за причины и в чем уникальность нашей ГИС расскажем под катом. Статья будет интересна тем, кто занимается картографией и геоинформационными системами.
Привет, Хабр! Мы в HFLabs не унываем продолжаем исследовать тему российских адресов. Уже рассказывали о том, почему нельзя просто взять и выгрузить список городов из Государственного адресного реестра (ГАР), и разбирались, что представляет собой нормативка по адресам.
А сегодня я расскажу, как один и тот же объект может иметь различные написания адреса. Такие разночтения заставляют делать ручной разбор адресов, а в некоторых случаях и вовсе рушат аналитику. Дальше будет о том, в чём причина и что с этим делать.
Мы делаем карты 2ГИС реалистичными, чтобы приложение максимально детально отражало город вокруг: чтобы у зданий были не гладкие стены, а настоящий фасад, в парках росли деревья и стояли лавочки, а скульптуры выглядели точно так же, как и в реальности. Такая реалистичность помогает в навигации: гораздо проще сравнивать то, что ты видишь в реальности, с моделью этого здания, а не с гладкой коробкой. Поддержка освещения объектов, которую мы добавили на 2gis.ru — ещё один шаг к реалистичности.
Расскажу, чего мы добились на сегодня, на какие компромиссы пришлось пойти и чуть-чуть о том, что под капотом движка освещения и теней.
Наши океаны огромны, и по мере удаления от суши вопрос о владении водами становится всё менее прозрачным, что упрощает сокрытие множества угроз — от разливов нефти и химических веществ до демонтажа судов и незаконного рыболовства. Эти виды деятельности представляют опасность для экосистем океана, содержащей миллионы уникальных видов, для пищи, которую мы употребляем, и для воды, которую мы пьем. В этой статье мы обсудим некоторые экологические угрозы для наших океанов и то, как можно использовать методы OSINT (открытая разведка на основе общедоступных данных) для выявления, раскрытия и устранения этих угроз. Техники OSINT, в сочетании со спутниковыми снимками, отслеживанием судов и анализом данных из социальных сетей, помогают нам создать более полную картину происходящего.
Угрозы
Демонтаж судов включает разборку кораблей на части для последующей продажи, что приносит крупную прибыль — порядка 3-10 миллионов долларов за одно судно. Однако этот процесс несет серьезные экологические и медицинские риски, так как такие опасные химические вещества, как ртуть, свинец, асбест и серная кислота, часто попадают в воду и почву, представляя угрозу как для рабочих, так и для дикой природы. Большинство развитых стран приняли законы, ограничивающие опасные практики демонтажа судов, но некоторые компании, стремясь к максимальной прибыли, пытаются обойти эти правила, используя такие тактики, как регистрация судов под "удобными флагами" или сокрытие маршрутов в места демонтажа, где законы либо слабы, либо отсутствуют. Судоразборочный завод в Аланге (Индия) считается одной из крупнейших кладбищ судов, протяженностью около 8,7 миль вдоль побережья и насчитывающим 183 площадки для демонтажа. В журнале Chemistry World приводятся следующие данные:
Кейс о том, как завышенная самооценка, понты и нелепые ошибки выдали цифровой след и реальное местоположение OSINT-методами скамеров укравших 243 млн. $ у кредитора Genesis...
Анализ данных на уровне муниципалитетов осложняется преобразованиями структуры территориальных единиц: меняются не только границы, но и типы муниципалитетов, названия, код ОКТМО. Это нужно учитывать в ходе исследований и при использовании информации, например, при работе с Базой данных показателей муниципальных образований Росстата. Открытых машиночитаемых данных о таких преобразованиях нет.
Меня зовут Артём Кушлевич, я геоаналитик из команды СберИндекса. В этой статье расскажу, о каких нюансах муниципальных данных нужно знать аналитикам, как мы сделали пространственный слой муниципалитетов с историей версий и разработали справочник преобразований, который можно использовать для построения непрерывных временных рядов. Эта информация может помочь:
— геоаналитикам, заинтересованным в данных о границах муниципальных образований;
— исследователям, которые работают с муниципальными данными (в первую очередь с Базой данных показателей муниципальных образований Росстата (БДПМО));
— при проектировании БДПМО 2.0.
OSINT (Open Source Intelligence) — это разведка на основе открытых источников информации. В США OSINT играет важную роль в деятельности разведывательного сообщества, включая такие организации, как ЦРУ, ФБР и Агентство национальной безопасности (NSA). Основные цели OSINT:
Сбор информации из открытых источников: СМИ, социальные сети, публичные базы данных, форумы, правительственные отчёты и другие общедоступные ресурсы.
Анализ и корреляция данных: Превращение собранной информации в полезную разведывательную информацию через анализ, сопоставление и выявление паттернов.
Поддержка принятия решений: Обеспечение актуальной информацией для стратегических и тактических решений в области национальной безопасности.
Инструменты и методы, используемые в OSINT:
1. Социальные сети и мониторинг СМИ:
Maltego - https://www.maltego.com
TweetDeck - https://tweetdeck.twitter.com
Hootsuite - https://hootsuite.com
Social Searcher - https://www.social-searcher.com
CrowdTangle - https://www.crowdtangle.com
BuzzSumo - https://buzzsumo.com
Brandwatch - https://www.brandwatch.com
Talkwalker - https://www.talkwalker.com
Mention - https://mention.com
Netvibes - https://www.netvibes.com
Meltwater - https://www.meltwater.com
Dataminr - https://www.dataminr.com
Twint - https://github.com/twintproject/twint
Screaming Frog - https://www.screamingfrog.co.uk
Tineye - https://tineye.com
OSINT Framework - https://osintframework.com
Spyse - https://spyse.com
Pipl - https://pipl.com
Shodan - https://www.shodan.io
Foca - https://elevenpaths.com
В статье на сегодня пойдёт разговор про OSINT на территории Европы.
Тема обширная, европа разношерстная, стран много, людей много, менталитет местами разный.
Перед прочтением этой статьи скажу, что это только начало и даже не верхушка айсберга, а его самая верхняя точка.
Итак, начнем с GEOINT и его основ.
Часовые пояса
Континент Европа разделен на следующие часовые пояса:
Часовой пояс Азорских островов (UTC-1);
Западноевропейский часовой пояс / Часовой пояс по Гринвичу/
Ирландский часовой пояс (UTC+0);
Центрально европейское время (UTC+1);
Восточноевропейское время (UTC+2);
Калининградский часовой пояс (UTC+2);
Восточноевропейский часовой пояс и Московский часовой пояс (UTC+3).
Часовой пояс достаточно сильно сужает объем мест поиска.
Так например, если вам попалась фотография с метаданными (что с одной стороны редкость, а с другой реальность), то в ней может быть прописано дата её создания или редактирования. Эта дата обычна указана в формате timestamp - это формат хранения даты и времени с учетом часового пояса.
Кстати, чтобы вы знали, для метаданных есть куча онлайн и офлайн утилит для их просмотра.
К примеру exiftool, вот пример её работы.
Когда разработчики автономных транспортных средств доказывают безопасность своих беспилотных автомобилей, они часто делают упор на тестирование в симуляции. Типичные заявления звучат примерно так: «Наш автомобиль проехал X миллиардов миль в симуляции». Из таких абстрактных фраз трудно понять, что такое симулятор и как он работает.
Узнать истину, пролить свет на таинственные прошлые события и разгадать сложные загадки – вот что вдохновляет OSINT-исследователей. Одним из таких загадочных событий является выброс спор сибирской язвы в Свердловске.
— Этот инфекционный всплеск привел к смерти множества невинных жизней, оставив за собой множество неотвеченных вопросов. Однако, благодаря методам OSINT у нас есть возможность проникнуть в мир детективных расследований и разгадать тайну...
Привет, Хабр! Меня зовут Алексей Пустынников, я руководитель команды геоаналитики в банке ВТБ. Сегодня я хочу рассказать вам об интересном проекте, в котором участники конкурса «Большие Вызовы» решали сложные задачи в сфере геоаналитики и машинного обучения.
Представьте: лето, Сочи, море... А вы старшеклассник, которого внезапно приглашают не просто отдохнуть, а взяться за работу. Причём не за простую работу — вас ждут задачи с графовыми нейросетями, сложными моделями машинного обучения и анализом данных.
В этой статье я расскажу, как школьники справились с этим непростым испытанием и доказали, что молодежь способна удивлять.
В этом материале речь пойдёт о методике и наборе инструментов для определения местонахождения, маршрутов, владельца и проверок торгового судна за четыре простых шага.
Когда говоришь о крупном горнодобывающем предприятим, представляешь, что где‑то глубоко под землей есть полезное ископаемое, которое выкапывают, поднимают на поверхность, как‑то обрабатывают и везут в вагонах на другое предприятие. Если очень упрощать, то все верно, но это только вершина айсберга. Существует огромное количество вспомогательных, но от этого не менее важных процессов.
При оценке индекса доступности (школы, медицина, спорт и т. д.) теперь используются изохроны по пешеходным и автомобильным маршрутам. Это пожалуй самое большое изменении с момента запуска, но не единственное на сегодня для city-indexes.online.
Самый конец 2007 года. Моя первая работа. В зоне ответственности — служба поддержки и мобильные сотрудники в пяти филиалах в разных областях. Объехать всех и проконтролировать — невозможно. Оставалось одно: доверять. Доверять всем: самим сотрудникам (часть из которых за штатом), менеджерам, региональным менеджерам, руководителям филиалов. Надо ли говорить, что цепочка доверия рвалась на раз-два и приводила к потерям сил, а главное, денег компании. Компания была большая, по-настоящему амбициозная и 400-500 тыс. руб. потерь на филиал в квартал немножко очень сильно лишали меня премии и остатков самоуважения. Ну а мобильные сотрудники тем временем спокойно филонили, увлекались схематозом и умудрялись эти самые премии получать — до первого попавшегося. Мы были бессильны.
Сегодня все эти ситуации можно предотвратить при достаточно скромных затратах. И главное, как-то сразу возвращается доверие к людям.
GEOINT часто отнимает много времени, исследователи часами проводят время за просмотром фотографий, изучением спутниковых снимков и просмотром видов улиц.
Но, относительно недавно появился инструмент, позволяющий сузить область поиска — Shadow Finder (используя высоту объекта и длину его тени (или угол к солнцу), а также дату и время, этот код оценивает возможное местоположение по всему земному шару)
Начну с громкого заявления: я придумал способ найти точку пересечения двух отрезков, заданных координатами концов. Придумал давно, лет 7 назад, в 2017 году, примерно, да, путь к этой публикации был долог, в основном из-за лени.
И да, я его придумал потому что не смог нагуглить, может он где-то и без меня описан был, может за эти 7 лет кто-то написал что-то похожее, а может я придумал какую-то фигню, которую умные люди изобретать не станут...
