Pull to refresh
119
Karma
0
Rating
Илья Зверев @Zverik

User

Как саботировать данные, которые технологические гиганты используют для слежки за вами

Открыл статью, чтобы узнать, как саботировать собираемые данные, а получил абстрактные размышления, как не пользоваться сервисами, собирающими данные :(

Опубликовано открытое письмо в поддержку Столлмана

Интересно, что письмо против Столлмана подписывают «бывший член правления FSF», «директор OSI», «член фонда Python», «сотрудник CCC», «член комитета Kubernetes», «совет директоров X.Org» и так далее и так далее. Люди с организациями за спиной. А письмо «за» — безымянные AlphaHot, nukeop, ivanka2012, Phate6660, fuuon и прочие. Видимо, потому что вписываться за токсичного человека моветон не только для организаций, но даже для обычных людей.

Малышка на миллион. Сковиллей

Интересующимся темой поедания острых перцев советую сериал Netflix «We Are The Champions»: во второй серии они соревнуются, кто съест самый адский перец.

Возможности SQLite, которые вы могли пропустить

Не думаю, что в прод кто-то собирает sqlite из исходников. Ею пользуются зачастую именно потому, что она уже есть собранная. Вчера проверял расширения на всех своих серверах, включая один, не обновлявшийся с 2015 года, и RTREE включен везде: и в консоли, и в python.

Загадочные субтитры на CNN

Видел таких стенографистов на американской конференции State of the Map. Сидели на втором-третьем ряду и невозмутимо писали, смотря вперёд перед собой. На сайте конференции в этот момент в прямом эфире шёл текст из речи докладчика. Ощущалось… как будущее.

История Dizzy

Недавно мне о Dizzy напомнил этот демейк на pico-8: https://www.lexaloffle.com/bbs/?tid=29388

Копирайтинг и дизайн табличек для милостыни. Обзор научных исследований

Вместо того, чтобы взять табличку и посидеть на улице пару часов, студенты поговорили с другими студентами, пообсуждали картинки.

В Microsoft Flight Simulator из-за опечатки появился несуществующий 212-этажный небоскреб

Написал немного про использование OpenStreetMap в этом симуляторе: http://shtosm.ru/all/flight-simulator/


Мы смотрим на отдельные места и достопримечательности и видим, что они не идеальны. А 99,9% окружающих зданий сделаны достаточно точно. Видно, что картой в MSFS занимались не картографы, а OSM обрабатывали люди, знания которых об OSM очень поверхностны. Могло быть и лучше — но на этом этапе просто хорошо, что к проблемам привлекают внимание.

Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды

Минск — раньше (осенью) карта погоды была относительно правдивая, сейчас (последние три недели) дожди вообще не соответствуют. На улице ливень — на карте сухо. И наоборот.

Петербург против Парижа: как музеи пополняют и как уменьшают общественное достояние

А в статье речь не про создание копии и её коммерческое использование?

Петербург против Парижа: как музеи пополняют и как уменьшают общественное достояние

Вот это важный комментарий: кажется, что «коммерческое использование» очень узко, а на самом деле оно закрывает почти всё, любую демонстрацию, даже членам семьи.

Петербург против Парижа: как музеи пополняют и как уменьшают общественное достояние

Не знаю насчёт русских музеев, но в Беларуси и в Европе ни разу не видел запрета на фотографирование. Даже наоборот, часто приглашают фотографировать, чтобы попиарить экспонаты и завлечь людей.

Кирилл Бондаренко: «OSM долго рос в ширину и продолжает это делать, теперь настало время высоты и объема»

Про совет — явная ложь, которая проверяется гуглем. Совет русского OSM с 2010 года не раз предлагали и обсуждали десятки людей: KekcuHa, Максим, мы с тобой. Мне пофиг на управление, но я не люблю, когда одна и та же тема поднимается много лет без решения. Поэтому всё, что я сделал, — открыл приём участников. По организации совет равноправный, как там можно захватить власть (и тем более, как он может получить какую-то власть в проекте), — это ты объясни.


Задача у него была простая: решать вопросы, которые не решаются спорами на форуме. На странице Совета всё описано в две строчки. Это мы делали довольно успешно, пусть и всех пинать приходилось. Если тебе хотелось поиграть в боярина, нужно было сразу сказать.


Ну и «в первую очередь, надоело Илье» — не понимаю, почему я у тебя в первую очередь. Почему не «в первую очередь, мне надоело». Ставить других вперёд себя в общественном проекте безответственно.

Артем Светлов: «Каждый день на работе я вижу, как OSM помогает самым разным компаниям»

Там есть хитрость: чтобы поправить тег name, нужно изменить одновременно русское и английское название.

Как вырезать сабсет города (любого отношения) из OSM данных

А почему обрабатываете файлы osm с нуля, а не загружаете данные в базу с помощью osm2pgsql? Там все эти мелкие проблемы давно решены, плюс получите обновления в реальном времени и выборки данных по тайлам.

Как вырезать сабсет города (любого отношения) из OSM данных

Основные преимущества — размер и бинарный формат. За их счёт чтение выполняется на порядок быстрее. Для кода разницы вообще никакой, особенно если используете библиотеку типа osmium или любую другую, умеющую в protobuf. Альтернативный вариант — xml, сжатый с помощью bzip2, но это тоже теперь считается медленно и вдвое больше pbf.


Небольшие датасеты в процессе работы имеют тенденцию вырастать — например, «хорошо Кишинёв сделал, а можешь то же самое на всех остальных городах».


Ковыряться в геоданных в текстовом редакторе просто не нужно. XML в саблайме — это совсем не легко и быстро. Это бороться с тонной визуального мусора и держать в голове всю структуру. Зачем, если можно открыть файл в JOSM (который умеет и pbf, если подключить одноимённый модуль) и пользоваться и визуальным отображением, и супер-мощным поиском-фильтрацией, и редактором, наконец.

Как вырезать сабсет города (любого отношения) из OSM данных

Ох ужас какой. Osmosis старый, дико медленный и вообще не поддерживается автором.

Современный и быстрый способ — использовать Osmium Tool. Аналог команды, которую привёл автор:

osmium extract -p kishinev.poly moldova.osm.pbf -o kishinev.osm

(Кстати, кто вообще в наше время использует несжатый текстовый формат osm xml? Есть же куча библиотек — тот же osmium — чтобы не мучаться.)

Ну так вот, а теперь к задаче, которая определена в заголовке, но про которую в статье молчок. Как вырезать кусок из файла OSM, определённый отношением границы внутри этого файла? В случае с osmium tool, понадобятся две команды: получить границу из отношения Кишинёва и вырезать данные по ней.

osmium getid -r moldova.osm.pbf r1748490 -o kishinev_boundary.osm
osmium extract -p kishinev_boundary.osm moldova.osm.pbf -o kishinev.osm.pbf

Всё по документации. Там ещё много интересного: преобразование форматов, фильтрация по тегам, получение данных на момент в прошлом, работа с файлами изменений и тому подобное. Osmosis нынче используют только и исключительно для автообновления базы osm2pgsql, да и то только потому, что альтернативу ещё не успели написать. Хотя для рендеринга уже есть скрипты на основе питоновского интерфейса к osmium.

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Works in
Date of birth
Registered
Activity