Как стать автором
Обновить

Азиатский интернет-регистратор APNIC обнаружил около 50 млн неиспользуемых IPv4-адресов

Время на прочтение2 мин
Количество просмотров7K
image

APNIC, региональный регистратор интернет-адресов для Индии, Китая и 54 других стран Азиатско-Тихоокеанского региона, выявил около 50 млн неиспользуемых адресов IPv4. Анализ провели после того, как выяснилось, что часть организаций в регионе не готовы перейти на IPv6.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии12

Дуров допустил продажу никнеймов в Telegram с помощью смарт-контрактов на базе TON

Время на прочтение3 мин
Количество просмотров2.5K

Павел Дуров рассказал о своих впечатлениях от аукциона wallet-имён TON. Он допустил, что создаст маркетплейс, на котором будут продавать никнеймы в Telegram за криптовалюту с помощью смарт-контрактов на базе криптовалюты TON.

Читать далее
Всего голосов 9: ↑8 и ↓1+7
Комментарии5

Как мы создавали адресный справочник Ростелекома

Время на прочтение12 мин
Количество просмотров9.7K
Зачем Ростелекому знать про адреса все и даже немного больше?

Интернет, при всем своем цифровом имидже, штука, созданная в аналоговом мире. И до сих пор для того, чтобы в доме был высокоскоростной интернет, к дому должен быть физически подведён кабель.

Именно адрес дома является ключевым объектом идентификации в многоступенчатом процессе предоставления услуг Интернета.

Адрес возникает в момент, когда клиент звонит к нам в Ростелеком с вопросом, можно ли подключить интернет. Оператору нужно знать адрес клиента, чтобы проверить, проведён ли к дому кабель с интернетом. Адрес используется вплоть до этапа сопровождения и обслуживания действующего клиента. При обращении в службу технической поддержки по адресу клиента проверяется, является ли проблема локальной, или авария массовая и проблема затронула целый квартал.

И конечно, на каждом шаге процесса важна скорость ответа клиенту.

В этом посте мы расскажем о том, насколько важен для наших внутренних систем адрес клиента, почему ФИАС — не панацея, и для чего был создан Единый паспорт дома.
Читать дальше →
Всего голосов 19: ↑16 и ↓3+13
Комментарии9

Google продвигает новый стандарт WebBundles — потенциально опасную для веба технологию «упаковки» веб-сайтов

Время на прочтение5 мин
Количество просмотров49K
В общем потоке новостей остался незамеченным совместный призыв продукт-менеджера Chrome Кенджи Бахе и веб-консультанта Google Юсуке Уцуномии об использовании нового стандарта Web Bundles, разработанного Google. На chromium.googlesource появился соответствующий мануал по использованию WebBundles и, собственно, особо о нем больше не говорилось. Запись от лица Базе и Уцуномии была опубликована еще в ноябре 2019 года, но вызвала реакцию сообщества только сейчас, и то, исключительно на нескольких профильных площадках и в одном блоге, посвященном кибербезопасности.



Чем так опасна технология «упаковки» содержимого веб-страницы в один источник, что это вообще такое, и почему команда веб-разработки Google ступает на очень скользкую дорожку, давайте разбираться ниже.
Читать дальше →
Всего голосов 89: ↑81 и ↓8+73
Комментарии94

Пока, ФИАС! Рассказываем, как устроен адресный справочник ГАР

Время на прочтение10 мин
Количество просмотров80K

1 сентября 2021 года ФНС перестала обновлять свой адресный справочник в формате ФИАС. Относительно новый ГАР внезапно стал единственным государственным адресный реестром, доступным общественности. Рассказываем, что из себя представляет новый справочник и чем он отличается от ФИАС.

Читать далее
Всего голосов 25: ↑22 и ↓3+19
Комментарии18

Нормализация адресов, ГАР ФИАС и Адрессарий

Время на прочтение7 мин
Количество просмотров11K

Как известно, один и тот же адрес можно написать различными текстовыми способами, используя сокращения, перестановку, вариации наименований и т.п. Встаёт вопрос: существует ли процедура нормализации, отождествляющая реально одинаковые и по-разному записанные адреса?

Ответ положительный, чему и посвящена данная статья.

Какие средства в принципе есть для решения задачи? Их сейчас два: выделение именованных сущностей (NER) и объекты ГАР ФИАС. NER даёт разбиение на адресные элементы и их нормализацию, ГАР ФИАС может дать уникальные идентификаторы. Задача решается, если в качестве нормализации взять множество строк из возможных нормализаций наименований элементов, добавив к ним GUID-идентификаторы ГАР, если получится. Два адреса эквивалентны, если хотя бы одна строка из множеств таких их строк совпадает.

А одними объектами ГАР ФИАС можно обойтись, используя только их идентификаторы? Конечно, нет. Во-первых, это не полный классификатор, особенно в части помещений и строений, хотя и постоянно пополняемый. Во-вторых, в адресах бывают специфические элементы, которые в ГАР отсутствуют (например, Московская область, Можайский район, примерно в 0,1 км по направлению на юг от ориентира середина д.Бараново, или пересечение улиц).

Итак, утверждается, что невозможно обойтись для адреса только одной нормализованной строкой для отождествления в общем случае. Но если таких строк будет несколько, причём сформированных определённым образом, то отождествление будет с очень высокой вероятностью.

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Комментарии16

Нельзя просто взять и сделать нормальную адресную систему в приложении

Время на прочтение8 мин
Количество просмотров4.8K

Олды помнят, как ещё каких-то 10-15 лет назад заказывали пиццу по телефону, диктуя адрес операторам кол-центра. Мало кто тогда думал, что отсутствие подсказок адресов и карты на сайте с определением геолокации, а уж тем более в мобильном приложении, будет вызывать у нас реакцию «да сложно, что ли, нормальную карту сделать?».

Но вот мы здесь, рассказываем, как в Додо Пицце лишь недавно появилась уже привычная многим адресная система. Как так вышло — история долгая и не всем интересная. Скажу только, что переделывать и менять как-то работающее старое на новое в большой системе — тот ещё квест. В итоге нам пришлось зарыться достаточно глубоко во внутренности Dodo IS, чтобы можно было добавлять адреса с помощью карты. В этой статье расскажу, с чего мы начинали и как реализовали эту фичу в нашем iOS-приложении.

Читать далее
Всего голосов 23: ↑21 и ↓2+19
Комментарии9

КЛАДР умер, да здравствует ФИАС?

Время на прочтение1 мин
Количество просмотров85K
Уважаемые коллеги, которые сталкивались с классификатором адресов Российской Федерации КЛАДР знают, насколько это странная база (в первую очередь своей структурой), а также большим количеством неточностей в самих данных.

В 2011 году за дело взялась ФНС, которая начала разрабатывать новую единую базу Федеральной информационной адресной системы (ФИАС) для того, что бы покончить с адресным бардаком, царящим среди различных ведомств.
Читать дальше →
Всего голосов 107: ↑103 и ↓4+99
Комментарии119

У семи программистов адрес без дома

Время на прочтение4 мин
Количество просмотров97K
Привет, Хабр!

Мы в HumanFactorLabs парсим адреса в особо крупных размерах. Наши продукты упрощают ввод контактных данных и работу с ними.

За 10 лет работы в результате анализа многочисленных исключений в российских адресах мы выработали правила хранения адресов, при соблюдении которых вы не потеряете важную информацию.

Недавно на Хабре нас попросили привести примеры необычных адресов, в связи с чем и написана эта статья.
Читать дальше →
Всего голосов 104: ↑101 и ↓3+98
Комментарии211

Данные бывают смешными (и вот примеры)

Время на прочтение4 мин
Количество просмотров23K


Мы в HFLabs перелопачиваем колоссальное количество данных: адреса, ФИО, реквизиты компаний, документы. Весь год писали о сложных и полезных штуках, но пора и честь знать. Перед праздниками — подборка смешных данных, что нам принес 2018-й.
Читать дальше →
Всего голосов 49: ↑49 и ↓0+49
Комментарии69

Сделали «ФИАС» на основе ГАР. Пока он открыт для всех. Подойдет вместо почившего справочника ФНС

Время на прочтение2 мин
Количество просмотров10K

Если у вас есть учетные системы, которые работают на ФИАСе и не понимают ГАР, вы можете бесплатно получать обновления у нас. Ссылка внутри поста.

Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии12

Как перейти от КЛАДР к ФИАС и ничего себе не сломать

Время на прочтение7 мин
Количество просмотров107K
ГНИВЦ ФНС сообщает, что с начала 2018 года КЛАДР перестанет существовать и скачать его будет нельзя.

Дисклеймер:
Если вы совсем не поняли, что означают эти наборы букв, ничего страшного. Ниже мы расскажем о реалиях работы с адресами в России. Если вам это неинтересно, почитайте про топографические каламбуры.

Правильные адреса нужны компаниям, которые любят своих клиентов. Знакомые банки, страховые и интернет-магазины, которые сейчас используют справочник КЛАДР, спрашивают нас, что же делать дальше. Поэтому мы запарились и написали пошаговое руководство по переходу с одних букв на другие от КЛАДР к ФИАС.


Поехали!
Всего голосов 24: ↑24 и ↓0+24
Комментарии26

Что можно узнать о квартире из открытых справочников

Время на прочтение6 мин
Количество просмотров59K


Госструктуры выкладывают в интернет справочники с десятками гигабайтов информации. Если знать где искать, можно легально собрать данные о квартирах в промышленных масштабах.

Базы с индексами и районами городов тоже открыты. Бонусом я расскажу, как найти эти части адреса, если их не хватает.

Все справочники из этой статьи бесплатны и открыто лежат в интернете. Ни один не украли из ФСБ таинственные хакеры.
Шагнуть в мир открытых справочников
Всего голосов 62: ↑61 и ↓1+60
Комментарии24

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР

Время на прочтение8 мин
Количество просмотров16K


С 1 января ФНС перестанет обновлять адресный справочник КЛАДР. Он официально устареет, останется один ФИАС. Но многие промышленные системы до сих пор работают с КЛАДР. Поставщики не собираются их обновлять, а переделывать своими руками бизнесу выходит долго и дорого.

Мы послушали клиентов и придумали решение: взять ФИАС, который живее всех живых, и написать перекодировщик в КЛАДР.

Со стороны задача кажется легкой. Нам так и говорили: «То есть вы просто берете ФИАС и переделываете в КЛАДР?». На деле никакого «просто» нет. У справочников совсем разные структуры и непонятно, как из подкачанного ФИАС раскидать данные в неказистый КЛАДР. При этом общей документации для справочников нет.

Это было веселье, которым мы сейчас щедро поделимся.
Читать дальше →
Всего голосов 41: ↑39 и ↓2+37
Комментарии11

Свободные IPv4-адреса закончатся уже совсем скоро

Время на прочтение2 мин
Количество просмотров23K
image
Количество ip-адресов по странам

Американский регистратор интернет-номеров ARIN, выдающий блоки ip-адресов в Северной Америке, предупреждает, что крупные блоки свободных адресов закончатся буквально через несколько недель. Уже скоро они вынуждены будут отказывать провайдерам, обращающимся к ним за новыми блоками.

Мы все в последние несколько лет слышали о том, что пространство IPv4-адресов конечно и свободные адреса скоро исчезнут. Во времена разработки первых версий интернет-протоколов никто не ожидал такого распространения сети.

Сначала адресация происходила по «классам» адресов, где существовало три класса – A, B и C. Класс А состоял из 128 сетей по 16777216 возможных хостов (устройств) в каждой, класс B – 16384 сетей по 65536 узлов, а класс C — 2097152 сетей по 256 компьютеров. Естественно, достаточно крупный университет, ожидавший, что в его сети есть или скоро будет более 256 компьютеров, забирал себе сети класса B, и в результате адреса стали быстро заканчиваться. Можно было бы выдавать им несколько сетей класса C, но таблицы маршрутизации роутеров были бы слишком большими.
Читать дальше →
Всего голосов 28: ↑21 и ↓7+14
Комментарии54

Пошел ты на три веселых слова! Новое геокодирование и what3words.com

Время на прочтение4 мин
Количество просмотров23K


В 2013 году два айтишника и музыкант собрались и подумали: давайте разобьем всю Землю на квадраты, а потом пометим каждый квадрат тремя словами. И разбили. И пометили.

Получился бесплатный сервис what3words.com, который замахнулся на революцию в геокодировании. Ребята уверяют, что почтовые адреса и координаты не годятся для повседневной жизни. Пора от них отказываться там, где возможно.
Почтовый адрес GPS-координаты Адрес What3words
Россия, Москва, Турчанинов переулок,
д 6 стр 2
55.737208, 37.597091 Именины.птичий.туннель
Казалось бы, таких революционеров пруд пруди, но у what3words.com есть важное отличие: сервис взлетел. Им пользуются автопроизводители вроде Land Rover, правительства африканских стран и даже ООН.
Читать дальше →
Всего голосов 45: ↑41 и ↓4+37
Комментарии52

Как устроены адресные подсказки «Дадаты»

Время на прочтение6 мин
Количество просмотров16K


«Дадата» с 2014 года пилит «Подсказки». Они помогают быстро и без ошибок вводить контактные данные: адреса, реквизиты банков и компаний, емейлы — вот это все.


Штука устроена затейливо, и мы решили о ней рассказать. Возьмем подсказки по адресам, потому что они самые сложные.


Справочники и индексация


«Подсказки» знают, что подсказывать, потому что у них есть гигантские справочники. Хоть статья эта о подсказках по адресам, для пользы дела перечислю и другие справочники «Дадаты».


Читать дальше →
Всего голосов 37: ↑37 и ↓0+37
Комментарии10

Операции над IPv6-адресами — краткий экскурс

Время на прочтение4 мин
Количество просмотров7.7K

Данная статья является переводом конкретного раздела, описывающего базовые операции над IPv6-адресами из учебника CCNA 200-301 Volume 1 от автора Wendell Odom.

Мы рассмотрим такие операции как:

1. Сокращение IPv6 адресов
2. Нахождение части подсетей IPv6-адреса
3. Научимся понимать механизм по автоматической выдаче IPv6 адресов на основе MAC-адреса хостов

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии11

Из-за бага на Reddit к ссылкам можно добавлять оскорбления

Время на прочтение1 мин
Количество просмотров2.2K

Ошибка Reddit позволяет добавлять оскорбления в URL-адреса на платформе, и эти адреса иногда появляются в выдаче Google.

Читать далее
Всего голосов 8: ↑8 и ↓0+8
Комментарии3

Запустили проект с НСИС по повышению качества данных

Время на прочтение2 мин
Количество просмотров236

НСИС — оператор единой автоматизированной информационной системы (АИС) страхования — и HFLabs начали проект по работе с адресными данными.

НСИС получил от владельцев различных информационных систем большой массив накопленных исторических данных. Данные, загружаемые в АИС страхования, уже на входе подвергаются строгому контролю — в том числе адресные данные на соответствие структуре Государственного адресного справочника (ГАР), который выпускает Федеральная налоговая служба.  

В ходе пилотного проекта НСИС и HFLabs с использованием программного обеспечения «Фактор» проанализировали около 5 млн записей о договорах страхования жилья, в которых адреса были переданы текстовой строкой. Задачей «Фактора» было проанализировать их и структурировать по компонентам (страна, город, улица, дом и т. д.) в соответствии с ГАР. В результате работы «Фактора» удалось успешно восстановить до полного адреса по ГАР 88% строк. 

Читать далее
Всего голосов 1: ↑2 и ↓-1+3
Комментарии1
1