База IP мобильных операторов

[Cougar]

Спасибо. Хороший, годный пост. Я вот не далее как позавчера думал, что делать с юзерами, у которых айпишники не обнаруживаются в базе IP2City по Украине.
А тут ррраз — и хоть и частичное, но решение :)

[Flying]

Спасибо, хотя для меня эта тема уже перестала быть актуальной, но уверен что для многих данная информация будет очень полезна.

[pavel_manylov]

Сам делал обновление баз, кому интересно — опишу общий ход:
1)берём изначальную базу
2)проходимся whois по одному ip из диапазона, выдираем 2 буквы страны и сетевое имя
3)пишем всё полученное в базу + id текущего оператора

при прихоже неизвестного юзера:
1)смотрим, есть ли ip юзера в базе
2)смотрим нет ли юзера в игнор-листе(см ниже)
3)делаем whois: если в полученной в предыдущем разделе базе есть такая связка страна+сет. имя, то добавляем диапазон в базу. Нет — добавляем диапазон в игнор-лист.

Показала такая система себя с лучшей стороны, единственное что:
1)не забываем что whois сервер не один и нет такого сервера где есть данные о всех ip
2)между запросами к одному whois делаем задержки — был в личной практике факт блокировке arin'ой ip сервера из-за большого кол-ва подобных запросов

p.s. всё это писалось не для себя, так что выложить не могу, но думаю после расписания как и что каждый сможет сделать.

[Unkn0wn]

Нужно еще иметь хорошо посещаемый вап сайт :)

[pavel_manylov]

ккхм))))

[fStrange]

или достаточно логов с посещаемого :)

[Unkn0wn]

Тоже верно. Но лучше ставить этот скрипт на вооружение на длительное время, постоянно сверяя айпи по своей базе и выискивая неизвестные.

[Q2W]

Могу погрепать логи вап-поисковика (wap look) за несколько лет на предмет айпишников, если надо.

[pavel_manylov]

Было бы оочень полезно

[Q2W]

Собственно вот: wapl.ru/stat-ips-all-uniq.lst
Тут вроде все уникальные айпишники из логов поисковика с 2005-го года в виде списка, разделённого переводами строки. Получилось неожиданно много — 17 Мб.

[aigyz]

Очень интересные данные к размышлению..) Теперь мы(обычные потребители сотовой связи) сможем хоть «ответить» «ОпСоС»ам...!

[Unkn0wn]

Это вы к чему? И чем ответить то? )

[aigyz]

Ответить «есть чем» всем...!

[kabachok]

грибы?

[ernt]

Вы уверены, что в принципе можно точно определить страну по оператору? Вот пользовался я Tele2, был IP шведский, перешёл на Bite – стал литовский. Сам как жил в Риге, так и живу :)

[fStrange]

точно не определить, но в большинстве случаев такой задачи и не стоит
вполне достаточно определить проц 90-95, на хорошей базе это реально

[pavel_manylov]

Ну что могу сказать — это оператор (tele2), который есть и в литве и в латвии и в шведции, так что… Хотя когда я разбирался в этом вопросе, в whois данных встречал и литву и латвию и (ну вы поняли), не думал что такая проблема есть. Мб сеть объединена и в случае недостатка ip, выдаётся ip из диапазона того же оператора, но другой страны?

[fStrange]

скорее всего вариант проще
оператор по каким то внутренним причинам перераспределил Айпи

забрал допустим несколько адресов из региона где мало абонентов в развивающийся регион

[sergpenza]

Мне кажется массив был бы гораздо удобнее в использовании, если бы ip были преобразованы через ip2long

[pavel_manylov]

С ip2long имеются известные проблемы… посмотрите на php.net.
Да и в любом случае хранить в таком статичном виде глуповато — лучше писать в базу и делать поиск уже по базе.

[sergpenza]

Ради такого объема информации нет смысла ворошить базу данных

[pavel_manylov]

Есть, если у вас к оператору есть привязка других данных и база не статичная, то безусловно есть.

[sergpenza]

Это да. Согласен.

[pavel_manylov]

плюс это позволит достаточно просто анализировать данные, поступающие в базу — одним sql запросов, например, можно будет отгруппировать по имени оператора смс-сообщения за определённую услугу…

[Unkn0wn]

Добавил и такой вариант.

[mrgall]

Подкорректируйте бренды украинских операторов:
«UMC» -> «МТС»
«WellCOM GSM» -> «BeeLine»

[pavel_manylov]

Кстати насчёт названий, очень часто ip диапазоны составляют для того, чтобы выдавать нужные данные для работы с биллингом и в популярных биллингах, не знаю к сожалению или радости, переименовывать страны не спешат.
Тут есть хороший выход — делать «алиасы», тут уже всё зависит от внутренней реализации работы скрипта, конечно.

[pavel_manylov]

s/страны/имена операторов/

[Unkn0wn]

Добавил.

[x_spam]

вы меня конечно извините, но это не база, а первая ее страничка, если кому-то нужно завтра могу найти и выложить полную версию, по странам всей Европы.

[Unkn0wn]

Первая. И единственная. Я ясно написал откуда берутся данные.
Если есть более полная база, которая еще и обновляется — выкладывайте конечно.

[pavel_manylov]

Дак ты не понимаешь чтоли? Берём каждый диапазон, делим на два и вуаля — база в 2 раза больше! :)

[Nc_Soft]

Есть вариант получше
www.logofon.ru/xml/ips.xml

[Unkn0wn]

Хороший вариант. Что в ней только означает параметр mode не вкурсе?

[Nc_Soft]

могу лишь предположить, что за этих опсосов они $ не платят в программах разделения трафика.

[cherry]

Жгете, граждане…
Закрою вот вашему боту доступ — кирдык парсеру.
Нет что б спросить — может, мы бы и сами с выгрузкой XML/CSV поторопились.
Черте что! Кто каталог компаний «импортировал» и у себя выложил, кто базу IP.

[Unkn0wn]

А Вы, выкладывая ее в свободный доступ, следите за тем что бы эту информацию никто не использовал?

[cherry]

Мы ее выкладываем специально для того, что б ее использовали.
Использовать и импортировать, конвертировать, распространять и т.д. — вещи разные.
Я понять не могу — почему спросить сложно.
Впрочем, это момент не принципиальный — не буду же я, в самом деле, роботов ловить.
Вот если бы Вы сначала спросили — знали бы о существенных недостатках этой самой базы, о том что на данный момент не разобрано еще несколько тысяч IP-адресов мобильных устройств. И — могли бы не просто слямзить и выложить, а принять участие в ее формировании.

[Unkn0wn]

Я честно указал откуда берутся данные :-)
А не спрашивал потому, что шанс быстрого реагирования очень низок, а мне нужно было в тот же день.
Я от одного знакомого уже месяц жду доработки небольшого функционала :)
А что касается помощи в формировании обновленной базы то давайте обсудим в привате, я не против.

[AntonioK]

Нельзя ли вернуть работоспособность ссылкам?..

[Unkn0wn]

Вернул. Что то я не понял правда почему они были удалены.

[bakhirev]

И вновь удалены, вернете?