Вчера я протестировал базу GeoLite City от Max Ming. Это бесплатная версия базы, почти ничем не отличающаяся от платной версии. После изучения содержимого базы пришел к неутешительным выводам.
В базе немало ошибок в написаниях городов, часто попадаются разные варианты написания (например, Chelyabinsk и Cheliabinsk), вместо городов иногда пишут области, а иногда улицы. Но самая большая проблема, что названия всех городов написаны только в английском/местном варианте латиницей. Для использования на русскоязычных ресурсах такая база практически непригодна. Составить соответствие английских названий русским в автоматическом режиме практически нереальная задача по причинам, описанным выше. А использовать труд операторов для обработки порядка 180 000 локаций в базе могут позволить себе только довольно крупные компании. Ругательство базы GeoLite City можно найти еще на этом форуме.
[Интересно, а какие базы используют Google, Яндекс?]

Недавно мне пришлось иметь дело с программой для ведения статистики кликов некой системы обмена объявлений. При щелчке как обычно собиралась информация о клике (на какой странице произошло, во сколько, браузер, ИН объявления и IP). В представлении статистики состояла задача — узнать город из которого произошел переход. Раньше я этим не интересовался особо поэтому только сечас у меня началось более глубокое знакомство с GeoIP системами.

Кроме того как это удалось

Программный продукт, позволяющий определять город интернет пользователя по IP-адресу — CNGeoip. Продукт представляет собой бинарную базу содержащую распределение всех IP адресов по городам, странам, областям и программный интерфейс для работы с базой. Все географические названия доступны на латинице (общемировой стандарт и написание), национальном языке и русском языке.

Используя CNGeoip владелец интернет ресурса или сервиса может определить из какого города пришел посетитель и соответственно отреагировать, например поприветствовать «Привет Мурманску!», или «Ближайший наш сервис/магазин/отделение в Екатеринбурге расположены по адресу...». Особое значение информация о городе и стране посетителя приобретает при рекламном таргетинге, при анализе статистики посещений сайта. Таким образом владельцы ресурсов могут более точно позиционировать свои товары и услуги, получать дополнительную прибыль. Поэтому потенциальными клиентами являются практически все владельцы интернет-ресурсов.

Ну и как я обещал, кидаю ссылку хабранароду на полный дистрибутив текущей версии модуля географии CNGeoip. Ссылка «заэкспайрится» примерно через неделю.

www.cn-software.com/datastore.php?39f12204f8170a44e09d669a2ec0a865
ссылка действительна до 2008-05-28 20:19
Полное описание модуля есть на нашем сайте www.cn-software.com/ru/cngeoip

# Содержит русские и английские, в некоторых случаях национальные (Кiев) названия городов, областей и стран;
# Включенные в дистрибутив примеры ускорят разработку приложений;
# Минимальные системные требования — интерфейс напрямую работает с бинарным файлом базы данных;
# Элементарная установка — просто скопируйте файлы базы и API-интерфейса на свой сайт в любой каталог;
# Высокая скорость работы — до 500 обращений в секунду;
# Автономность и безопасность — модуль хранится у Вас на сайте и при работе не обращается к внешним источникам.

Для чего кидаю — для обратной связи, критики и пиара дополнительного. Почему не жалко — почему не жалко — жалко конечно. Но на самом деле модуль имеет ценность только при постоянном обновлении (хотя бы раз в месяц). Сети довольно часто меняются. Да и главная ценность здесь даже не продукт, а разработанная нами технология его получения.

Сейчас наша фирма ищет инвестора (знаете таких?) для развития модуля, учится с работать с инвесторами. Именно поиск новой информации, поиск рекомендаций от более опытных коллег, привели меня на хабр. Также присутствует желание дозированно поделится своим опытом создания и разработок программных продуктов.

Ну вот вроде для первого поста и хватит :)

Такая потребность может возникнуть при геотаргетинге информации, работе картографических сервисов, анализе статистики посещений сайта.

Задача решается следующим образом.

1. Выкачиваем и правильно складываем базы whois.
2. Для каждой подсети определяем город.
3. Пакуем базу в бинарный файл.

Но зачем это все делать самим, когда уже есть готовые решения. Одно из них (полную версию) я выкладываю сюда для теста и получения фидбэка.

Хочу представить свой проект WIPmania(WorldIP) — бесплатный геолокационный сервис, содержащий базу данных IP адресов всего мира, распределенных по странам, и онлайн API для доступа к ней.

Главное отличие WorldIP от всех других геолокационных сервисов — он предоставляет реальные физические расположения сетей, а не их владельцев (как представляет whois, на данных которого основаны все другие базы).

В связи с появившийся альтернативой базе MaxMind решил сравнить на сколько отличаются эти базы. Сравнивается именно отличия, а не правильность/неправильность определения.

Я уже представлял здесь несколько месяцев назад наш геолокационный проект WIPmania. Сейчас мы открываем обещанные базы IP-адресов («сервис-коды»), за которыми скрываются «пользователи» с неопределяемым местоположением.
«Нормальный» пользователь скорее всего не ходит в интернет через анонимный прокси или свой VPN, инсталлированный, скажем, на сервере в Китае. Точно так же сервера не всегда используются только в мирных целях, но и для сканирования, спама или мошенничества.

Ко мне очень часто поступают довольно интересные и нестандартные задачи по настройке серверов.

Сегодня например, меня попросили настроить ряд серверов на фильтрацию любого трафика из определенных стран. Причин такой защите есть множество — сокращения спама и атак, выравнивание соотношений, и многого другого.

В моем случае — надо было заблокировать CN полностью, на RU отдавать полный канал, а на остальные страны — в два раза меньше.

Разумеется, вбивать полностью все подсети руками неудобно, да и они часто меняются. Логичнее всего было сделать это с помощью geoip.

Немного о том, кому и зачем?

Тем, кто работает в сфере мобильного интернета, часто бывает необходима база диапазонов IP мобильных операторов.
Так уж сложилось, что в бесплатном доступе эту информацию найти не так легко.
Тем, кому достаточно разбиения по странам, как вариант, можно использовать базу maxmind. Там есть и бесплатный вариант. Но именно мобильные сети там охвачены плохо.

В общем к сути.

Сайт проконтент собирает под своим крылом базу мобильных айпи и выкладывает вот здесь: www.procontent.ru/dev/gateway-ips.html
Но попробуйте кто то применить ее для дела и тут сразу же все неудобства всплывают. Нету четкого разбиения по странам, а страна и не для всех диапазонов указана, нету экспорта хоть в какой нибудь пригодный для нормальной обработки формат.
Так вот был написан парсер, который «причешет» этот неудобный набор и даст в правильном виде.
Брать можно тут:
wapobzor.ru/3dparty/procontent_ips.php — csv версия
wapobzor.ru/3dparty/procontent_ips.php?long — csv, но ip в числовом виде
wapobzor.ru/3dparty/procontent_ips.php?php_array — в виде массива, что бы скопировать в скрипт сразу.
wapobzor.ru/3dparty/procontent_ips.php?php_array&long — аналогично
www.logofon.ru/xml/ips.xml — еще один вариант предложенный Nc_Soft

Если кому то пригодится — буду рад.
Спасибо за внимание =)

UPD: перенес в тематический блог, спасибо за подкинутую карму :-)
UPD2: добавил еще два варианта вывода.
UPD3: еще вариант базы с другого источника.

Зачем мы это делали?

Общеизвестно, что на скорость загрузки страницы сайта сильно влияет то, насколько далеко пользователь находится от сервера, на котором этот сайт размещен.
Если пользователи заходят на сайт в основном из одного региона – вопрос скорости загрузки решается легко – сайт размещают на сервере, который физически находится в этом регионе. Но что делать, если на сайт заходят из нескольких, отдаленных друг от друга, регионов или со всего мира?
Мы попытались дать ответ на этот вопрос, разработав свою CDN (Content Delivery Network, система доставки контента) и предоставляя новую услугу – гео-хостинг.
Гео-хостинг подразумевает размещение сайта сразу на нескольких серверах, которые размещены в географически отдаленных дата центрах, и организацию работы системы так, чтобы информация пользователю отдавалась тем сервером, который географически к нему ближе.

При разработке одного проекта встала задача – определить по IP-адресу посетителя его страну и город, на русском языке. Поиск готового решения оказался безуспешным – русскоязычные базы стран можно найти (например, wipmania.com), но баз городов нет. Помощь пришла из-за границы, в лице англоязычного maxmind.com. База была приведена к нормальному состоянию (MySQL) и частично переведена на русский язык с помощью нескольких справочников (~6,000 названий, с учетом городов-тезок ~15,500).   Результат этой работы доступен для свободного скачивания.

Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— база maxmind.com была объединена с базой городов России ipgeobase.ru (идея sky_lord)
— с помощью Переводчика Google были переведены на русский язык ~60,000 названий (идея neytrino), а затем с помощью Яндекс.Карт из них были отсеяны артефакты типа «Инь молодых» и «Авиаторов деревня»
— были удалены дубли и произведена оптимизация структуры базы.
Результат этой работы доступен для свободного скачивания.

Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— для перевода названий городов использован API Карт Google (идея chernikov)
— для поиска по странам СНГ подключена база geobaza.ru (идея derketzer)
Результат этой работы доступен для свободного скачивания.

Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основные изменения:
— за счёт новой базы ipgeobase.ru повысилась точность определения городов Украины
— из бесплатной версии базы geobaza.ru исчезли города, поэтому точность определения городов других стран СНГ понизилась
— добавлен скрипт, с помощью которого вы можете самостоятельно обновлять базу (без добавления новых городов и стран)
— таблицы net_ru_2 и net_su удалены из базы, изменены примеры запросов
Результат этой работы доступен для свободного скачивания.

Делать было вечером, делать было нечего...

Предыстория

В один прекрасный момент, случайно наткнулся на старый сервис, который позволяет вешать картинку на свой сайт, которая показывает географическое положение посетителей. Их много и разных.
Вещь сама по себе не такая уж полезная, мне как то данные awstats'а хватает за глаза.
Но для демонстрации посетителю, что он не случайный идиот прохожий забредший на мертвый сайт это дело подходит.
Дальше как и полагается раскинул мозгами на тему, а как же они это делают, разобрался и вроде успокоился…

Но больная голова покоя рукам не дает, так что сейчас я вам покажу один забавный и не несущий смысловую нагрузку эксперимент.

Это выборка всех возможных координат IP-шников (с округленные до целых).
Можно сказать, что это фотография интернета ареал обитания TCP/IP

Внимание, автор не является кодером в хорошем смысле этого слова, поэтому лиц, которых может шокировать копрокод прошу удалиться.

Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основное изменение — удалено большое количество дублей городов.

Для определения страны по IP необходимы специальные базы данных, состоящие из диапазонов IP адресов и соответствующих им стран. Обычно такие базы данных распространяются в виде CSV или SQL файлов для использования в СУБД, либо бинарных файлов специального формата.

Для проведения тестирования была выбрана февральская база GeoLite Country, бесплатная версия GeoIP Country от MaxMind.

В тестировании приняли участие несколько популярных решений и мой «велосипед» на эту тему.

В опубликованной накануне (февраль, 2012) статье озаглавленной «Определение страны по IP: тестируем скорость алгоритмов» сравнивались реализации на уровне БД и нативной реализации. Мы же предлагаем рассмотреть ещё более оптимальный и простой алгоритм, который может быть реализован как в БД, так и в нативном варианте – плоские диапазоны.

 

Вебразработчики частенько сталкиваются с классической задачей определения местоположения пользователя по его IP-адресу. Существует множество различных решений, например на основе мировой базы Maxmind Geolite или российской IpgeoBase. Все они обладают достаточно низкуровневыми API, ну оно и понятно: на входе айпишник, на выходе страна, либо город и, если повезёт, ещё какая-нибудь полезная информация.

У всех сайтов с GeoIP, которые мы запускали, есть общая черта: они не только нуждаются в простой геолокации, необходимо также выводить различный контент на сайте в зависимости от месторасположения пользователя. Чтобы упростить для себя эту задачу мы написали небольшую батарейку django-geoip, вдохновившись приложением django-ipgeobase.