Pull to refresh

GeoLite City против CNGeoip

Lumber room
Вчера я протестировал базу GeoLite City от Max Ming. Это бесплатная версия базы, почти ничем не отличающаяся от платной версии. После изучения содержимого базы пришел к неутешительным выводам.
В базе немало ошибок в написаниях городов, часто попадаются разные варианты написания (например, Chelyabinsk и Cheliabinsk), вместо городов иногда пишут области, а иногда улицы. Но самая большая проблема, что названия всех городов написаны только в английском/местном варианте латиницей. Для использования на русскоязычных ресурсах такая база практически непригодна. Составить соответствие английских названий русским в автоматическом режиме практически нереальная задача по причинам, описанным выше. А использовать труд операторов для обработки порядка 180 000 локаций в базе могут позволить себе только довольно крупные компании. Ругательство базы GeoLite City можно найти еще на этом форуме.
[Интересно, а какие базы используют Google, Яндекс?]
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 3.9K
Comments 3

IP География

PHP *
Недавно мне пришлось иметь дело с программой для ведения статистики кликов некой системы обмена объявлений. При щелчке как обычно собиралась информация о клике (на какой странице произошло, во сколько, браузер, ИН объявления и IP). В представлении статистики состояла задача — узнать город из которого произошел переход. Раньше я этим не интересовался особо поэтому только сечас у меня началось более глубокое знакомство с GeoIP системами.

Кроме того как это удалось
Я расскажу еще о некоторых интересных сервисах
Total votes 22: ↑19 and ↓3 +16
Views 13K
Comments 32

CNGeoip — модуль географии, что это, с чем едят, как потестировать…

Lumber room
Программный продукт, позволяющий определять город интернет пользователя по IP-адресу — CNGeoip. Продукт представляет собой бинарную базу содержащую распределение всех IP адресов по городам, странам, областям и программный интерфейс для работы с базой. Все географические названия доступны на латинице (общемировой стандарт и написание), национальном языке и русском языке.

Используя CNGeoip владелец интернет ресурса или сервиса может определить из какого города пришел посетитель и соответственно отреагировать, например поприветствовать «Привет Мурманску!», или «Ближайший наш сервис/магазин/отделение в Екатеринбурге расположены по адресу...». Особое значение информация о городе и стране посетителя приобретает при рекламном таргетинге, при анализе статистики посещений сайта. Таким образом владельцы ресурсов могут более точно позиционировать свои товары и услуги, получать дополнительную прибыль. Поэтому потенциальными клиентами являются практически все владельцы интернет-ресурсов.

Ну и как я обещал, кидаю ссылку хабранароду на полный дистрибутив текущей версии модуля географии CNGeoip. Ссылка «заэкспайрится» примерно через неделю.

www.cn-software.com/datastore.php?39f12204f8170a44e09d669a2ec0a865
ссылка действительна до 2008-05-28 20:19
Полное описание модуля есть на нашем сайте www.cn-software.com/ru/cngeoip

# Содержит русские и английские, в некоторых случаях национальные (Кiев) названия городов, областей и стран;
# Включенные в дистрибутив примеры ускорят разработку приложений;
# Минимальные системные требования — интерфейс напрямую работает с бинарным файлом базы данных;
# Элементарная установка — просто скопируйте файлы базы и API-интерфейса на свой сайт в любой каталог;
# Высокая скорость работы — до 500 обращений в секунду;
# Автономность и безопасность — модуль хранится у Вас на сайте и при работе не обращается к внешним источникам.

Для чего кидаю — для обратной связи, критики и пиара дополнительного. Почему не жалко — почему не жалко — жалко конечно. Но на самом деле модуль имеет ценность только при постоянном обновлении (хотя бы раз в месяц). Сети довольно часто меняются. Да и главная ценность здесь даже не продукт, а разработанная нами технология его получения.

Сейчас наша фирма ищет инвестора (знаете таких?) для развития модуля, учится с работать с инвесторами. Именно поиск новой информации, поиск рекомендаций от более опытных коллег, привели меня на хабр. Также присутствует желание дозированно поделится своим опытом создания и разработок программных продуктов.

Ну вот вроде для первого поста и хватит :)
Total votes 9: ↑8 and ↓1 +7
Views 1.2K
Comments 6

Определение города по IP-адресу

Website development *
Такая потребность может возникнуть при геотаргетинге информации, работе картографических сервисов, анализе статистики посещений сайта.

Задача решается следующим образом.

1. Выкачиваем и правильно складываем базы whois.
2. Для каждой подсети определяем город.
3. Пакуем базу в бинарный файл.

Но зачем это все делать самим, когда уже есть готовые решения. Одно из них (полную версию) я выкладываю сюда для теста и получения фидбэка.
Читать дальше →
Total votes 38: ↑32 and ↓6 +26
Views 34K
Comments 84

WIPmania – полный спектр решений для геотаргетинга

Self Promo
Хочу представить свой проект WIPmania(WorldIP) — бесплатный геолокационный сервис, содержащий базу данных IP адресов всего мира, распределенных по странам, и онлайн API для доступа к ней.

Главное отличие WorldIP от всех других геолокационных сервисов — он предоставляет реальные физические расположения сетей, а не их владельцев (как представляет whois, на данных которого основаны все другие базы).
Читать дальше →
Total votes 78: ↑70 and ↓8 +62
Views 2.3K
Comments 46

Сравнение WIPmania и MaxMind баз GeoIP

Lumber room
В связи с появившийся альтернативой базе MaxMind решил сравнить на сколько отличаются эти базы. Сравнивается именно отличия, а не правильность/неправильность определения.
Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 2.8K
Comments 2

Базы хостинговых компаний, датацентров, прокси, ботов и сателлиток.

Lumber room
Я уже представлял здесь несколько месяцев назад наш геолокационный проект WIPmania. Сейчас мы открываем обещанные базы IP-адресов («сервис-коды»), за которыми скрываются «пользователи» с неопределяемым местоположением.
«Нормальный» пользователь скорее всего не ходит в интернет через анонимный прокси или свой VPN, инсталлированный, скажем, на сервере в Китае. Точно так же сервера не всегда используются только в мирных целях, но и для сканирования, спама или мошенничества.

Читать дальше →
Total votes 42: ↑36 and ↓6 +30
Views 1.7K
Comments 42

Как защитить сервер от посетителей из нежелаемых стран

Configuring Linux *
Ко мне очень часто поступают довольно интересные и нестандартные задачи по настройке серверов.

Сегодня например, меня попросили настроить ряд серверов на фильтрацию любого трафика из определенных стран. Причин такой защите есть множество — сокращения спама и атак, выравнивание соотношений, и многого другого.

В моем случае — надо было заблокировать CN полностью, на RU отдавать полный канал, а на остальные страны — в два раза меньше.

Разумеется, вбивать полностью все подсети руками неудобно, да и они часто меняются. Логичнее всего было сделать это с помощью geoip.
Решение на уровне ядра и на уровне приложения
Total votes 46: ↑41 and ↓5 +36
Views 9K
Comments 30

База IP мобильных операторов

Development of mobile applications *

Немного о том, кому и зачем?


Тем, кто работает в сфере мобильного интернета, часто бывает необходима база диапазонов IP мобильных операторов.
Так уж сложилось, что в бесплатном доступе эту информацию найти не так легко.
Тем, кому достаточно разбиения по странам, как вариант, можно использовать базу maxmind. Там есть и бесплатный вариант. Но именно мобильные сети там охвачены плохо.

В общем к сути.


Сайт проконтент собирает под своим крылом базу мобильных айпи и выкладывает вот здесь: www.procontent.ru/dev/gateway-ips.html
Но попробуйте кто то применить ее для дела и тут сразу же все неудобства всплывают. Нету четкого разбиения по странам, а страна и не для всех диапазонов указана, нету экспорта хоть в какой нибудь пригодный для нормальной обработки формат.
Так вот был написан парсер, который «причешет» этот неудобный набор и даст в правильном виде.
Брать можно тут:
wapobzor.ru/3dparty/procontent_ips.php — csv версия
wapobzor.ru/3dparty/procontent_ips.php?long — csv, но ip в числовом виде
wapobzor.ru/3dparty/procontent_ips.php?php_array — в виде массива, что бы скопировать в скрипт сразу.
wapobzor.ru/3dparty/procontent_ips.php?php_array&long — аналогично
www.logofon.ru/xml/ips.xml — еще один вариант предложенный Nc_Soft

Если кому то пригодится — буду рад.
Спасибо за внимание =)

UPD: перенес в тематический блог, спасибо за подкинутую карму :-)
UPD2: добавил еще два варианта вывода.
UPD3: еще вариант базы с другого источника.
Total votes 71: ↑63 and ↓8 +55
Views 26K
Comments 42

Представляем нашу разработку – гео-хостинг

HostPro corporate blog
Зачем мы это делали?

Общеизвестно, что на скорость загрузки страницы сайта сильно влияет то, насколько далеко пользователь находится от сервера, на котором этот сайт размещен.
Если пользователи заходят на сайт в основном из одного региона – вопрос скорости загрузки решается легко – сайт размещают на сервере, который физически находится в этом регионе. Но что делать, если на сайт заходят из нескольких, отдаленных друг от друга, регионов или со всего мира?
Мы попытались дать ответ на этот вопрос, разработав свою CDN (Content Delivery Network, система доставки контента) и предоставляя новую услугу – гео-хостинг.
Гео-хостинг подразумевает размещение сайта сразу на нескольких серверах, которые размещены в географически отдаленных дата центрах, и организацию работы системы так, чтобы информация пользователю отдавалась тем сервером, который географически к нему ближе.
Читать дальше →
Total votes 56: ↑39 and ↓17 +22
Views 11K
Comments 104

База GeoIP – страны и города

Website development *
При разработке одного проекта встала задача – определить по IP-адресу посетителя его страну и город, на русском языке. Поиск готового решения оказался безуспешным – русскоязычные базы стран можно найти (например, wipmania.com), но баз городов нет. Помощь пришла из-за границы, в лице англоязычного maxmind.com. База была приведена к нормальному состоянию (MySQL) и частично переведена на русский язык с помощью нескольких справочников (~6,000 названий, с учетом городов-тезок ~15,500).   Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 120: ↑101 and ↓19 +82
Views 70K
Comments 134

GeoIP – страны и города, декабрь 2010

Website development *
Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— база maxmind.com была объединена с базой городов России ipgeobase.ru (идея sky_lord)
— с помощью Переводчика Google были переведены на русский язык ~60,000 названий (идея neytrino), а затем с помощью Яндекс.Карт из них были отсеяны артефакты типа «Инь молодых» и «Авиаторов деревня»
— были удалены дубли и произведена оптимизация структуры базы.
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 67: ↑63 and ↓4 +59
Views 2.5K
Comments 56

База GeoIP – страны и города, январь 2011

Website development *
Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— для перевода названий городов использован API Карт Google (идея chernikov)
— для поиска по странам СНГ подключена база geobaza.ru (идея derketzer)
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 91: ↑88 and ↓3 +85
Views 12K
Comments 49

База GeoIP – страны и города, июнь 2011 (+скрипт обновления)

Website development *
Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основные изменения:
— за счёт новой базы ipgeobase.ru повысилась точность определения городов Украины
— из бесплатной версии базы geobaza.ru исчезли города, поэтому точность определения городов других стран СНГ понизилась
— добавлен скрипт, с помощью которого вы можете самостоятельно обновлять базу (без добавления новых городов и стран)
— таблицы net_ru_2 и net_su удалены из базы, изменены примеры запросов
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 88: ↑87 and ↓1 +86
Views 11K
Comments 35

GeoIP, попытки нетрадиционного использования

Delirium coding
Sandbox
Делать было вечером, делать было нечего...

Предыстория


В один прекрасный момент, случайно наткнулся на старый сервис, который позволяет вешать картинку на свой сайт, которая показывает географическое положение посетителей. Их много и разных.
Вещь сама по себе не такая уж полезная, мне как то данные awstats'а хватает за глаза.
Но для демонстрации посетителю, что он не случайный идиот прохожий забредший на мертвый сайт это дело подходит.
Дальше как и полагается раскинул мозгами на тему, а как же они это делают, разобрался и вроде успокоился…

Но больная голова покоя рукам не дает, так что сейчас я вам покажу один забавный и не несущий смысловую нагрузку эксперимент.
image
Это выборка всех возможных координат IP-шников (с округленные до целых).
Можно сказать, что это фотография интернета ареал обитания TCP/IP

Внимание, автор не является кодером в хорошем смысле этого слова, поэтому лиц, которых может шокировать копрокод прошу удалиться.
Читать дальше →
Total votes 94: ↑89 and ↓5 +84
Views 14K
Comments 45

Определение страны по IP: тестируем скорость алгоритмов

PHP *
Для определения страны по IP необходимы специальные базы данных, состоящие из диапазонов IP адресов и соответствующих им стран. Обычно такие базы данных распространяются в виде CSV или SQL файлов для использования в СУБД, либо бинарных файлов специального формата.

Для проведения тестирования была выбрана февральская база GeoLite Country, бесплатная версия GeoIP Country от MaxMind.

В тестировании приняли участие несколько популярных решений и мой «велосипед» на эту тему.
Читать дальше →
Total votes 66: ↑57 and ↓9 +48
Views 34K
Comments 93

Плоский GeoIP или диапазон в одной колонке

MySQL *
Sandbox
В опубликованной накануне (февраль, 2012) статье озаглавленной «Определение страны по IP: тестируем скорость алгоритмов» сравнивались реализации на уровне БД и нативной реализации. Мы же предлагаем рассмотреть ещё более оптимальный и простой алгоритм, который может быть реализован как в БД, так и в нативном варианте – плоские диапазоны.
Читать дальше →
Total votes 22: ↑21 and ↓1 +20
Views 3.3K
Comments 19

GeoIP и Django

Django *
Вебразработчики частенько сталкиваются с классической задачей определения местоположения пользователя по его IP-адресу. Существует множество различных решений, например на основе мировой базы Maxmind Geolite или российской IpgeoBase. Все они обладают достаточно низкуровневыми API, ну оно и понятно: на входе айпишник, на выходе страна, либо город и, если повезёт, ещё какая-нибудь полезная информация.

У всех сайтов с GeoIP, которые мы запускали, есть общая черта: они не только нуждаются в простой геолокации, необходимо также выводить различный контент на сайте в зависимости от месторасположения пользователя. Чтобы упростить для себя эту задачу мы написали небольшую батарейку django-geoip, вдохновившись приложением django-ipgeobase.
Читать дальше →
Total votes 29: ↑24 and ↓5 +19
Views 13K
Comments 32