netload 24 янв 2011 в 11:46

База GeoIP – страны и города, январь 2011

2 мин

12K

Веб-разработка*

+85

Комментарии 49

Ruslan_Y 24 янв 2011 в 11:56

— для поиска по странам СНГ подключена база geobaza.ru (идея derketzer)

А какая там версия из lite или из полной? И не пробовали ли использовать базы с ipgeobase.ru?

netload 24 янв 2011 в 12:02

lite
ipgeobase уже используется для поиска по российским диапазонам
В архиве есть пример запросов, логика такая:
1. проверить, является ли ip российским (ipgeobase)
2. если не российский, то проверить по СНГ (geobaza)
3. если не СНГ, то проверить по миру (maxmind)

Ruslan_Y 24 янв 2011 в 12:09

На перед НГ ipgeobase появилась база по Украине и еще обещали добавить данные по Беларуси и Молдавии, так что можно тоже воспользоваться (ссылка на новость blog.ipgeobase.ru/?p=73).
Данные по Украине лежат отдельным файлов в разделе «Архив», правда с декабря так и не обновлялись.

netload 24 янв 2011 в 12:12

Не знал. Использую в следующей сборке базы.

НЛО прилетело и опубликовало эту надпись здесь

ad_Wolf 24 янв 2011 в 12:10

Круто, в Германии 18,255 населенных пунктов против 3,186 в Росии. Скажите, в Германии на самом деле так много маленьких сел (хуторов)?

netload 24 янв 2011 в 12:15

Здесь нет прямой связи с количеством городов в стране. В России большинство мелких населенных пунктов по ip до сих пор приписываются к областным центрам. Как видно из статистики, в некоторых странах ситуация лучше.

gjf 24 янв 2011 в 12:20

Ребята, версии меняются, а у меня всё также непопадание примерно в 900 км.
Может имеет смысл позаимствовать другие базы и наработки? Примеры: MaxMind, бесплатный вариант базы стабильно обновляется тут, прикрутить можно через Pygeoip, нарисовать с помощью Matplotlib.

netload 24 янв 2011 в 12:22

Скажите свой IP

gjf 24 янв 2011 в 12:31

95.135.46.183. И я не во Львове :)

Artoha 24 янв 2011 в 12:30

Проделали отличную работу.
А для каких целей, если не секрет, она нужна?
Где её думаете применять?
Как насчет коммерции?

-2

netload 24 янв 2011 в 12:40

Русская база geoip потребовалась при разработке одного собственного проекта (он ещё не родился, поэтому без подробностей). Коммерческое использование этой базы не планирую.

Palehin 24 янв 2011 в 13:03

Спасибо за базу

Sartor 24 янв 2011 в 13:14

Украина плохо проработана, но всё равно спасибо.

VIST 24 янв 2011 в 13:42

Могли бы пояснить фразу: «для перевода названий городов использован API Карт Google»?

Я правильно понимаю, есть в базе англоязычное название города. Например «Moscow», с помощью API Карт Google переводится в «Москва»? Если так, то как это было реализовано и на сколько языков таким образом можно перевести город.

Если можно освятите пожалуйста данный вопрос.

netload 24 янв 2011 в 13:55

Если сделать запрос maps.google.com/maps/geo?q=Moscow&output=json&oe=utf8&sensor=false&key=ВАШ_КЛЮЧ, то Google вернет информацию о городе, в том числе строчку
«address»: «город Москва, Россия»,
Эта строчка пишется на языке из заголовка Accept-Language (ru-ru, en-us и т.д.), либо на английском (если на требуемом языке названия нет, таких получилось ~30%). Таким образом я через curl делал запросы, а потом с json парсил ответы. Теоретически в Accept-Language можно задать любой язык, но будут ли в базе Google названия на этом языке — не знаю.

VIST 24 янв 2011 в 14:08

Спасибо за разъяснение.

P.S.
Я сразу подумал речь идет о Предпочитаемый код страны.

shamalli 24 янв 2011 в 14:12

вместо Accept-Language можно указать дополнительный парметр hl
&hl=en
&hl=ru

netload 24 янв 2011 в 14:17

Интересно. Где это описано? Тут не вижу.

VIST 24 янв 2011 в 14:23

Я тоже не вижу, но товарищ прав. Недокументированная функциональность? Думаю нужно было подсмотреть как показывается информация на Google картах и тогда бы вопросов не было.

Всем спасибо за наводку!

shamalli 24 янв 2011 в 14:38

уж поверьте я этот параметр не выдумал,
здесь обсуждение

вероятно эта особенность плохо задокументирована для API v3 гугло-карт,
для v2 это есть в документации:
«locale specifies the language to use for returning the results, overriding the Maps API hl parameter, if supplied. If neither locale nore an hl parameter is specified, the browser's default language is used»

netload 24 янв 2011 в 15:12

Случайно не знаете секретный параметр для задания предпочтительного Accuracy? Например, Google по некоторым запросам даёт улицы (8), а мне нужны только города (4)

shamalli 24 янв 2011 в 16:02

напишите пример запроса, где в результате будет улица

netload 24 янв 2011 в 16:30

Например, при обратном геокодировании, когда мне нужно по координатам определить город.

VIST 24 янв 2011 в 14:17

Да, это удобней. Спасибо.

AndryX 24 янв 2011 в 14:02

С Украиной точность будет намного ниже заявленных 95% тк. всех пользователей Укртелекома находит в Киеве. Сильно сомневаюсь, что доля рынка этого провайдера менее 6%.

VIST 24 янв 2011 в 14:25

И не говорите. Сколько раз не проверял, всегда в Киеве оказываюсь… ну и то хорошо.

shamalli 24 янв 2011 в 14:40

проверьте, пожалуйста, этот сервис:
http://ipinfodb.com/my_ip_location.php

stahon 24 янв 2011 в 15:14

Я в Луганске вечно обитаю (тоже Укртелеком). Ваш сервис — не исключение.

neytrino 24 янв 2011 в 14:06

Многим, наверное, будет полезное, если вы сделаете небольшое АПИ с инсталляцией (чтоб люди могли в 3 клика и вызовом 1 метода у себя в скрипте иметь готовое решение)

dom1n1k 24 янв 2011 в 14:11

Хочу уточнить один момент: если какого-то населенного пункта в базе нет — по крайней мере страна будет определена верно? Или будет полный undefine?

netload 24 янв 2011 в 14:15

Да, страна определяется отдельно и достаточно точно.

VIST 24 янв 2011 в 15:21

У меня еще вот такой вопрос.

В феврале, марте и т.д. выйдет новая версия базы maxmind.
Как вы будет добавить/обновлять/синхронизировать текущую базу с базой maxmind?

Или дальнейшая поддержка БД не планируется.

Я так понимаю провайдеры меняются. Айпи меняются. И что очень редко, названия городов меняются ;)

netload 24 янв 2011 в 16:45

Планирую делать обновления. Как именно это будет — покажет время.

diger 24 янв 2011 в 22:13

А как попадают в подобные базы провайдеры?
Какие базы используют youtube, speedtest?

lomik 25 янв 2011 в 15:37

В большинстве своем геобазы используют за основу whois-информацию. Как пример, база ripe-а лежит в открытом доступе, готовая к парсингу: ftp.ripe.net/ripe/dbase/split/ripe.db.inetnum.gz (файлик 150 Мб в архиве и 2.3 Гб распакованный). Более глубокие уточнения можно проводить уже непосредственно с провайдером (позвонить и спросить его диапазоны сетей) или используя косвенную инфу от пользователей: например, если на сайте пользователи из сети a.b.c.d/mask смотрят погоду в Мухосранске чаще, чем в других городах, то сеть наверняка относится к Мухосранску.

НЛО прилетело и опубликовало эту надпись здесь

netload 25 янв 2011 в 14:37

Замечание по лицензиям справедливое, учту.

MySQL для меня основная СУБД, но в самой базе нет привязки к платформе. При желании можно портировать базу в PostgreSQL или другую реляционную СУБД.

Для api нужно делать более частые обновления базы, на что у меня нет времени. Если кому-то
это интересно — флаг в руки.

lomik 25 янв 2011 в 15:46

Как выше предлагал gjf может имеет смысл добавить бинарный формат базы и api для популярных языков (perl, php, python,...) — кода будет строчек 20-50 на каждом из языков. Резолв по ней будет в десятки раз быстрее. Это намного универсальние (даже к nginx-у есть модуль для резолва по таким базам), чем mysql и проблема «Не рекомендую устанавливать базу городов на виртуальный хостинг, не выдержит нагрузки.» отпадет сама собой.

netload 28 янв 2011 в 13:00

Я (пока) слабо знаком с perl и python, но если заставить php часто дергать огромный файл, то это создаст серьезную нагрузку на хостинг, даже больше, чем mysql
Если у кого-то будет желание перевести базу в бинарный формат и написать код на популярных языках — не возражаю и постараюсь помочь. Но сам я не смогу этого сделать.

lomik 28 янв 2011 в 13:35

Так большой файл не надо весь читать. Открыть файл, перейти на позицию N1, считать пару байт, перейти на позицию N2, считать пару байт,..., закрыть. Или воспользовать mmap-ом. В общем это быстрее БД. Потестил сейчас лежащую под рукой такую реализую геобазы: выдала 100 тысяч запросов в секунду (и это только на одном ядре в один поток).

grossu 10 фев 2011 в 08:26

А у вас там коды регионов в таблице net_city. Они к чему привязаны?

Invincible_One 13 апр 2011 в 14:37

Я думаю это региональные коды в соответствии с FIPS (http://www.maxmind.com/app/fips10_4)

DEEJAY 26 апр 2011 в 08:20

Сижу из Питера

Ваш IP-адрес: 109.188.214.56
Страна: Россия
Город: Москва

Указало верно только страну.

videvio 11 мая 2011 в 18:35

Спасибо за проделанную работу!

Используем Вашу базу в продакшене на двух проектах Incamp.ru и Языкомания.рф. Причем, если IP не из стран СНГ, используется автоматически MaxMind GeoIPCityLite.

Кстати, самый обычный виртуальный хостинг от РБК (на примере проекта Incamp) отлично справляется с нагрузкой.

Дополнили базу, привязав российские города в net_city к базе КЛАДР России (сопоставление по региону и названию города, несопоставленные сопоставляли вручную).

skazkin 21 дек 2011 в 16:03

Неприятно удивлен, обнаружив много мусора. Комкор-ТВ офисный не определяет — нет в диапазонах.

Есть какие-то обновления с момента написания поста?

Вообще, работа отличная, вяжется прекрасно — если бы не недочеты с дублированием городов

Boffo 24 янв 2012 в 17:54

В Германии около 400 городов с буквой «ё», названия обрываются на ней, видно кодировка ее не поддерживает.

Boffo 24 янв 2012 в 17:57

Хотя может при импорте косяк был…

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Показать лучшие за всё время

База GeoIP – страны и города, январь 2011

Комментарии 49

Публикации

Истории