Определение города по IP-адресу

[@NaFigator]

http://ipgeobase.ru/
Не проще готовое использовать?

[@dalv]

Проще, но мне нужна не только РФ.
И мне нужен бинарный формат для быстрой обработки запросов.

[@benderlio]

гм, а где можно почитать о бинарных базах?

[@dalv]

начать можно здесь
http://www.codenet.ru/search/search.php?…

[@benderlio]

а будет ли своего рода онлайн версия с API для работы с базой?

[@dalv]

если я правильно понял, то да.

[@LOGAN4eg]

А для FF есть плагин выводящий подобную инфу?

[@dalv]

Нет. А для чего такой плагин может понадобится? Как быстрый поиск города по ИП? Будут ли от этого больше покупать?

[@nileriver]

Для ФФ есть ВСЕ. ;) Есть Плагин FlagFox тянуший из похожей базы информацию о стране где находятся сервера того сайта вкладка с которым открыта.

[@alkeeper]

Этому сервису сложно доверять.

Совсем недавно писал сервис для одной конторы, разбросанной по Сибири. В каждом городе представительства, северные коэффициенты, все дела - цены разные. А нужно выдавать юзеру местные. И местные адреса представительств ставить на первые места в общем списке.

Взял базу ipgeobase, отбросил не интересующие регионы, начали тестить.
В регионах не работает. Берем IP представительств.

Ага, Москва. За Уралом.

[@NaFigator]

Спасибо за информацию!

[@odessky]

Человече, чем тебя geoip не устроил?

[@dalv]

не по русски говорит он.
дорогой.
плохо определяет города по exUSSR.

[@dalv]

если можно поподробнее. кому ему и какую базу. и как это связано с русскими городами.

[@dalv]

Причем здесь сишный интерфейс к базе? Мы говорим про технологию получения самой базы. С теми отличиями от геоиплайт, что я писал в топике.

[@el777]

Может Maxmind GeoIP сгодится?
Есть разные варианты, в т.ч. бесплатные но с ограничениями

[@dalv]

В дополнение к вышесказанному при испльзовании бесплатностей от макмайнда надо учитывать еще этот момент:
Under the license agreement, all advertising materials and documentation mentioning features or use of this database must display the following acknowledgment: "This product includes GeoLite data created by MaxMind, available from http://www.maxmind.com/."

[@el777]

Это критично?
Мелким шрифтом на отдельной странице.

[@dalv]

ну кому как. я бы сказал - это скорее негатив, чем позитив. ну и еще одна из причин задуматься какой продукт юзать в проектах.

[@apelsyn]

Попробовал тестировать по Украине:

195.114.120.71 - не определил, только страна (правильный ответ Тернополь)
193.239.143.145 - не определил, только страна (правильный ответ Хмельницкий)
213.179.232.166 - не правильно определил, только страна (правильный ответ Житомир)
193.243.158.4 - правильно определил Винницу
62.149.2.1 - правильно определил Киев

http://www.maxmind.com/app/lookup_city с этим справился.
Конечно удобно, что есть все на русском.

[@dalv]

Спасибо!

[@thecat]

база whois это конечно здорово, но вообще whois + дополнительные источники ( например от провайдеров, какие то другие источники где можно сопоставить ip и регион ) - всё это во первых на 100% корректно автоматически не обрабатывается - некая ручная работа нужна, во вторых точность определения региона даже в случае ручного премодера и избавления от упячки, и подключения баз ip от дружественных провайдеров не превышает 80% случаев. У баз основанных только на whois точность еще меньше.

[@dalv]

"дополнительные источники" - их никто и никогда не даст. Остается хуис, ручная обработка и фидбэк от пользователей. Необходима максимальная автоматизация процессов (уж очень большие объемы), поэтому сам парсер представляет собой полуинтеллектуальный автомат. Конечно ошибки будут всегда - надо стараться уменьшать их количество. А на данном этапе наша задача не сделать идеальную базу, а заявить о том, что мы можем ее сделать. Что мы реально можем сделать конкурентный продукт в рамках всего мира, а не только отдельно взятой страны.

[@thecat]

Кстати есть и открытые дополнительные источники :-)
Сделать продукт и заявить что можем сделать это здорово само по себе, но блин сделать геотаргетинг в рамках всего мира на основе whois это ни разу не открытие америки - таких продуктов много, хотя все они и далеки до совершенства ( как раз потому что на 95% процентов основаны на whois ). Многие крупные порталы ( те самые которым и нужен этот геотаргетинг ) обладают возможностью доступа к дополнительным источникам данных которые значительно улучшают геотаргетинг. Основная мысль - что даже хорошо обработанный whois с подключением разных доп источников данных не дает достаточно хорошего качества определения региона ( не говоря уже об городе ). Ценность же самого по себе хорошо обработанного whois имхо совсем невысокая, поэтому насчет конкурентного продукта в этом плане есть немало подводных камней.))))

[@dalv]

Открытые мы стараемся использовать. За критику спасибо! Но позволю себе не согласится - "хорошо обработанный whois" даст процентов 95 верных ответов. Для большинства проектов этого достаточно вполне.

Насчет аналогичных продуктов много - не более десятка и то если поискать. А так есть три явных лидера.

[@thecat]

Удачи конечно в проекте - дело то полезное, но вот в одном проекте были люди которые занимались правильной обработкой whois, там еще и данные от оочень крупного провайдера были - по их оценкам ( и я с ними согласен ) точность определения региона была не более 80%, причем ресурс был популярный только в рунете и в основном как раз среди пользователей того самого провайдера. Мы пробовали ставить вместо своего таргетинга платные продукты - получалось сильно хуже, да и не может быть иначе - блин как узнать что человек зашел dialup-ом в таджикистане через mtu например, и что, он из москвы? у провайдера есть пул адресов он их по всей рф ( а то и за пределами ) распределяет как хочет и никому об этом не говорит ( сорм решает конечно ). и таких пользователей которые приходят от крупных провайдеров - вагон и маленькая тележка, с заграницей там отдельная песня.

[@dalv]

спасибо, удача нам потребуется.

проблема больших провайдеров есть (ниже в комментах она поднимается). единственно что повторюсь - ситуация с этим улучшается, провайдеры начинают наводить порядок в своих сетях.

[@dalv]

и еще момент. мы уверены что конкуренты используют только whois, feedback, и немного ручной работы. нам не надо быть сильно точнее конкурентов - у нас есть другие преимущества.

[@thecat]

то что конкуренты используют whois и немного ручной работы это факт. небольшой hint - полезно пройтись по данным icq - в профилях ipрегион очень даже встречается :-)

[@zvirusz]

Выкачиваем и правильно складываем базы whois - для этого пишем многопоточную качалку-парсер, которая выбирает всю значимую информацию в диапазонах 0.0.0.0-255.255.255.255.
Сложности - правильно вычислять значимые диапазоны подсетей и договориться с сервисами whois чтобы не забанили и разрешили делать соответствующую нагрузку.

есть способ немного проще - без необходимости договариваться
http://www.ripe.net/db/support/mirroring…:

The single data file is a merged data set of all the individual data files in a single text file.
There are two versions of this single file. One contains the personal and private dummy
objects. This can be accessed here:
ftp.ripe.net/ripe/dbase/ripe.db.dummy.gz
The second version does not include the dummy data objects. It can be accessed here:
ftp.ripe.net/ripe/dbase/ripe.db.gz

[@zvirusz]

злобный хабр не любит одинарные кавычки в ссылках :\
1. ftp.ripe.net/ripe/dbase/ripe.db.dummy.gz
2. ftp.ripe.net/ripe/dbase/ripe.db.gz

[@INIT]

напомню что использование этой базы для таргетинга рекламы прямо запрещено:
http://ripe.net/db/copyright.html
"Except for agreed Internet operational purposes, no part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, recording, or otherwise, without prior permission of the RIPE NCC on behalf of the copyright holders. Any use of this material to target advertising or similar activities is explicitly forbidden and may be prosecuted."

[@dalv]

Кстати да. Мы придаем (и всем советуем) большое значение лицензионной чистоте продукта. Это сейчас приобретает и в РФ все больший смысл (ну будет приобретать еще лет 5), не говоря уже о наших западных амбициях - все должно чисто.

[@INIT]

Уважаемый, а в чем это, простите, выражается ?
В статье вы прямо признаетесь что база целиком взята из указанного источника посредством сервиса whois.

[@dalv]

База то взята целиком, но в ней есть не все. Проведя консультации с Райпом, мы выяснили, что это касается данных о персонах (там есть телефоны и электронная почта). Чтобы персонам не досаждали спамеры разного рода.

[@INIT]

я правильно понимаю что в ходе двухсторонних консультаций они вам явно разрешили хранить копию базы и делать target advertising по географическому признаку ?

[@dalv]

не совсем понимаю ваш интерес. надеюсь, что это здоровое любопытство :-)
они нам разрешили нам определенных условиях (их я не скажу) выкачивать хуис, и делать аналог максмайндовской базы (при условии, что урезанную версию, по странам например, мы будем распространять бесплатно). target advertising - это не то что вы думаете. это вообще не имеет отношение к геотаргетингу. target advertising это именно целевая рассылка по спискам персон. надеюсь разъяснил?

[@INIT]

Да спасибо вопрос снят хотя трактовка термина мне все еще кажется неочевидной. Любопытство здоровое - интересно на каких условиях разрешают использовать эту базу.

[@dalv]

К сожалению, по этим файлам не построить нормально базу, например, там нет данных о персонах. Мы через это прошли, хотя может когда-нить и вернемся. Но сейчас нам проще все выкачивать.

[@zvirusz]

данных о персонах?
вроде этого:

person: Lord Nagios
address: NowhereLand
phone: [phone]
nic-hdl: RIPE124-RIPE
e-mail: [e-mail]
mnt-by: NAGIOS-MNT
remarks: Thu Mar 6 13:22:38 2008
changed: [e-mail] 20070124
source: RIPE

?

[@dalv]

точно. раньше они выдавали файл с персонами. сейчас нет.

[@sysprg]

Ваш подход не учитывает следующую серьезную проблему - часто в whois базе фигурирует юридический адрес провайдера, при этом физически сеть находится в другом регионе. Возможно, для ex-СССР это нехарактерно. Но, например, многие французские сети Вы ошибочно приписываете к Парижу только из-за того, что во whois базе для них указан юридический адрес провайдера в Париже, хотя сами сети расположены по всей стране.
Думаю, что эту проблему Вы будете иметь со всеми странами, где существуют провайдеры национального или регионального масштаба, обслуживающие большие площади и регистрирующие все свои подсети на свой один общий юридический адрес. То есть, видимо, проблемы будут со многими крупными сетями в USA и в Европе, хотя и не со всеми.

[@dalv]

Да. Эта проблема действительно есть. Однако есть тенденция к уточнению данных. Постепенно большие сети в хуисе разбиваются на более мелкие. И я думаю, что в перспективе, в том числе и при внедрении IPv6, точность будет только улучшаться.

[@no_poem]

Все равно точности никогда не добьешься. Плюс следует учитывать тот факт, что в порой в whois вообще полный бред встречается. Тут уж никакой IPv6 не поможет.

[@sysprg]

Может быть, но сейчас Ваша база для Франции неработоспособная, при этом другие сервисы (например MaxMind, GeoIPTool) дают правильную информацию. То же мне говорят друзья и о сетях в USA (попросил попробовать Ваше demo на сайте).

[@dalv]

Спасибо за инфу. Не спорю. Продукт несовершенен, он развивается. Зато технология отработана и для улучшения качества нужны мероприятия (читай деньги) по улучшению. Потому здесь и пишу. Надо просто сажать кучу людей и улучшать словари.
Кстати, все не так уж плохо (наши клиенты не жалуются), не могли бы Вы прислать IP, которые не определяются сюда http://www.cn-software.com/ru/contacts/ Для нас фидбэк очень важен, мы ж не можем сами проверять все. Рынок западный для нас также очень важен, но пока мы туда не сильно пытаемся влезть (качество еще не то).

[@sysprg]

Для статистики проверьте выборочно сети крупных провайдеров типа Free, Wanadoo (во Франции), Verizon, Earthlink (в Америке) через Вашу базу и через сервисы типа MaxMind & etc.

[@botnet]

Всё верно. У самого есть проблема с корбиной. Все её адреса определяются как Москва, хотя сеть во многих городах России.

[@dalv]

Ну что вы такое говорите :). Наша задача номер один отработать свою лицензионно чистую технологию. За ссылку кстати спасибо!!!

[@theDen]

modaz, жаль что на хабре нет кнопки "расцеловать".
как раз надо было на днях думать как максмайнд локализировать - а тут такой подарочек.
огромное пасибо

[@Yevhen]

Клевая штука.
Идея по продвижению - вы можете сделать API или просто какой то javascript, который полчает IP и отображает инфу. При нажатиее можно получить более подробную информацию но уже на вашем сайте. Что, то схожее с плагином FlagFox.

[@dalv]

Спасибо. Такая вещь в планах есть. Сейчас ждем красивой идеи по воплощению. Пока придумываются только какие-то "счетчики географии", микрокарты и т.д. Но чо-нить придумаем, с креативом у нас порядок, только времени внедрять мало :)

[@Yevhen]

Со временем у всех проблемы ) идей много, а времени всего 24 часа в сутках. Могу пожелать только реализации именно нужных и удачных идей.

[@dalv]

и денег еще пожелайте! или грамотного инвестора
:)

[@shulc]

Определил неправильно местоположение
IP: 144.206.175.238
Россия, Курская область, Курчатов
хотя сижу из Курчатовского института, Москва :)

[@dalv]

Ндааа. Даже не знаю что сказать, сплошные Курчатовы :-)
descr: Main network of Kurchatov Institute
descr: Russian Research Centre "Kurchatov Institute"
descr: ( Kurchatov Institute of Atomic Energy )
descr: 1, Kurchatov Sq.

Вот в развесовке и прошел сбой. Спасибо за пример. Подумаем как решить.

[@blockdog]

А что, GeoIP чем-то проклят?

[@bappoy]

не чем-то, а кем-то — нижегородцами и новгородцами
http://bappoy.pp.ru/2007/10/26/geolocati…

имел удовольствие поразбираться в их базе, это какой-то нереальный сюр, альтернативный земной шарик. Большинство русских названий переврано и находятся не там, где положено; часть IP-адресов вообще находятся в городах типа Olga, Smirnov, Nogina и т.д. — на основании данных whois. Поэтому из их продуктов можно без опасения только GeoLiteCountry использовать.

[@Wonderful]

Спасибо, вещь хорошая, быстрая, очень пригодится.
Для определения страны - особенно.

[@droganov]

Ваш родной город пишется в Вашей системе как:
Novgorod Oblast
Velikyy Novgorod

Это какой-то страный, вымышленный язык.

[@dalv]

Да у нас вообще странный город. Написания стандартного нет. Предлагаю смотреть на русском. Проблему решим, спасибо!

[@rengo]

Архангельск неправильно на карте кажет.

[@dalv]

спасибо поправим.

[@Richard_Ferlow]

Помню сайт у меня был, который читала знакомая из Мск и другая знакомая из Нск - и одна не должна была видеть одни посты, другая другие :) Конечно не очень надежно, но на GeoIP сделал разделение по городам :)

[@Richard_Ferlow]

Обнуражил, что сайт той компании, что CnStats сделал - честь и хвала :)

[@bappoy]

Из списка нижегородских адресов (которые maxmind стабильно определяет как новгородские и помещает в Приморский край) со страницы местного провайдера http://sandy.ru/support/?d=96 неправильно определились IP-адреса:
194.190.176.0: Москва вместо Нижнего Новгорода
89.109.0.0: Первомайск Нижегородской обл., логичнее всё же НН, тем более что других районов области, кроме Первомайска, в блоке 89.109.0.0/18 не встречается
217.25.80.0: Москва вместо Нижнего Новгорода
85.91.192.0: Москва вместо Нижнего Новгорода

А в целом очень приятное впечатление от Вашей базы, большое спасибо за проделанную работу.

Что касается монетизации, то можно попробовать пойти по пути того же MaxMind'а: раздавать БД для некоммерческого использования, за коммерческое — собирать отчисления.

[@droganov]

А Вы на саппорт им напишите об этом, не стесьняйтесь, дайте корректные адреса, они исправят. Я сам из Великого, на прошлой неделе написал им об этом косяке — сейчас моя подсеть определяеся корректно — можете проверить: 88.151.187.0.

Они, конечно, накосячили по-новой с кодом региона, ну да не суть, вчера я им отправил все наши диапазоны, которые смог найти — обещали исправить.

[@droganov]

я про MaxMind, конечно

[@bappoy]

А Вы им платите за базу? я пару раз пробовал им написать, так до сих пор никакой реакции

[@droganov]

Нет не плачу, я как раз выбирал решение для себя, ну и на ошибку наткнулся. Обычное письмо на саппорт. Они сами же заинтересованы в корректной базе. Пусть я не плачу. зато гуглы платят да много кто ещё.

[@kudzu]

А шо, GeoIP уже отменили?

[@kudzu]

Упс.

[@dalv]

Спасибо за фидбэки!!! Не ожидал.

Хоть это и не помогло с поиском инвесторов, но было чертовски полезно для нас.

В будущем дистрибутив будет включать:

1. Бинарная база как есть щас.
2. Плэйн база (csv) всех используемых записей о городах (регион,
национальные написания, координаты, страна).
3. Реверсная база - на входе город, в результате все диапазоны.

О результатах буду информировать пока хватит кармы "и что у них есть еще там" :)

[@droganov]

Влад, а почему Вы не сделаете Remote API на сайте? Так наверное многим проще бы было пользоваться базой?
К примеру, выдачу сделать в XML и JSON, а деньги брать по примеру Yandex XML. N запросов в сутки бесплатно, N+ запросов _ за денежку.

[@dalv]

Это правильная мысль. Мы обязательно так будем делать.

[@solenko]

IP 92.113.143.2
Определило как Киев, сижу в Харькове.
Возможно все та же проблемма "крупных сетей" (укртелеком).

[@zaartix]

подскажите плз, формат файла cngeoip.dat совместим с geoip.dat (maxmind.com)?
хотелось бы использовать в апачевском модуле (maxmind) эту базу.

офф.
если не совместим - не подскажете, есть ли более полный api для формата от maxmind? имеется ввиду возможность дополнять файл geoip.dat файл.

[@dalv]

> имеется ввиду возможность дополнять файл geoip.dat файл
это нереально - дат файл это дерево, которое надо перестраивать полностью после практически любого изменения.

Как вариант сотрудничать с нами или кем-то более активно на предмет оперативного внесения изменений.

[@agorlov]

При платной подписке на эту БД, как обновления происходят?
Как на данный момент проект развивается?

[@dalv]

примерно раз в месяц в мемберке появляется новая версия, откуда ее надо скачивать.
проект развивается нормально, но не так бурно как хотелось бы.