Вышла в свет обновленная версия русскоязычной базы данных стран и городов.

База распространяется в двух модификациях: «Страны и города» (13Mb, после установки ~74Mb)  и «Только страны» (2Mb, после установки ~9Mb). Также в архивах находится небольшой пример использования базы данных на php.

Геолокация IP-адресов в мире

В часе езды от Уичито (шт. Канзас) есть маленький городок под названием Потвин, а в нём — ферма площадью 1,5 км². Единственная жительница этой фермы, 82-летняя Джойс Тейлор, уже несколько лет подвергается нападкам, телефонным угрозам и необъяснимой агрессии людей со всего мира, визитам агентов ФБР, коллекторов долгов от Налоговой службы, карет скорой помощи в поисках жертв самоубийств и полицейских офицеров в поисках пропавших детей. Однажды кто-то оставил разбитый унитаз на дороге, в непонятной попытке что-то сказать.

В связи с появившийся альтернативой базе MaxMind решил сравнить на сколько отличаются эти базы. Сравнивается именно отличия, а не правильность/неправильность определения.

В этом топике я хочу рассказать о задаче, очень часто встречающейся в веб-проектах — определение местоположения по ip-адресу. Начну с того, что для того, чтобы определить местоположение пользователя — нужна некая geoip база. Приведу здесь два популярных бесплатных варианта:
IpGeoBase — очень хорошая бесплатная база, но, к сожалению, только по российским ip-адресам.
MaxMind — огромная база по ip-адресам всех стран. Предоставляют бесплатную lite-версию базы. Точность базы по российским ip-адресам не настолько хороша, как у IpGeoBase. Также предоставляют некое API для работы со своей базой, которое позволяет производить выборки очень быстро.

Допустим вы скачали эти базы и залили их в таблицы вашей БД Postgresql (сама закачка — несколько out of scope, если у кого-то возникнет желание — я могу в будущем рассказать о том, что такое команда COPY и с чем ее едят). В общем случае вы получите таблицу такой структуры:

startip	endip	location_id
2130706433	2130706433	1

Здесь:
startip — это начало блока ip-адресов в формате long
endip — конец блока ip-адресов в формате long
location_id — идентификатор локации (город, регион, страна и т.д., maxmind даже координаты содержит).

Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основное изменение — удалено большое количество дублей городов.

Дабы не было двусмысленностей, обозначу суть. При приёме на новую работу мне дали тестовое задание, которое кратко можно описать так: «Написать аналог Glow для геовизуализации событий входа пользователей в кастомерку интернет-магазина». Проще говоря, необходимо мониторить лог системы на предмет возникновения определенных событий и в случае оных выполнять (в данном случае) отображение точки на карте, которая будет определяться IP-адресом пользователя. Цель реализации: создать приятную на вид «игрушку» для презентационных целей, способную погрузить смотрящего в нирвану гармонии и эстетического наслаждения. Основным условием было использование в процессе разработки стека Java-технологий, чем обусловлено принятие многих решений. Кроме этого, было решено реализовать это в виде одностраничного сайта. А поскольку с Java и web я был знаком крайне поверхностно (писал в основном на C/C++), пришлось многому научиться. Что ж, будем разбираться вместе.

Статья рассчитана на интересующихся и начинающих, однако не «разжевывает» простые вещи, с которыми можно ознакомиться с помощью документации или специализированных статей. Наиболее полезные ресурсы, ссылка на исходники (распространяются по лицензии BSD) и ссылка на рабочую версию приведены в конце статьи.

При разработке одного проекта встала задача – определить по IP-адресу посетителя его страну и город, на русском языке. Поиск готового решения оказался безуспешным – русскоязычные базы стран можно найти (например, wipmania.com), но баз городов нет. Помощь пришла из-за границы, в лице англоязычного maxmind.com. База была приведена к нормальному состоянию (MySQL) и частично переведена на русский язык с помощью нескольких справочников (~6,000 названий, с учетом городов-тезок ~15,500).   Результат этой работы доступен для свободного скачивания.

Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— база maxmind.com была объединена с базой городов России ipgeobase.ru (идея sky_lord)
— с помощью Переводчика Google были переведены на русский язык ~60,000 названий (идея neytrino), а затем с помощью Яндекс.Карт из них были отсеяны артефакты типа «Инь молодых» и «Авиаторов деревня»
— были удалены дубли и произведена оптимизация структуры базы.
Результат этой работы доступен для свободного скачивания.

Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— для перевода названий городов использован API Карт Google (идея chernikov)
— для поиска по странам СНГ подключена база geobaza.ru (идея derketzer)
Результат этой работы доступен для свободного скачивания.

Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основные изменения:
— за счёт новой базы ipgeobase.ru повысилась точность определения городов Украины
— из бесплатной версии базы geobaza.ru исчезли города, поэтому точность определения городов других стран СНГ понизилась
— добавлен скрипт, с помощью которого вы можете самостоятельно обновлять базу (без добавления новых городов и стран)
— таблицы net_ru_2 и net_su удалены из базы, изменены примеры запросов
Результат этой работы доступен для свободного скачивания.

Сегодня мы поднимем довольно старую тему про геолокацию по IP-адресу и новую про быстрые веб-сервисы без «языков программирования» . Также мы опубликуем готовый образ контейнера, чтобы вы за 5 минут могли развернуть такой веб-сервис у себя.

Наша компания занимается созданием Интернет-магазинов запчастей на собственной SaaS-платформе (ABCP.RU), а также у нас есть несколько связанных проектов, например, сервис поиска запчастей 4MyCar.ru.
Как и многие другие веб-проекты, мы в своё время пришли к пониманию необходимости геолокации по IP-адресу. Например, сейчас она используется на 4MyCar.ru для определения региона (при первом входе на сайт регион автоматически устанавливается именно так).



Аналогично производится выбор ближайшего к клиенту филиала магазина на сайтах клиентов платформы ABCP.

Предположим, что апокалипсиса не будет. Неверный подход к безопасности новых устройств и софта не приведет к массовому выходу компьютерных систем из строя: ПасьянсОфис не упадет, светофоры не погаснут, машины с автопилотом без проблем довезут людей до дома. Это не значит, что можно кодить безответственно: никто ведь не умрет? Потрясающую историю на прошлой неделе раскопала редактор издания Fusion Кашмир Хилл. В 2002 году компания MaxMind разрабатывала новый сервис, позволяющий примерно определить координаты сетевого адресата по IP. В процессе разработки понадобилось ввести дефолтные координаты. Дело не в том, что это требовалось клиентам. В статье этот момент не раскрывается, но вполне можно представить, что так решил один из разработчиков, потому что все так делают и удобно. Чтобы система не падала от пустой переменной и не происходило деление на ноль.

В константу забили округленные (38.0000,-97.0000) координаты географического центра США и в общем-то быстро забыли про этот рутинный эпизод. А к жителям дома рядом с городком Потвин в штате Канзас через некоторое время начали приходить странные люди. Приезжали скорые. Приходили агенты ФБР в форме и в штатском. Налоговики. Коллекторы. Звонили разъяренные владельцы сайтов, которым приходил спам, и требовали прекратить сейчас же. Кто-то даже угрожал, а на аллее возле дома ночью поставили разбитый унитаз. Пожилой владелице дома и арендаторам не повезло оказаться в округленном до градусов центре страны. Все адреса, координаты которых компании MaxMind не удалось определить, указывали на дом в Канзасе, всего более шести миллионов IP. Кашмир Хилл связалась с MaxMind, и там были очень удивлены. Компания ведь всегда говорила, что координаты дает примерные, и они не должны использоваться для идентификации конкретных адресов и домов. Проблема в том, что абсолютно все, вплоть до медиков и ФБР, именно так их используют.

Предположим, что апокалипсиса не будет. И очень хорошо, что так. Но технологии все больше влияют на нашу реальную жизнь, иногда самым непредсказуемым образом. Ошибки и уязвимости в софте и железе не всегда приводят к трагедиям (хотя иногда таки приводят). Безответственная разработка медленно и почти незаметно снижает качество нашей жизни. И чем дальше мы будем идти от точки «теперь питание компьютера можно отключить» к постоянному нахождению в сетевой среде, тем больше будет новых возможностей, но и проблем тоже.

Для московских IP, кстати, та же база дает координаты Кремля. А в географическом центре России никто не живет. Перейдем к новостям недели. Предыдущие выпуски тут.