Pull to refresh

Сравнение WIPmania и MaxMind баз GeoIP

Lumber room
В связи с появившийся альтернативой базе MaxMind решил сравнить на сколько отличаются эти базы. Сравнивается именно отличия, а не правильность/неправильность определения.
Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 1.4K
Comments 2

Быстрое определение местоположения по ip в postgresql

PostgreSQL *
В этом топике я хочу рассказать о задаче, очень часто встречающейся в веб-проектах — определение местоположения по ip-адресу. Начну с того, что для того, чтобы определить местоположение пользователя — нужна некая geoip база. Приведу здесь два популярных бесплатных варианта:
IpGeoBase — очень хорошая бесплатная база, но, к сожалению, только по российским ip-адресам.
MaxMind — огромная база по ip-адресам всех стран. Предоставляют бесплатную lite-версию базы. Точность базы по российским ip-адресам не настолько хороша, как у IpGeoBase. Также предоставляют некое API для работы со своей базой, которое позволяет производить выборки очень быстро.

Допустим вы скачали эти базы и залили их в таблицы вашей БД Postgresql (сама закачка — несколько out of scope, если у кого-то возникнет желание — я могу в будущем рассказать о том, что такое команда COPY и с чем ее едят). В общем случае вы получите таблицу такой структуры:

startip endip location_id
2130706433 2130706433 1

Здесь:
startip — это начало блока ip-адресов в формате long
endip — конец блока ip-адресов в формате long
location_id — идентификатор локации (город, регион, страна и т.д., maxmind даже координаты содержит).

Задачу поставили. Теперь рассмотрим как ее решать.
Total votes 47: ↑41 and ↓6 +35
Views 14K
Comments 29

База GeoIP – страны и города

Website development *
При разработке одного проекта встала задача – определить по IP-адресу посетителя его страну и город, на русском языке. Поиск готового решения оказался безуспешным – русскоязычные базы стран можно найти (например, wipmania.com), но баз городов нет. Помощь пришла из-за границы, в лице англоязычного maxmind.com. База была приведена к нормальному состоянию (MySQL) и частично переведена на русский язык с помощью нескольких справочников (~6,000 названий, с учетом городов-тезок ~15,500).   Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 120: ↑101 and ↓19 +82
Views 68K
Comments 134

GeoIP – страны и города, декабрь 2010

Website development *
Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— база maxmind.com была объединена с базой городов России ipgeobase.ru (идея sky_lord)
— с помощью Переводчика Google были переведены на русский язык ~60,000 названий (идея neytrino), а затем с помощью Яндекс.Карт из них были отсеяны артефакты типа «Инь молодых» и «Авиаторов деревня»
— были удалены дубли и произведена оптимизация структуры базы.
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 67: ↑63 and ↓4 +59
Views 2.5K
Comments 56

База GeoIP – страны и города, январь 2011

Website development *
Вышла в свет новая версия русскоязычной базы данных стран и городов. Основные изменения:
— для перевода названий городов использован API Карт Google (идея chernikov)
— для поиска по странам СНГ подключена база geobaza.ru (идея derketzer)
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 91: ↑88 and ↓3 +85
Views 11K
Comments 49

База GeoIP – страны и города, июнь 2011 (+скрипт обновления)

Website development *
Вышла в свет обновленная версия русскоязычной базы данных стран и городов. Основные изменения:
— за счёт новой базы ipgeobase.ru повысилась точность определения городов Украины
— из бесплатной версии базы geobaza.ru исчезли города, поэтому точность определения городов других стран СНГ понизилась
— добавлен скрипт, с помощью которого вы можете самостоятельно обновлять базу (без добавления новых городов и стран)
— таблицы net_ru_2 и net_su удалены из базы, изменены примеры запросов
Результат этой работы доступен для свободного скачивания.
Читать дальше →
Total votes 88: ↑87 and ↓1 +86
Views 11K
Comments 35

Визуализируем геоинформацию из логов на web-карте в реальном времени

Ajax *JavaScript *Java *
Tutorial


Дабы не было двусмысленностей, обозначу суть. При приёме на новую работу мне дали тестовое задание, которое кратко можно описать так: «Написать аналог Glow для геовизуализации событий входа пользователей в кастомерку интернет-магазина». Проще говоря, необходимо мониторить лог системы на предмет возникновения определенных событий и в случае оных выполнять (в данном случае) отображение точки на карте, которая будет определяться IP-адресом пользователя. Цель реализации: создать приятную на вид «игрушку» для презентационных целей, способную погрузить смотрящего в нирвану гармонии и эстетического наслаждения. Основным условием было использование в процессе разработки стека Java-технологий, чем обусловлено принятие многих решений. Кроме этого, было решено реализовать это в виде одностраничного сайта. А поскольку с Java и web я был знаком крайне поверхностно (писал в основном на C/C++), пришлось многому научиться. Что ж, будем разбираться вместе.
Статья рассчитана на интересующихся и начинающих, однако не «разжевывает» простые вещи, с которыми можно ознакомиться с помощью документации или специализированных статей. Наиболее полезные ресурсы, ссылка на исходники (распространяются по лицензии BSD) и ссылка на рабочую версию приведены в конце статьи.

Читать дальше →
Total votes 37: ↑36 and ↓1 +35
Views 16K
Comments 24

База GeoIP – страны и города, сентябрь 2013

Website development *
Вышла в свет обновленная версия русскоязычной базы данных стран и городов.

База распространяется в двух модификациях: «Страны и города» (13Mb, после установки ~74Mb)  и «Только страны» (2Mb, после установки ~9Mb). Также в архивах находится небольшой пример использования базы данных на php.
Читать дальше →
Total votes 35: ↑31 and ↓4 +27
Views 69K
Comments 31

Сага о геолокации и как сделать гео-вебсервис на NGINX без движка базы данных и без программирования

NodaSoft corporate blog High performance *Website development *
Сегодня мы поднимем довольно старую тему про геолокацию по IP-адресу и новую про быстрые веб-сервисы без «языков программирования» . Также мы опубликуем готовый образ контейнера, чтобы вы за 5 минут могли развернуть такой веб-сервис у себя.

Наша компания занимается созданием Интернет-магазинов запчастей на собственной SaaS-платформе (ABCP.RU), а также у нас есть несколько связанных проектов, например, сервис поиска запчастей 4MyCar.ru.
Как и многие другие веб-проекты, мы в своё время пришли к пониманию необходимости геолокации по IP-адресу. Например, сейчас она используется на 4MyCar.ru для определения региона (при первом входе на сайт регион автоматически устанавливается именно так).



Аналогично производится выбор ближайшего к клиенту филиала магазина на сайтах клиентов платформы ABCP.

какие этапы мы прошли, как сделали свой веб-сервис и что в итоге получилось
Total votes 17: ↑12 and ↓5 +7
Views 17K
Comments 51

Security Week 15: Badlock не впечатлил, больше криптолокеров, еще одна уязвимость в iMessage

«Лаборатория Касперского» corporate blog Information Security *
Предположим, что апокалипсиса не будет. Неверный подход к безопасности новых устройств и софта не приведет к массовому выходу компьютерных систем из строя: ПасьянсОфис не упадет, светофоры не погаснут, машины с автопилотом без проблем довезут людей до дома. Это не значит, что можно кодить безответственно: никто ведь не умрет? Потрясающую историю на прошлой неделе раскопала редактор издания Fusion Кашмир Хилл. В 2002 году компания MaxMind разрабатывала новый сервис, позволяющий примерно определить координаты сетевого адресата по IP. В процессе разработки понадобилось ввести дефолтные координаты. Дело не в том, что это требовалось клиентам. В статье этот момент не раскрывается, но вполне можно представить, что так решил один из разработчиков, потому что все так делают и удобно. Чтобы система не падала от пустой переменной и не происходило деление на ноль.

В константу забили округленные (38.0000,-97.0000) координаты географического центра США и в общем-то быстро забыли про этот рутинный эпизод. А к жителям дома рядом с городком Потвин в штате Канзас через некоторое время начали приходить странные люди. Приезжали скорые. Приходили агенты ФБР в форме и в штатском. Налоговики. Коллекторы. Звонили разъяренные владельцы сайтов, которым приходил спам, и требовали прекратить сейчас же. Кто-то даже угрожал, а на аллее возле дома ночью поставили разбитый унитаз. Пожилой владелице дома и арендаторам не повезло оказаться в округленном до градусов центре страны. Все адреса, координаты которых компании MaxMind не удалось определить, указывали на дом в Канзасе, всего более шести миллионов IP. Кашмир Хилл связалась с MaxMind, и там были очень удивлены. Компания ведь всегда говорила, что координаты дает примерные, и они не должны использоваться для идентификации конкретных адресов и домов. Проблема в том, что абсолютно все, вплоть до медиков и ФБР, именно так их используют.

Предположим, что апокалипсиса не будет. И очень хорошо, что так. Но технологии все больше влияют на нашу реальную жизнь, иногда самым непредсказуемым образом. Ошибки и уязвимости в софте и железе не всегда приводят к трагедиям (хотя иногда таки приводят). Безответственная разработка медленно и почти незаметно снижает качество нашей жизни. И чем дальше мы будем идти от точки «теперь питание компьютера можно отключить» к постоянному нахождению в сетевой среде, тем больше будет новых возможностей, но и проблем тоже.

Для московских IP, кстати, та же база дает координаты Кремля. А в географическом центре России никто не живет. Перейдем к новостям недели. Предыдущие выпуски тут.
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views 5.7K
Comments 2

База GeoIP для геолокации по IP-адресу превратила в кошмар жизнь женщины в Канзасе

Software

Геолокация IP-адресов в мире

В часе езды от Уичито (шт. Канзас) есть маленький городок под названием Потвин, а в нём — ферма площадью 1,5 км2. Единственная жительница этой фермы, 82-летняя Джойс Тейлор, уже несколько лет подвергается нападкам, телефонным угрозам и необъяснимой агрессии людей со всего мира, визитам агентов ФБР, коллекторов долгов от Налоговой службы, карет скорой помощи в поисках жертв самоубийств и полицейских офицеров в поисках пропавших детей. Однажды кто-то оставил разбитый унитаз на дороге, в непонятной попытке что-то сказать.
Читать дальше →
Total votes 37: ↑31 and ↓6 +25
Views 64K
Comments 84

AWS Athena: GEOIP lookups

Amazon Web Services *Big Data *
Translation
Tutorial

PS. Это перевод моей статьи на английском. Давно я не писал на Хабре. Сразу прощу прощения, много на русском не пишу. Не скажу что у меня и английский шикарный. Но к сожалению проживание за рубежом ухудшает мой русский и медленно развивает английский.

Если вы пользуетесь AWS Athena для анализа логов, то часто хочется найти источник IP адресов. К сожалению AWS Athena не предоставляет этого из коробки. К счастью MaxMind предоставляет базы данных GeoIP таблиц, которые позволяют вычислить местоположение по IP адресам. Есть платная и бесплатная версия.

В этой статье я покажу как создать AWS Lambda функцию, которая каждую неделю будет скачивать последнюю базу данных с MaxMind на S3. Эту базу данных можно использовать в AWS Athena для написания SQL запросов для анализа, например, веб логов.

Читать далее
Total votes 3: ↑3 and ↓0 +3
Views 1.4K
Comments 0