Базы хостинговых компаний, датацентров, прокси, ботов и сателлиток.

    Я уже представлял здесь несколько месяцев назад наш геолокационный проект WIPmania. Сейчас мы открываем обещанные базы IP-адресов («сервис-коды»), за которыми скрываются «пользователи» с неопределяемым местоположением.
    «Нормальный» пользователь скорее всего не ходит в интернет через анонимный прокси или свой VPN, инсталлированный, скажем, на сервере в Китае. Точно так же сервера не всегда используются только в мирных целях, но и для сканирования, спама или мошенничества.


    Главная идея сервис-кодов — это определение
    • в первую очередь, всех хостинговых компаний и, соответственно, запросов с серверов, расположенных во всех датацентрах мира,
    • скрытых серверных площадок (обычно использующихся спамерами и кард-фродерами),
    • free, анонимных, частных и закрытых прокси, SOCKS-прокси, веб-анонимизаторов,
    • серверов ТОР-Сети,
    • поисковых ботов, аггрегаторов, скрытых поисковых ботов и хитроботов,
    • спутниковых провайдеров,
    • мобильных клиентов, использующих международные прокси (как пример: Opera Mini)
    В базы не включены корпоративные, университетские и подобные им прокси и NAT-сети, так как их пользователи обычно локальны.

    Определение адресов, входящих в сервис-коды, будет полезно и интересно практически каждому серверу, имеющему выход в интернет, от блогов и форумов до онлайн-магазинов и серверов банка для
    • борьбы с мошенничеством с использованием кредитных карт, с накрутками в рекламных сетях,
    • борьбы с дефейсами, со взломом серверов,
    • защиты серверов и контента от анонимного доступа,
    • возможности определения воровства контента,
    • как дополнительная помощь в борьбе со спамом и хулиганством
    • против несанкционированного массового сканирования сервера, если запрашивающий притворяется обычным пользователем.
    На данный момент система в обкатке. Поэтому из всех сервис-кодов открыты пока только сателлитки и боты (за исключением хитроботов). Остальные будут несколько позже.

    А здесь можно ознакомиться с техническими деталями
    Поделиться публикацией

    Комментарии 42

      0
      Отличный проект!
      На основе его напишу себе маленькую тулзу для ручной проверки странных пользователей =)
        +7
        Все кардеры давно используют прокси на ботнете. Ботнет на обычных компах с виндой.
          0
          Да, вы правы, часть чёрных дел делается через боты, только вот принадлежность к такой сети практически нереально определить, мы стараемся сделать максимум, что вообще реализуемо.
          Если бы создать технологию достоверного определения бот-сетей, то у нас есть зарезервированные коды
            –25
            Там где стоит пиратская винда — с 99% вероятности — бот
              +5
              Суровое умозаключение.
                +1
                не порите чушь, сударь :)
            0
            Единственный вопрос про контроль количества запросов, проверяется ли как-либо введённый [URL]?
            Просто не случится ли такого что кто-то будет вводить например такой же url который буду использовать я (даже если это имя моего домена) и в случае этого (наврядли конечно) меня до конца дня отрежет от сервиса?

            Если бы была проверка по обратной зоне или хосту, было бы надёжнее…
              0
              Проверка идет по IP и домену, поэтому навредить смошут только себе. По обратному хосту нет смысла, т.к. у многих по умолчанию остается, что провайдер дал
              –25
              как говорится каникулы начались :)
              если по делу — желаю скорейшей смерти вашему проекту, анти-спаммеры — большее зло, чем спаммеры

              ИМХО расстреливать нужно за такие дела если честно (нарушение связности сети)
                0
                В данный момент работает только geo_ip?
                Больше мне ничего не удалось увидеть…
                  +2
                  Чёрт побери! Я ненормальный пользователь… Я хожу через свой VPN-сервер, установленный в США.

                  Почему? Да, например, потому что в wifi-хотспотах зачастую заблокированы все порты, кроме HTTP, HTTPS и ICQ, а мне надо и в svn ходить и в ssh по нестандартному порту.
                    0
                    Я вас поддерживаю, сам использую VPN установленный у одного хостера.
                    Но сайты имеют тоже право знать об этом, кроме «хороших» VPN есть и «плохие», и их много
                      0
                      Сайты, конечно, имеют право посмотреть в whois и dnsbl, но любая информация должна быть осмысленна, на качество многих dnsbl админы почтарей ох как жалуются. :-)
                        0
                        в whois-е лежит инфо о телеком-компании (хорошо еще если правдивая инфо), а не о том, что за этим стоит (например, что там хостер)
                        мы не указываем как dnsbl — это «спамер», мы даем адреса, где стоят сервера (и т.п.). И если там сервера есть, то тут уж ничего не поделать — они существуют.
                          0
                          На самом деле это логичное продолжение идеи dnsbl DUN (от Dial-Up Network), куда заносятся адреса «обычных пользователей»… Тех самых обычных пользователей, с затрояненных машин которых рассылается через ботнеты 80% спама :-)
                            0
                            диалапщики и сервера — все же несколько разные вещи :)
                              0
                              Две стороны одной медали я бы сказал. :-)
                      0
                      Полностью солидарен! Я всё время использую vpn-соединение, причём сеть довольно большая для нескольких человек использующих её. Так же я люблю качать контент со своего сервера, который, конечно, находится в датацентре. Я буду очень разочарован, если кто-то мне будет мешать обращатся с моего сервера, со совершенно законными намерениями.
                        0
                        А никто и не запрещает :) эти базы лишь инструмент. Сайты сами должны принимать решение, что делать в конкретных случаях.
                        Например, кому-то не нравися что кто-то комментирует используя Тор. А кто-то хочет ввести премодерацию для комментариев с датацентров, потому как 99% — это спам, особенно если хостеры зарегистрированы где-нибудь на вирджинских остравах, а сервера физически находятся в Цюрихе или Франкфурте.
                          +2
                          Да, но «если инструмент МОЖЕТ быть использован не правильно, он БУДЕТ кем-нибудь использован не правильно», это тоже стоит, пожалуй, учитывать.
                      0
                      Может, я не правильно устанавливаю плагин, но после установки его в лису №3 под мак ось — плагин есть только в списке дополнений, но нигде нет информации о нём фообще. даже в статусной строке.
                        0
                        честно говоря, не сталкивался с такой проблемой, мака нет, чтобы проверить, но видел ссылку на плагин на маковском разделе одного сайта со скриншотом, там все ок.
                        посмотрите в настройках «toolbar position», попробуйте поменять
                          0
                          странно, что эта штука упорно не хочет влазить в статус бар…
                            0
                            много плагинов? :)
                            уберите в опциях отображения всего кроме флага, должно влезть
                              0
                              ) в статус баре ничего нет. и версия ФФ свежая без плагинов. это меня и смущает… возможно, интерфейс доступа к статус бару для плагина изменился в новой версии…
                                0
                                расширение работает без проблем в версиях FF 2 и 3 под линуксом, XP, Vista. Под маком как я уже говорил — не тестировал, но видел скриншот.
                                С FF 3.1 еще не тестировал, поэтому туда даже не поставится
                                если можете подробней описать, что есть и где, напишите плиз через форму контакта на сайте
                                  0
                                  Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.0.5) Gecko/2008120121 Firefox/3.0.5
                                  расширение ставится, но нигде кроме списка плагинов не отображается…
                                    0
                                    Та же самая проблема, только под Windows XP. FF 3.0.5.
                                    Установлены:
                                    Яндекс.Бар
                                    YSlow
                                    WorldIP
                                    Torbutton
                                    JavaScript debugger
                                    IE Tab
                                    GridFox
                                    FireBug
                                    ChatZilla
                                    ADblock Plus
                                    abcTajpu
                                      0
                                      а говорят что работает без проблем…
                                        0
                                        блин, в последней версии была мелкая ошибка, обновил до 1.1.3, теперь должна работать
                                          +1
                                          теперь спасибо. работает)
                                          главное в репозитории мозиллы обновление добавьте. там много лудей качают)
                        0
                        Я не понимаю как второй список связан с пользователями пользующимися инструментами из первого.
                        • НЛО прилетело и опубликовало эту надпись здесь
                            +1
                            зачем более сложный XML для такого простого ответа?
                            А флажок есть: Ваш IP и флаг
                            • НЛО прилетело и опубликовало эту надпись здесь
                                0
                                А что вам мешает свою конструкцию img сделать?
                                Важен ведь параметр url: api.wipmania.com/myflag.png
                                все остальное как угодно
                              –1
                              уже хрен знает сколько лет есть maxmind — быстрее и точнее в мире нет. хреново ищите.
                                0
                                >быстрее и точнее в мире нет
                                это рекламная акция? и кто вам это сказал? уже не они ли сами? :)
                                возьмите примеры отсюда
                                www.wipmania.com/ru/blog/why-worldip-data-rather-than-whois-data-examples/
                                и проверьте на платной версии максминда у них на главной странице
                                • НЛО прилетело и опубликовало эту надпись здесь
                                    0
                                    там еще есть бесплатная база, к? )

                                    платное решение это поиск по zip\компаний\районов и прочего. Для определения страны и города, хватает бесплатной базы.

                                    собирать ничего не нужно — geolite.maxmind.com/download/geoip/api/php/
                                0
                                Вот такой вопрос: Допустим, вирус заразил компьютер и он стал использоваться как прокси, спам-релей, и т.п.…

                                Через какое-то время, хозяин компьютера хватился, переустановил ОС, настроил FireWall. Как IP этого компьютера будет удален из базы?

                                т.е., базы скорее всего имеют «срок годности»?
                                  0
                                  да, конечно, прокси проверяются каждый день

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое