Шантаж 2: спасение от атаки

    В предыдущей статье я остановился на том, что началась атака на наши сайты. Сразу хочу сказать всем спасибо за помощь и советы.

    Мне выпало заниматься только технической стороной дела, все юридические и уголовные моменты взяли на себя другие люди.

    В кратце расскажу что у нас 2 проекта подвергшиеся атаке по одной и той же схеме.
    Оба проекта на разных хостингах, оба на виртуальных.

    Когда началась атака первый проект мы решили сразу перекинуть с виртуального хостинга на выделенный сервер, чтобы взять управление в свои руки. Хостер сказал, что ему нам помочь ну совсем нечем.

    Второй проект было решено отдать другому умелому хостеру под защиту. Был произведен обзвон хостеров с целью выяснить, кто возьмется и за сколько. Ник.ру предложил нам свой 301 тариф, и сказал что он включает услуги по защите от Ддоса.

    Как только 2й проект переехал на Ник и притянул за собой трафик хостер слегка струхнул и хотел отмазаться :).
    «Добрый день.
    nginx относится к стороннему ПО, которое пользователь устанавливает на сервер
    самостоятельно. Подробная инструкция по установке nginx на наш хостинг имеется
    здесь:
    forum.nic.ru/showthread.php?t=197»


    Пришлось напомнить о чем шла речь по телефону, хостер взялся за дело и сайт худо бедно начал открываться через раз на третий.

    Тем временем 1й сайт переехал на ВПС русоникса. Но нам не дают поставить наше ПО:
    Сейчас проводятся работы обновление репозитория физического сервера.

    Установить пакеты Вы сможете завтра после окончания работ на физическом сервере.

    Всего доброго.


    День заканчивался неутешительно. Я пишу свой хабратопик, люди начинают давать советы. Практически сразу у меня в аське появляется человек по имени darka на тот момент ему почему-то не нашлось места на хабре ;)

    Он предлагает безвозмездную помощь и защиту одного из наших проектов, хочет стать фаерволом между нами и ддос-атакой.
    Отмечу, что он был не единственный, кто откликнулся и предложил нам помочь безвозмездно или за деньги.

    На следующий день было решено отдать 1й проект висящий на русониксе под опеку darka.

    Проект висящий на Нике тем временем перестал открываться. На запрос в Ник ответ был таким:

    На данный момент атака на Ваш сайт продолжается (порядка 3560 одновременных
    соединений).

    Комплексом защиты от атак заблокировано несколько тысяч IP-адресов, с которых
    ведется атака.

    Однако на данный момент нагрузка на сервер, порождаемая Вашими скриптами, все
    еще не позволяет ему функционировать корректно.

    Рекомендуем Вам заменить страницы, выдаваемые при ошибках (401, 403, 404, 500),
    а также индексный файл Вашего сайта (главную страницу) на HTML (без динамики и
    вызова CGI-скриптов).

    Понятно, что хостер начал сливаться. Позже он совсем блокирует наш сайт дабы не создавать нагрузку. Становится ясно, тут мы пролетаем.

    Тем временем darka борется с атакой на втором фронте, мы ему помогаем делая необходимые настройки на сервере русоникса (к тому времени наконец стало можно).

    От хотсера приходит письмо, с ответом на один из наших вопросов, вот его часть:Тем не менее, даже если настроить nginx нормально, то это не решит проблему с такой мощной атакой. Она очень серьезная, зафиксирована даже службой безопасности дата-центра РТКомм. Примерно с 12.05 до 15.25 данная служба даже включала специальный сервис Arbor по очистке нежелательного трафика и это должно было дать эффект. Сегодня уже нами, на корневом физическом сервере была включена фильтрация трафика, которая блокирует доступ с очень интенсивных IP, но даже и это не давало эффект…

    На данный момент мы видим, что сайт обрабатывается сторонним сервером:

    Мы пишем в руоникс письмо с просьбой не блокировать его айпи как ддосера.

    Пятница заканчивается, начинаются выходные, мы понимаем что оба сайта по прежнему в дауне.

    Но, ближе к ночи начинает работать через раз 1й сайт, с утра все также, к обеду он доступен полностью. Это darka не отставлял своих попыток нам помочь и добился своего!
    Свой метод борьбы он изложил в хабратопике.

    P.S. Мы отдали ему под защиту второй проект, уже не за бесплатно. Кроме того, этот человек ищет инвестиции для открытия своей компании по защите от ддос атак + cdn.

    P.P.S. на данный момент атака на нас закончена
    Share post

    Similar posts

    Comments 66

      +32
      Прям как остросюжетный детектив :-)
      Молодцы что справились.
      • UFO just landed and posted this here
        • UFO just landed and posted this here
            +9
            Мне нравится ваш стиль изложения. Очень интересно читать.
            Поздравляю с успехом.
              0
              Я тут подумал, а что бы не заюзать AppEngine для функции проксирования…
              По идее можно легкий скрипт написать для работы с ip-ами, и фильтровать особо активные да поддиапзоны. Я так понимаю особо много cpu и траф это не съест, да и 1GB и 6.5ч CPU нахяляву в сутки дают, да и запросов позволяют до 500 req/sec. А если что можно и доплатить немного. Единственно что AppEngine не поддерживет https и поддомены на собственном домене…
                +2
                в пике 11 мегабит =) да и запросов поболее было.
                  0
                  Ну так что запросов поболее не страшно, это й них втоматом обрежется, AppEngine не упадет :) А 11 мбит это за какой промежуток времени (я понимаю что маленький, но все же)? И вообще посуточно сколько трафа шло?
                    +3
                    11 мегабит в секунду, на протяжении 4х часов.
                      +1
                      посуточно не считал, не было такой необходимости.
                        +2
                        Если я все верно посчитал, то это обойдется в 11/8*(60*60*4)*(~0.11$) = 2.19$ за траф. Ну не дорого. За пределы 6.5 беспланных cpu при такой атаке тоже не выйти. Вообщем надо будет такой простенький скриптик написать для народу.
                      • UFO just landed and posted this here
                          0
                          У них поминутный пересчет квот, так что обрежется. Но понятно что это полностью не решет проблему, глобально решится когда они файрвол доделают, я им постоянно напоминаю об его необходимости в чате на irc, они вроде как что-то делают :)

                          Но это решение хоть может дать вероятность пробивание «не бота» на сайт. Да и основной сервер жив останется, винты греться не будут зазря :)
                        0
                        Позвольте несколько вопросов.

                        11 Mbit это общий трафик на сайт? А какова ширина канала вообще? Сколько запросов в секунду от ботов? Запросы на один и тот же урл или на разные?
                      +11
                      поздравляю!
                      молодцы, что не поддались на шантаж.

                      а терпилам, которые предлагали «откупиться» от шантажистов — антиреспект.
                        +9
                        хрен им, а не денег)
                          –4
                          вот такой?

                          или такой?
                            –8
                            че та не вставилась картинко

                            посвящение этим ддосерам: pics.livejournal.com/abpaximov/pic/002y28g9 вот ваши деньги
                            забирайте!
                      +2
                      прям как детектив читается. «кулхацкеров-ддосеров-спамеров» надо валить!
                        +2
                        Следил за вашем делом, рад, что у этих уродов ни чего не вышло! Пользователю darkaреспект!
                          +15
                          Классный сюжет. По законам жанра, теперь нужно чтобы сам дарк и был организатором ддос атак, чтобы вот начать говорить о своем сервисе по защите от них. Ведь кто лучше всех разбирается в дос аттаках, как раз сам доссер.)
                            +4
                            не сметь подозревать дарка! )
                              +2
                              Я не подозреваю, просто предположил. Ведь все логично же)
                                0
                                так остросюжетней будет))
                                  +3
                                  Подождите со своими спойлерами :) Дальше же не интересно будет.
                                0
                                %username% зачем ты минусуешь otaqsun? Он просто выразил досаду ( в завуалированной форме ), что его проект провалился.:)
                                  +1
                                  кстати. Был бы мой проект, я бы посчитал его удачным. Громадный PR проблемы, идеализация образа борцов с ддос атаками и т и тп. Ведь само собой понятно что больше заработаешь не рэкетом, типа я выключу мой ботнет, а на страхе что твой сайт могут заддосить, предоставляя грамотный сервис по защите от них.
                                  Поэтому я бы на месть мастеров ботнета, так бы и поступал. Сеял панику и ненависть к себе, параллельно под шумок организовав антиддос стартап(ы).
                                0
                                молодцы, скрипт киддеров на плаху — хотя вряд ли до них теперь доберешся
                                  +3
                                  Никаких переговоров с террористами! Начнёшь платить и станешь спонсоров будущих атак.
                                    +4
                                    лучше отдать деньги хорошему человеку за защиту, чем засранцам за шантаж…
                                    молодцы!
                                      0
                                      а меня юр. вопросы интересуют, вы в органы то пытались обращаться?
                                        0
                                        лично я нет. наши клиенты да-да )
                                        +16
                                        darka — отличный пример того, как можно не выделываясь сколотить себе имя и в будущем, я надеюсь, найти инвесторов и команду.
                                        Удачи тебе парень, ты молодец.
                                          +1
                                          да! =) если копнуть глубже, все хабрасообщество отлично сработало и пришло на помощь =) почитайте сколько там советов надавали
                                          +15
                                          Как будут результаты от «других людей» об юридических и уголовных моментах, расскажите, пожалуйста.
                                          • UFO just landed and posted this here
                                              0
                                              для начала привлечет небольшие компании, а потом как себя покажет, или превратится в очередную компанию однодневку.

                                              сейчас модно сначала экономить на штатном админе, а потом вырубать бюджет под информационную безопасность
                                                +5
                                                Однакож он отлично сработал и нам помог, отчего он не может помогать другим?
                                              • UFO just landed and posted this here
                                                  0
                                                  Да, там айпи Челябинска и Жуковского проскакивали)
                                                  Да сайты фирм чей бизнес завязан на интернет. Думаю они бы нас ддосили еще…
                                                  • UFO just landed and posted this here
                                                      0
                                                      логично, какова мораль?
                                                      • UFO just landed and posted this here
                                                          +2
                                                          на ошибках учатся. мы все извлекли свой опыт.
                                                  +1
                                                  молодцы вы и все кто вам помогал и пытался помочь!
                                                  и вас правда очень интересно читать!
                                                    –2
                                                    Понимаю, конечно, моя идея наивна.
                                                    Но почему атакуемую страницу (корень сервера, как я понимаю) не выложить простым статическим html? Ну и обновлять эту html-ку по крону раз в час.

                                                    А ещё можно для снижения ширины канала атакующего (бота) — в эту html-ку добавить пару скрытых ифреймов с тяжелыми картинками из гугла или ютуб.

                                                    А уже для зарегистрированных пользователей (которые не атакуют и не боты) — «полный фарш», но уже по другой ссылке с главной (которую устанавливать, к примеру, из ещё одного ифрейма специальным джаваскриптом). Тогда бот, если парсить джаваскрипт не умеет — не найдёт реальный URL входа.
                                                      –3
                                                      ДДОС софт кладет, канал забивает и т.п и оптимизации уровня веб-стрничек тут вообще ниочем. Учите мат.часть.
                                                    • UFO just landed and posted this here
                                                        +2
                                                        «все юридические и уголовные моменты взяли на себя другие люди»
                                                        Этот вопрос тоже осветите. В третьей части остросюжетной статьи :)
                                                          +1
                                                          Извиняюсь, что немного оффтопика привнесу… Но непосредственно связанного с темой.

                                                          Я смотрю на Хабре очень много внимания Энджин Х посвящают… А что делать, если сервер под виндой? Я сейчас не имею ввиду сборку nginx под Win, а конкретно связку Server 2008 + Apache 2 + PHP 5.2 как CGI + MySQL 5 + Zend (если это имеет значение) на дедикейтед машине уровня двухядерный оптерон, 2 Гб памяти, 7200 харды в рейд 1 фактически десктопные (ну типа серверная серия). Канал гигабитный.

                                                          Поясню почему ситуация такая. Дело в том, что изначально планировалось под проект 2 сервера — один на сайт (где я хотел развернуть по всем канонам никсы с энжин эксом, мемкэшами и прочими обязательными для хайлоад проекта вещами), и один на видеоретранслятор (основная функция сайта — вещание видео в реальном времени на пару тысяч человек, и этот ретранслятор работает как прокси — забирает входящий одиночный ручеек видео и множит на нужное количество подключающихся клиентов), который имеется без исходников и только в виде под винду. Потом немного бюджет сократили, и пока пришлось развернуть описанные выше вещи на винде (без ретранслятора то никак вообще, а описанная связка в любом случае лучше, чем виртуальный хостинг), т.е. машина одновременно и сайт хостит, и видео передает.

                                                          Пока нагрузки нет ни на сайт, ни на ретранслятор. Спрогнозировать что там будет, если зайдет посмотреть видео 1.5-2к людей я тоже не в состоянии. Но очевидно, что и без ддоса будет тяжело. Или я пока рано боюсь, и пару тысяч человек на самом обычном апаче (ДЛЕ движок и пхпбб на форум) такой серв вытянет и так без проблем? К сожалению, опыта в таких вещах нет, поэтому вынужден обратиться с таким вопросом — сильно не пинайте!

                                                          Ну и, собственно, второй вопрос. А если ддос? Посоветуйте пожалуйста что почитать по оптимизации апача, и вообще что можно сделать с ним, если ддос? Заранее спасибо!
                                                            0
                                                            <irony>Почитайте статью «Как настроить апач чтобы любой DDOS был не страшен» ))</irony> если бы всё было так просто…
                                                              0
                                                              Никак.
                                                              Apache в текущих условиях НЕ_жилец. Тем-более с медленными win-сокетами.
                                                                0
                                                                Можете попробовать diskcryptor.net/_tools/mod_limit_v2.zip, от слабого ддоса, до 10к ботов, поможет. От более сильного, до 50к, поможет mod_limit + какой-нибудь быстрый фаерволл. От более сильного ничего не поможет, ибо ляжет канал.
                                                                  0
                                                                    0
                                                                    Я не говорю, что это панацея от всего. Но лично мне этот модуль помогал, может и вам поможет. Попробовать стоит.
                                                                      0
                                                                      откройте много сокетов к своему apache серверу и забудьте о них clientside.
                                                                      успех гарантирован. запросов нет, под ratelimit они не попадают.

                                                                      сервер холодный, но ничего не отдает.

                                                                      еще раз: apache в чистом виде НЕ_ЖИЛЕЦ.
                                                                      убирайте его за современный веб-сервер на ваш выбор.
                                                                      стройте разумные query rate политики.
                                                                  0
                                                                  Пара тысяч может положить сам ретранслятор. Смотря, правда, как он трафик раздает — если как FMS, перепаковывая на лету, то почти гарантированно не хватит процессора, если там просто входящий поток режется и раздается, то по IO. Советую пару десятков тестовых клиентов на внешних хостах запустить (просто потоки выкачивать) и посмотреть что происходит.
                                                                    0
                                                                    Нет, слава богу сам ретранслятор не прожорлив! При 40 коннектах по мегабиту загрузка проца болтается в район 1-3% (столько же, сколько и вообще без каких-либо коннектов), и памяти съедается 3-5 Мб. Т.е. за эту часть я спокоен, больше волнует сам Апач…
                                                                  0
                                                                  А как с оплатой паразитного трафика?
                                                                    0
                                                                    Оплатите.
                                                                    Именно поэтому Телко вообще не интересуют DDoS до тех пор пока это HTTP DDoS.
                                                                    Для них это просто траффик за который вас хорошо можно побиллить.

                                                                    Совсем другое дело когда начинает лететь в хороших обьемах мелкая udp нарезка которая «выдувает» весь MLS кэш на свитчах. Тогда да, тогда они начинают чесаться… как ужики на сковородке;)
                                                                    +1
                                                                    Это вирусный маркетинг!!! Darka пиарится!!!

                                                                    (Тут, если что, АЙРОНИ!!! Просто не удержался :).)
                                                                      0
                                                                      Один из вариантов защиты от DDoS web-приложений — использование статической индексной страницы с js-вставками, которые генерируют уникальный id сессии на основе некоторых внутренних переменных.
                                                                      Все динамические части приложения перед инициализацией проверяют данный id и в случае несоответствия завершают работу.
                                                                        0
                                                                        Вы допустите ботов до вашего скриптового бэкэнда, который как правило очень и очень конечен. Собственно вместо 5тыс ботов понадобиться 10тыс…
                                                                        Но итог все тот-же — вы ляжете.
                                                                        0
                                                                        Купите железку, или наймите сисадмина — соберет прозрачный мост, на котором iptables+bash-скрипты по фильтру.

                                                                        Zywall за свои 70к умеет очень много, нам спасает целый парк проектов от ддоса даже на 25й порт — от брутфорсов и вирусов. Там же, за дополнительную плату, ставится модуль защиты от Ддос от Касперского — мега решение!
                                                                          0
                                                                          Нужно менять сервер на lighthttpd, регулярно настраивать ip-tables (вписывать в black list IP ботов), а первейшее средство для блокировки ddos — смена порта по-умолчанию, т.е. не 80, а к примеру 8081.
                                                                          Также помогает выставление авторизации Authentication required, но тут проблема что не все пользоватетели смогут пройти такую авторизацию.
                                                                          Ну и конечно если боты «тупые» т.е. не дают «User-Agent» и некоторые другие звголовки (http-headers), то задача упрощается.
                                                                          А вообще полезно иметь резервный сайт на другом сервере и в случае атаки на основной сайт переписывать NS записи DNS, направляя трафик на резервный сайт, таким образом, IP сайта меняется, люди ходят на резервный сайт (как только записи DNS их провайдеров обновятся) а боты долбят старый сайт.
                                                                            0
                                                                            lighthttpd/cherokee/nginx — если коротко, то любой современный веб сервер с настраиваемыми client_buffers…

                                                                            User-Agent по факту дают сейчас все боты. Технику можно считать устаревшей.

                                                                            Большинство ботнетов следуют именно за DNS.

                                                                          Only users with full accounts can post comments. Log in, please.