Приветствую.
После событий 31 марта мы окончательно решили переезжать с Каравана.
Для тех кто не знает или забыл, один из самых известных Российских дата-центров 31 марта несколько раз подряд обесточил своих «пациентов». В их числе оказались Хабр, Фриланс, Лепра и прочие, среди которых были и мы. А т.к. мы хранили ДНС записи у себя на сервер, считая что сервер в надёжных руках, мы остались без проектов почти на сутки.
Вывеска при входе в ДЦ. Для меня, одного из основателя компании 2Товарища, она позитивная. Но для десятков клиентов, посетивших ДЦ ночию 31 марта, она вызывает не очень приятные воспоминания.
В этой статье нет «проплаченной рекламы», я называю вещи, компании и людей своими именами.
Спасибо хабрасообществу, многие из советов «куда податься» были очень «в кассу». Очередной раз поймал себя на мысли, что проще и дешевле арендовать за рубежом качественные сервера, нежели покупать и размещать сервера в России. Удивительно, но за аренду 1U сервера с 8-ю гигами оперативки, ксеонами и гигабитным каналом в Голландии я отдаю 152$ (курс ЦБР сейчас 27,9, т.е. это 4436р) в месяц. Тогда как за размещение моего сервера и аренду 100mb порта в Караване без малого 5300 рублей.
После долгих раздумий, учёта опыта хабрапользователей и мнения сиадмина, я больше склонялся к hetzner.de. Пока не получил интересное личное сообщение от хабрапользователя:
«Приветствую, а переезжайте к нам в Голландию, пинг будет отличный и мы вам скидку дадим и админы помогут переехать. serverclub.com или вот habrahabr.ru/company/serverclub/blog/115169/».
Кстати, лирическое отступление. Мы покупали у каравана услугу защиты от ДДоСа пол года. Без малого, это +30к в месяц. Менеджер, Сергей Корсунов, уверял, что данная услуга подразумевает подключение циски, которая гарантирует защиту от атаки в 1Гигабит. Через пол года аренды этой штуки, к нами пришла атака в 100+мегабит (ориентировочно по циклам админ опередили 150 мегабит). Мы легли. На вопрос «почему?», караван сначала не мог ответить, потом ответил «циска не настроена, атака не блокируется», потом ответил «дело в том, что атака больше 100 мегабит, больше вашего канала», но всё же остановился на версии «циска не была настроена верно». На мои попытки получить записи разговоров с менеджером караван ответил «мы записи не ведём».
В караване мы держали 2 своих сервера. Один был под базу, другой под front+back. В серверклабе я взял 2 сервера под front+back и один под базу. Фронтам достались самые простые конфигурации, база получила крутой сервак. По деньгам получилось чуть больше чем в Караване, но меня очень сильно привлекал гигабит, брендовые сервера Dell и просто было интересно. Стоит отметить, что я не фанат брендов, по мне чем дешевле, тем лучше. Я правда не понимаю, зачем брать какой-то там брендовый сервер и переплачивать за бренд, когда можно собрать небрендовый из комплектующих и получить тот же результат чуть не в 2 раза дешевле. Да, надо знать тонкости комплектующих, кто и с кем лучше пашет, но это не стоит x2 стоимости. Но за такую цену, как за границей… это как покупать литр Jameson в Duty Free за 700 рублей, тогда как в России самый дешёвый я нашёл за 1000 с копейками (оптовый поставщик). Приятным бонусом для был встроенный модуль KVM. Т.е. данные сервера у серверклуба были оснащены модулем KVM, что означало, что я всегда и в любой момент могу подключиться на KVM, совершенно бесплатно. В своё время такое помню появилось у серверов SUN. Стоит отметить, что 31 марта, в караване, когда был полный звиздец, очередь на KVM достигала нескольких часов, при этом KVM оставался платной услугой. Мы могли себе позволить приехать в ДЦ и разобраться на месте с сервером, который по факту просто порушил часть ФС и ожидал ручного запуска fsck из-за экстренного отключения питания. А как быть, например, региональным клиентам? ждать несколько часов KVM, оплачивать его и либо запускать в ручном режиме fsck, либо прощаться со своей ФС? Караван — вы уроды.
В общем я остался доволен выбором и дал задание админу переносить всё на «Серверклаб». Перенос не обошёлся без осложнений. Серверклаб легко и быстро выделил сервера под фронты, но тянул с мощным сервером под базу. Сначало его не было в ДЦ, потом его оказывается настроили не так. Ребята сразу выделили «аналог» чуть менее слабой комплектации, мол сначала тут, а как настроим тот — переедете. Геморрой, но в общем приятно… переживают…
Я долго переживал за пинг, но в итоге увидел, что он не на столько отличается от России, чтобы оставаться в стране. Скажем, если в караване время ответа запросов составляло в среднем 80ms, в Серверклубе с американских серверов время ответа сервера составило 200ms. Чуть больше чем в 2 раза, но для пользователя совершенно незаметно.
Через пару дней мы полностью переехали и зажили в Голландии на качественных гигабитных Американских каналах. Ребята из Серверклаба, перекрестившись, продолжили свою работу. Я не самый простой клиент и активно пользовался «индивидуальным подходом» к клиентам. Низкий поклон менеджерам, им доставалось по полной… Но мы переехали. Счастью не было предела. Как вдруг… проснулись конкуренты. Мы являемся достаточно уникальным сервисом в рунете. У нас лишь 3-4 конкурента, что появились позже нас. Мы предоставляем сервис обмена заказами такси для таксопарков Москвы, Питера и других регионов и являемся самым крупным «обменником» такси. В те сутки что мы не работали и последующие сутки нестабильной работы, клиенты частично перекочевали к конкурентам. Мы не в обиде, это нормально. Скажем, если mamba.ru закроется, все пересядут на loveplanet.ru и это нормально. Однако как только мы запустились обратно, конкуренты снова «просели» до своих обычных цифр и это, видимо, им не понравилось.
На нас пошли DDoS атаки…
Стата серверклаба зафиксировала 1гигабит входящего траффика. Больше стата зафиксировать физически не могла. Ребята с серверклаба сказали что в тот момент общий вход на сервер увеличился на 4-5гигабита в секунду.
Я давно думал отдать защиту от ДДоС профессионалам, но хотелось самому побеждать ДДоС. Путём тюнинга кода и nginx`а и в общем это получалось, пока атака не выросла шире канала.
Было часов 10 вечера. И адрес qrator.net набирался уже не первый раз. Ребята заявляли что работают без выходных, круглосуточно ) это был хороший способ проверить.
Ранее я слышал о кураторе, точнее о МГУшниках, которые бесплатно защищают сервера от ДДоСа, изучая атаки. Ныне они переросли в платный сервис куратор.нет, что в общем логично. Первым моим вопрос, когда я дозвонился до них, был «Зачем вы нас ДДоСите?». Я правда не представлял себе сколько может стоить атака в 4гигабита и, главное, кто располагает такими ресурсами. Менеджера вопрос поверг в ступор. Через пол часа мы уже обо всём договорились и примерно через час встали под их защиту. Атаки не прекращались ещё недели две, но они уже не были основной проблемой и ушли на второй план.
Всё дело в том, что мы оказались ужасными клиентами не только для серверклаба, но и для куратора. Представьте… Один сервис, полезная посещаемость 500 (!!!) уникальных пользователей в день. Не 500к, а 500. Меньше, чем у одноклассники.км.ру 3 сервера и канал в гигабит. И вот только не надо рассказывать мне о оптимизации кода, базы итп. Я держал посещаемость в 1 млн. хитов на nnm.ru на относительно слабом сервере в своё время. И эти 500 хостов надо было фильтровать от сотен тысяч ботов.
Куратор не справлялся со своей задачей, он то и дело, блокировал полезных клиентов. Стоит ли повторять, что имея всего 500 полезных хостов, нам был важен каждый. Совладельцы ресурса настаивали на отказе от «Куратора», но всё же совместные действия наших разработчиков и исследователей куратора дали свои плоды. На данный момент (порядка месяца), все наши клиенты без проблем получают услуги сервиса, тогда как все боты идут лесом. Куратор порой фиксирует атаки, но они никак не отражаются на работоспособности ресурса, что безумно приятно.
Кстати, кто не пользовался услугами «Куратора», сделаю небольшой «обзор», по крайней мере того, что интересовало меня.
Безлим до гигабита стоит 17к рублей в месяц. В данном случае под гигабитом имеется введу «полезный» трафик. На сайте так же указано, что допополнительный выделенный IP стоит чуть не в 2 раза дороже, это не так. По факту дополнительный IP стоит 5к рублей. Ну и, соответственно, если у вас на одном сервере лежит несколько проектов, не нужно заводить под каждый IP. IP куратора привязывается к вашему IP или массиву IP (2,5,10, не важно). Если у вас 100 проектов на одном сервере, все 100 будут защищаться за 17к рублей в месяц.
Однако подключение во время DDoS атаки стоит +6к рублей. Ребята объясняют это тем, что они так же платят за траффик, и пока их классификаторы не научатся игнорировать левый трафф, они за него платят. А, соответственно, если он есть изначально, научиться фильтровать его ежесекундно не получается. Тут претензий нет.
Расстроили только платные API. У куратора есть API, можно управлять белыми и чёрными списками. Однако это удовольствие стоит денег. 5к подключение и 3к в месяц. Когда куратор блокировал полезных пользователей, мы были настроены брать API, но здравый смысл подсказывал, что платить за анти ддос + за то, чтобы не блокировались пользователи — не правильно. В итоге дал команду разработчикам при каждой POST авторизации добавлять IP в белый список через личный кабинет. В личном кабинете можно добавлять IP в белые списки.
Наверное, стоит отметить, что со стандартными проектами куратор справляется на ура. Мы поддерживали и поддерживаем сайт фильма «Утомлённые солнцем 2: Цитадель» и с первых дней повесили их под защиту куратора. Пережили несколько серьезных атак и ни одной жалобы от пользователей о недоступности проекта.
Сегодня, 16 мая, прошло полтора месяца с момента, как мы серьезно задумались и переехали с Российского ДЦ на зарубежный. За это время мы пережили многое. Гнев и угрозы «Каравана», приятное удивление ценам зарубежных ДЦ, ДДоС атаке в 4 гигабита и опыту работы с «Куратором».
По факту, приятен опыт в сжатые сроки. А если серьёзно, очень обидно, когда известнейший Русский ДЦ легко отключает питание без предупреждения и считает это нормой. Когда аренды циски заканчивается отговоркой «ой, мы забыли её настроить», в то время как наш сервис «лежит». Когда для проекта в 500 хостов в России нужно думать о гигабитном порте и АнтиДДоС атаке, т.к. «конкуренты не дремлют». И что приходится покупать диктофон на случай, если «обращаем ваше внимание, для улучшения качества обслуживания, все разговоры с оператором записываются» является ложью.
После событий 31 марта мы окончательно решили переезжать с Каравана.
Для тех кто не знает или забыл, один из самых известных Российских дата-центров 31 марта несколько раз подряд обесточил своих «пациентов». В их числе оказались Хабр, Фриланс, Лепра и прочие, среди которых были и мы. А т.к. мы хранили ДНС записи у себя на сервер, считая что сервер в надёжных руках, мы остались без проектов почти на сутки.
Вывеска при входе в ДЦ. Для меня, одного из основателя компании 2Товарища, она позитивная. Но для десятков клиентов, посетивших ДЦ ночию 31 марта, она вызывает не очень приятные воспоминания.
В этой статье нет «проплаченной рекламы», я называю вещи, компании и людей своими именами.
Спасибо хабрасообществу, многие из советов «куда податься» были очень «в кассу». Очередной раз поймал себя на мысли, что проще и дешевле арендовать за рубежом качественные сервера, нежели покупать и размещать сервера в России. Удивительно, но за аренду 1U сервера с 8-ю гигами оперативки, ксеонами и гигабитным каналом в Голландии я отдаю 152$ (курс ЦБР сейчас 27,9, т.е. это 4436р) в месяц. Тогда как за размещение моего сервера и аренду 100mb порта в Караване без малого 5300 рублей.
После долгих раздумий, учёта опыта хабрапользователей и мнения сиадмина, я больше склонялся к hetzner.de. Пока не получил интересное личное сообщение от хабрапользователя:
«Приветствую, а переезжайте к нам в Голландию, пинг будет отличный и мы вам скидку дадим и админы помогут переехать. serverclub.com или вот habrahabr.ru/company/serverclub/blog/115169/».
Serverclub.com
Посмотрел, ознакомился с услугами, стало интересно. Больше всего, конечно, меня радовал качественный канал в 1Gb и «индивидуальный подход». Админ был против, готовил что хетзнер дешевле, да и каналы там хоть и 100Мб, но качественные. Гигабит меня интересовал скорее не потому, что он необходим, а просто было интересно. Помимо того, что на нас частенько приходили DDoS атаки, было просто интересно посмотреть, «а как это?».Кстати, лирическое отступление. Мы покупали у каравана услугу защиты от ДДоСа пол года. Без малого, это +30к в месяц. Менеджер, Сергей Корсунов, уверял, что данная услуга подразумевает подключение циски, которая гарантирует защиту от атаки в 1Гигабит. Через пол года аренды этой штуки, к нами пришла атака в 100+мегабит (ориентировочно по циклам админ опередили 150 мегабит). Мы легли. На вопрос «почему?», караван сначала не мог ответить, потом ответил «циска не настроена, атака не блокируется», потом ответил «дело в том, что атака больше 100 мегабит, больше вашего канала», но всё же остановился на версии «циска не была настроена верно». На мои попытки получить записи разговоров с менеджером караван ответил «мы записи не ведём».
В караване мы держали 2 своих сервера. Один был под базу, другой под front+back. В серверклабе я взял 2 сервера под front+back и один под базу. Фронтам достались самые простые конфигурации, база получила крутой сервак. По деньгам получилось чуть больше чем в Караване, но меня очень сильно привлекал гигабит, брендовые сервера Dell и просто было интересно. Стоит отметить, что я не фанат брендов, по мне чем дешевле, тем лучше. Я правда не понимаю, зачем брать какой-то там брендовый сервер и переплачивать за бренд, когда можно собрать небрендовый из комплектующих и получить тот же результат чуть не в 2 раза дешевле. Да, надо знать тонкости комплектующих, кто и с кем лучше пашет, но это не стоит x2 стоимости. Но за такую цену, как за границей… это как покупать литр Jameson в Duty Free за 700 рублей, тогда как в России самый дешёвый я нашёл за 1000 с копейками (оптовый поставщик). Приятным бонусом для был встроенный модуль KVM. Т.е. данные сервера у серверклуба были оснащены модулем KVM, что означало, что я всегда и в любой момент могу подключиться на KVM, совершенно бесплатно. В своё время такое помню появилось у серверов SUN. Стоит отметить, что 31 марта, в караване, когда был полный звиздец, очередь на KVM достигала нескольких часов, при этом KVM оставался платной услугой. Мы могли себе позволить приехать в ДЦ и разобраться на месте с сервером, который по факту просто порушил часть ФС и ожидал ручного запуска fsck из-за экстренного отключения питания. А как быть, например, региональным клиентам? ждать несколько часов KVM, оплачивать его и либо запускать в ручном режиме fsck, либо прощаться со своей ФС? Караван — вы уроды.
В общем я остался доволен выбором и дал задание админу переносить всё на «Серверклаб». Перенос не обошёлся без осложнений. Серверклаб легко и быстро выделил сервера под фронты, но тянул с мощным сервером под базу. Сначало его не было в ДЦ, потом его оказывается настроили не так. Ребята сразу выделили «аналог» чуть менее слабой комплектации, мол сначала тут, а как настроим тот — переедете. Геморрой, но в общем приятно… переживают…
Я долго переживал за пинг, но в итоге увидел, что он не на столько отличается от России, чтобы оставаться в стране. Скажем, если в караване время ответа запросов составляло в среднем 80ms, в Серверклубе с американских серверов время ответа сервера составило 200ms. Чуть больше чем в 2 раза, но для пользователя совершенно незаметно.
Через пару дней мы полностью переехали и зажили в Голландии на качественных гигабитных Американских каналах. Ребята из Серверклаба, перекрестившись, продолжили свою работу. Я не самый простой клиент и активно пользовался «индивидуальным подходом» к клиентам. Низкий поклон менеджерам, им доставалось по полной… Но мы переехали. Счастью не было предела. Как вдруг… проснулись конкуренты. Мы являемся достаточно уникальным сервисом в рунете. У нас лишь 3-4 конкурента, что появились позже нас. Мы предоставляем сервис обмена заказами такси для таксопарков Москвы, Питера и других регионов и являемся самым крупным «обменником» такси. В те сутки что мы не работали и последующие сутки нестабильной работы, клиенты частично перекочевали к конкурентам. Мы не в обиде, это нормально. Скажем, если mamba.ru закроется, все пересядут на loveplanet.ru и это нормально. Однако как только мы запустились обратно, конкуренты снова «просели» до своих обычных цифр и это, видимо, им не понравилось.
На нас пошли DDoS атаки…
Qrator.net
Сначала была детская атака до 100 мегабит. Посмотрели, поржали. Потом пришло 300 мегабит ботов. Фронты выдержали без проблем, однако мы почувствовали некие напряги, связанные со свободным местом на диске. Убедившись, что мы справляемся с DDoS атаками, мы очередной раз вздохнули с облегчением. Но не тут то было…
Стата серверклаба зафиксировала 1гигабит входящего траффика. Больше стата зафиксировать физически не могла. Ребята с серверклаба сказали что в тот момент общий вход на сервер увеличился на 4-5гигабита в секунду.
Я давно думал отдать защиту от ДДоС профессионалам, но хотелось самому побеждать ДДоС. Путём тюнинга кода и nginx`а и в общем это получалось, пока атака не выросла шире канала.
Было часов 10 вечера. И адрес qrator.net набирался уже не первый раз. Ребята заявляли что работают без выходных, круглосуточно ) это был хороший способ проверить.
Ранее я слышал о кураторе, точнее о МГУшниках, которые бесплатно защищают сервера от ДДоСа, изучая атаки. Ныне они переросли в платный сервис куратор.нет, что в общем логично. Первым моим вопрос, когда я дозвонился до них, был «Зачем вы нас ДДоСите?». Я правда не представлял себе сколько может стоить атака в 4гигабита и, главное, кто располагает такими ресурсами. Менеджера вопрос поверг в ступор. Через пол часа мы уже обо всём договорились и примерно через час встали под их защиту. Атаки не прекращались ещё недели две, но они уже не были основной проблемой и ушли на второй план.
Всё дело в том, что мы оказались ужасными клиентами не только для серверклаба, но и для куратора. Представьте… Один сервис, полезная посещаемость 500 (!!!) уникальных пользователей в день. Не 500к, а 500. Меньше, чем у одноклассники.км.ру 3 сервера и канал в гигабит. И вот только не надо рассказывать мне о оптимизации кода, базы итп. Я держал посещаемость в 1 млн. хитов на nnm.ru на относительно слабом сервере в своё время. И эти 500 хостов надо было фильтровать от сотен тысяч ботов.
Куратор не справлялся со своей задачей, он то и дело, блокировал полезных клиентов. Стоит ли повторять, что имея всего 500 полезных хостов, нам был важен каждый. Совладельцы ресурса настаивали на отказе от «Куратора», но всё же совместные действия наших разработчиков и исследователей куратора дали свои плоды. На данный момент (порядка месяца), все наши клиенты без проблем получают услуги сервиса, тогда как все боты идут лесом. Куратор порой фиксирует атаки, но они никак не отражаются на работоспособности ресурса, что безумно приятно.
Кстати, кто не пользовался услугами «Куратора», сделаю небольшой «обзор», по крайней мере того, что интересовало меня.
Безлим до гигабита стоит 17к рублей в месяц. В данном случае под гигабитом имеется введу «полезный» трафик. На сайте так же указано, что допополнительный выделенный IP стоит чуть не в 2 раза дороже, это не так. По факту дополнительный IP стоит 5к рублей. Ну и, соответственно, если у вас на одном сервере лежит несколько проектов, не нужно заводить под каждый IP. IP куратора привязывается к вашему IP или массиву IP (2,5,10, не важно). Если у вас 100 проектов на одном сервере, все 100 будут защищаться за 17к рублей в месяц.
Однако подключение во время DDoS атаки стоит +6к рублей. Ребята объясняют это тем, что они так же платят за траффик, и пока их классификаторы не научатся игнорировать левый трафф, они за него платят. А, соответственно, если он есть изначально, научиться фильтровать его ежесекундно не получается. Тут претензий нет.
Расстроили только платные API. У куратора есть API, можно управлять белыми и чёрными списками. Однако это удовольствие стоит денег. 5к подключение и 3к в месяц. Когда куратор блокировал полезных пользователей, мы были настроены брать API, но здравый смысл подсказывал, что платить за анти ддос + за то, чтобы не блокировались пользователи — не правильно. В итоге дал команду разработчикам при каждой POST авторизации добавлять IP в белый список через личный кабинет. В личном кабинете можно добавлять IP в белые списки.
Наверное, стоит отметить, что со стандартными проектами куратор справляется на ура. Мы поддерживали и поддерживаем сайт фильма «Утомлённые солнцем 2: Цитадель» и с первых дней повесили их под защиту куратора. Пережили несколько серьезных атак и ни одной жалобы от пользователей о недоступности проекта.
Сегодня, 16 мая, прошло полтора месяца с момента, как мы серьезно задумались и переехали с Российского ДЦ на зарубежный. За это время мы пережили многое. Гнев и угрозы «Каравана», приятное удивление ценам зарубежных ДЦ, ДДоС атаке в 4 гигабита и опыту работы с «Куратором».
По факту, приятен опыт в сжатые сроки. А если серьёзно, очень обидно, когда известнейший Русский ДЦ легко отключает питание без предупреждения и считает это нормой. Когда аренды циски заканчивается отговоркой «ой, мы забыли её настроить», в то время как наш сервис «лежит». Когда для проекта в 500 хостов в России нужно думать о гигабитном порте и АнтиДДоС атаке, т.к. «конкуренты не дремлют». И что приходится покупать диктофон на случай, если «обращаем ваше внимание, для улучшения качества обслуживания, все разговоры с оператором записываются» является ложью.
