Привет, уважаемые Хабро-читатели и SQL-писатели. Команда ХостТрекера хочет поделиться полезной утилитой для SQL разработчиков и администраторов.

Какую задачу решаем?

Нахождение зависимостей объектов в БД.
Поиск по строке в метаданных БД (хранимых процедурах, View, пользовательских функциях, определениях таблиц, индексах, ключах)

Столкнулись с любопытной проблемой. На графике визитов видна интересная «ступенька». Мы обрадовались всплеску посещаемости. Но после анализа, выяснилось, что это боты.

Если погуглить на тему «Google analytics и боты», в основном утверждается что боты не влияют на показания статистики в GA. Посыл такой — аналитика использует JavaScript для отслеживания посетителей. Боты, существа примитивные, JavaScript выполнять не умеют, и аналитикой соответственно не учитываются.

Давайте разберемся в деталях.

Коллектив компании ХостТрекер категорически приветствует всех Хаброчитателей. Этим постом мы открываем наш официальный блог на Хабре.

Кто мы

ХостТрекер — крупнейший сервис мониторинга доступности сайтов. Мы помогаем увеличить количество девяток в значении Uptime у наших клиентов. Способствуем оперативному решению проблем и повышению стабильности работы сайтов. На рынке с 2006 года. Главный офис в Киеве.

Кто наш клиент

Наши клиенты — люди и компании, для которых Стабильность и Доступность не пустые слова. Ой, немного высокопарно получилось… Попробуем еще раз.
Наши клиенты – люди и компании быстро реагирующие и исправляющие любую лажу, которая происходит с их онлайн ресурсами. Стремятся к uptime 99.99999%. Хотят получать статистику по аптайму, которую интересно и самому посмотреть, и клиентам с начальством показать, похвастаться, вот мол «как у нас тут все круто и стабильно работает, и цифры мы не сами нарисовали, а ХостТрекер для нас их заботливо собрал и сохранил».

Винни Пух: Ой, что это случилось с твоим хвостом?
Иа: А что с ним могло случится?
Винни Пух: Его нет.
Иа: Ты не ошибся?
Винни Пух: Хвост или есть или нет совсем! Тут нельзя ошибиться.
Иа: А что же тогда там есть?
Винни Пух: Ничего!

У нас в проекте, в одном из серверных компонентов, после очередного рефакторинга начала течь память. Казалось бы .NET, F#, менеджед код, сборка мусора, все дела, но память, куда-то утекала. Ценой бессонных ночей и попорченных нервов, источник утечки был найден. Оказалось что проблема вызвана куском кода, который был, чуть ли не один к одному скопирован из учебника по F#.

Все дело было в хвостовой рекурсии, вернее, как оказалось в ее отсутствии в неожиданных местах.

За последнее время, наш сайт часто подвергается достаточно мощным DDOS атакам, к слову последняя атака была самой крупной за последнее время, размер ботнета по нашим оценкам — около 10 тысяч машин, мощность — 100 Mbits/s.

Атаку заметила даже Лаборатория Касперского, и предложила свою помощь в отражении, за что им спасибо. Правда к тому времени мы самостоятельно нашли решение, которое блокирует атаку. Собственно про это решение и пойдет речь.

Все началось в прошлую пятницу в пять часов вечера, и продолжалось до обеда в понедельник. Выходные прошли, за увлекательным занятием по отстрелу ботов. Пришлось немного попотеть, пока нашлось рабочее решение для противодействия атаке.

Атака была типа HTTP Flood. Система на которой у нас работает сайт — Apache под Linux. Мы написали несколько скриптов, которые будут приведены в тексте статьи. В принципе аналогичный подход можно применять и для Windows/IIS.

Попытаюсь рассказать, какие основные шаги мы сделали для отражения атаки, и какие проблемы возникали по ходу: