Миллион

[DeadLy]

даёшь 45-е простое число Мерсенна ;)

[oniro]

Хабр растёт. Что не может не радовать

[astroverse]

А можно детализировать топ-10 аггрегаторов?

[juks]

Можно конечно, но нужен список юзер-агентов. Я так сходу не помню.

[Rando]

Интересно, что реальная нагрузка получается выше, чем даже при DDoS атаках.

Кстати, график нарисован с помощью RRDTool?

[juks]

Cacti с Cisco Guard

[loader]

Cacti использует RRDTool для отрисовки графиков

[juks]

не знал

[juks]

Не выше. Просто очень сжат график.



Это ддос в 10 мегабит.

[saMIRo]

Черная полоса всегда идет параллельно зеленной, это значит что habrahabr всегда ддосят? Но лишь изредка ддос превышает количество запросов от пользователей, роботов и т.д.?

[juks]

Это значит, что нежелательный трафик присутствует практически всегда

[habracut]

Около 800 000 запросов приходят от роботов и разного рода агрегаторов.

У этого есть и положительная сторона — данная статья уже проиндексирована гуглом.

[juks]

Гугол в этом деле один из самых деликатных.

[Q2W]

Очень интересная проблема.
У меня тоже была одна задача, в которой требовалось отличить реальный поток юзеров от роботов.
Если хабр её у себя выполнит, он сможет лимитировать запросы роботов.

[juks]

Требутся только контролировать частоту и ограничивать её тем, кто превышает нормы.

[Q2W]

Я (юзер) вполне могу генерить по 2-3 запроса в секунду (в разных табах переходить на следующую страницу, например).
А Хабру надо ограничивать до одного обращения в секунду, на сколько я помню из правил для ботов.

[juks]

3 нажатия на ссылки в секунду — неплохо. Лично я с такой скоростью материал не усваиваю

[Q2W]

Я тоже, но я с большой скоростью его отсеиваю.
Как раз мой пример не связан с усваиванием материала.

[gribozavr]

Читая главную, я обычно открываю в новых вкладках топики. Пока дочитываю главную, первый открытый топик уже успевает догрузиться и его можно читать.

[kurokikaze]

А вы готовы к даум миллионам? Динамика на графике неплохая :)

[juks]

Нам известно, что нужно для этого сделать

[dmitriev_dmitry]

Ну так, я вчера все-все новости перечитал. Несколько раз :)

[gen4ik]

Нужен автoрeфрeш на глaвной или минитул как в постах, дабы неломать пальцы об F5.

[neon]

В постах недавно сделали кнопку обновления комментариев.

[gen4ik]

Читай внимательно мой комментарий. Я сказал что хорошо бы сделать обновление постов на главной как обновление комментариев в постах.

ПС.
А вообще для удобства нужны хабромышь.

[Timon]

Роботы любят хабр.

[juks]

В последнее время не так уж часто. Кроме того, в нашем многие вещи не сделаешь без сброса нагрузки.

[gen4ik]

Сложная многоходовка получается.
Хотя при миллионных обращениях хорошо бы подумать о двойнике.

[juks]

Двойник есть, но сам принцип репликации не чень рулит в этом смысле. Репликация нам больше всего помогает для прозрачного бэкапа.

[juks]

Вопрос в способе репликации. То, о чём вы говорите, по-хорошему требует репликации мастер-мастер, а это всё равно что бочка с порохом.

Кроме того, все эти движения требуют дополнительного кадрового ресурса.

Habrahabr не livejournal. Здесь такая структура и способы отображения информации, что распределять данные одной сущности на разные сервера несколько сложнее.

Снаружи не видно, чего стоит все эти «приватные блоги», голосования и их отображение.

[CyberTm]

у хабра в день 4,5 тб трафика??

[juks]

Это суммарное значение за весь период, представленный на графике

[RomBinDaHouse]

А у меня почему-то в Опере коментарии не по порядку, даже ветки путаются =(
скриншот www.picamatic.com/show/2008/09/04/01/52/948484_1112x902.png

В чем проблема?

[Aist]

Сейчас уже не должно быть такой проблемы. Исправили

[RomBinDaHouse]

Хорошо, спасибо!

[Taoorus]

Ну Хромой конечно отжигает. А есть ли такая же статистика, но для каждой страницы? На какую больше всего заходили?

[juks]

140343 /ajax/auth/ (среди этого где-то 100 000 вчерашнего брутфорса)
79103 /
21042 /blogs/google_chrome/38748/
20870 /redirects/rss/main/
19292 /ajax/suggest/
19187 /ajax/voting/
16017 /api/profile/denplis/ (всё же нахимичили)
14319 /ajax/comments/get_new_comments/
12660 /api/profile/levshino/
12415 /page2/
10610 /blogs/google_chrome/38742/
8962 /new/
7854 /api/profile/castro/
5111 /page3/
4958 /redirects/blog/nlo/33304.html
4901 /blogs/i_am_advertising/38799/
4495 /blogs/google/38807/
4321 /api/profile/bamaboy/
4250 /blogs/google/38677/
4212 /api/profile/sergant4x4/
4208 /blogs/google_chrome/38844/
4093 /blogs/webdev/38596/
4057 /blogs/offtopic/38808/
3813 /ajax/comments/add/
3793 /blogs/webdev/38771/
3142 /blogs/google_chrome/38836/
3093 /api/profile/vlad2000plus/
3048 /blogs/firefox/38741/
3033 /blogs/WiMAX/38760/
2885 /blogs/im/38852/
2874 /blogs/laptop/38735/
2821 /api/profile/habriel/
2800 /new/page2/

[Taoorus]

Вобщем самые посещаемые топики за 3 сентября:

21 тыща — habrahabr.ru/blogs/google_chrome/38748/ — Хром
10 тыщ — habrahabr.ru/blogs/google_chrome/38742/ — опять Хром
4 тыщи — habrahabr.ru/blogs/nlo/18229/ — Денди

[Sys3X]

10 Мб/с это разве DDoS? Тем более на графике показаны пиковые значения загрузки канала. Для такого проекта как Хабр, это не так уж и много. В своё время приходилось бороться с DDoS лившимся на 1 сервер мощностью до 70 Мб/с естественно атака шла с разных IP и провайдеров постоянно. С подключенным Cisco Guard на бютжетной машине Pentium 4 удавалось восстановить функционирование если мощность атаки снижалась до 30-20 Мб/с. Правда это конечно не в Российском ДЦ.

И это на Pentium 4.
А у вас то явно гораздо более мощный сервер, так что я думаю повода для беспокойства нет.

[juks]

Ну мы тут как бы не для того собрались, чтобы достижениями мериться. Большой ддос или маленький это к тем, кто его устраивает, наше дело его прикрывать.

Суть в том, что при грамотном подходе полоса атаки не всегда влияет на результат. После анализа вредоносного трафика он в большинстве случаев отсекается однозначно, проблема в том, что далеко не всегда ситуация решается в полностью автоматическом режиме.

Ддос это не всегда атака на процессор/диски/память, иногда это атака на стек протокола или сам канал передачи данных, что реже и куда более ресурсоёмко.

[Sys3X]

>Ну мы тут как бы не для того собрались, чтобы достижениями мериться.
Я просто пример привёл

Просто я к тому сказал, что нужно воспринимать это как должное. Если проект популярный то так и будет в этом нет ничего удивительного. Наращивайте мощности и ставьте защиту на уровне сервера/скриптов и DDoS не страшен, да и даже канал в 10 Мб/с забить не так уж и просто не говоря о 100/1000.

[juks]

Мы уже почти достигли того уровня, что воспринимаем это как назойливый насекомых

[Sys3X]

И правильно, тем более в будущем это уже не станет проблемой с развитием технологий, переходом на новые протоколы и увеличением безопасности.