@sunnybear2 дек 2009 в 12:07

Готовимся к Хабра-эффекту

3 мин

13K

Высоконагруженные системы *

+90

Комментарии 60

@akira 2 дек 2009 в 12:29

Примерно половина стартапов ложиться после вывода на главную.

@sunnybear 2 дек 2009 в 12:31

собственно, очень хочется уменьшить это количество :) Ведь так много интересных проектов делают

@akira 2 дек 2009 в 12:36

Я бы добил в пост не только о стартапах, но и об обзорах.
Часто пользователи вставляют картинки со своего блога, что создает просто бешеную нагрузку.
Тут лучше использовать (рекламная пауза) мой любимый хостинг для картинок или любой другой, яндекс, пикаса и куча других (только не те, где по траффику считают). И бложек не загнеться и картинки будут видны всем.

@akira 2 дек 2009 в 12:41

Вот кстати нагрузка на pict.com.

НЛО прилетело и опубликовало эту надпись здесь

@Stranix 2 дек 2009 в 14:26

Первый раз домен когда увидел, подумал что что-то про небезызвестного ЦЯ с взора.

@egorinsk 2 дек 2009 в 17:46

Только вот не веб-оптимайзером это делать надо :)

@sunnybear 2 дек 2009 в 17:50

им в том числе :)

@mastak 2 дек 2009 в 12:34

Спасибо, интересная и как раз актуальная статья. Про loadimpact.com и не знал раньше, полезный сервис оказался!

@DoctorMozg 2 дек 2009 в 12:42

Мне ещё, как аналог YSlow, гугловский Page Speed нравится.

З.Ы Статья интересная — подчерпнул для себя пару ссылок полезных.

@bdsoft 2 дек 2009 в 12:47

Испытал на своих стартапах несколько хабраэффектов и ни разу хостиг меня не подвёл.
Вывод: нужно выбереть хороший хостинг. :)

@UUSER 2 дек 2009 в 12:51

>выбереть

выбрить! Хороший хостинг нужно тщательно выбрить ;-)

@bdsoft 2 дек 2009 в 13:09

Спасибо )

@popotam2 2 дек 2009 в 19:10

А у вас какой?

@bdsoft 2 дек 2009 в 20:24

www.netlevel.ru

@StirolXXX 2 дек 2009 в 13:01

Проверил себя:

loadimpact.com/result/tracker.hdclub.com.ua-c6a0ecd0e25af28552ffac296576b1b7

Результатом доволен :)

@corbenov 2 дек 2009 в 13:04

loadimpact сам скоро ляжет — сейчас он проверяет тысячи российских сайтов :)

@caliban 4 дек 2009 в 09:01

Habrahabr перегрузка!

Russian site habr's Load Impact!

Yesterday, the Russian site habrahabr.ru wrote an article [...]

This, of course, caused us to get habr'd!

@sunnybear 4 дек 2009 в 09:22

Опубликовал как ссылку здесь
habrahabr.ru/blogs/hi/77251/

@musuk 2 дек 2009 в 13:17

loadimpact хорош, а есть аналоги?

@gorod 2 дек 2009 в 13:29

В тему: если сервер не справляется с наплывом посетителей, то есть масса способов его оптимизации, об этом написано множество статей, в том числе и на Хабре. А вот если все способы перепробованы, но сервер все равно не выдерживает нагрузку — можно попробовать разместить статический контент на CDN (см. ru.wikipedia.org/wiki/Content_Delivery_Network).

@Lans 2 дек 2009 в 14:11

А какова цена вопроса?

@gorod 2 дек 2009 в 14:16

Услуги CDN обычно тарифицируются погигабайтно (за исходящий с сети CDN трафик). Стоимость зависит от общего объема трафика.

@zw0rk 3 дек 2009 в 09:05

CloudFile от RackSpace — 18 центов за гиг, если грубо. Но там еще бывает тарифицируют операции записи.

@Lans 3 дек 2009 в 09:10

Далековато они находятся))

@zw0rk 3 дек 2009 в 09:15

Кто? Сам RackSpace или серверы их CDN? :)

@Lans 3 дек 2009 в 09:18

Насчет серверов их не знаю, но судя по тому, что их сайт грузится несколько секунд, и сервера их далеко, или не так?)

@zw0rk 3 дек 2009 в 09:19

Сам RackSpace грузиться долговато, да. Мой VPS не нем весьма быстр, хотя я CDN тамошний не пользую, нет нужды.

@helloilya 2 дек 2009 в 13:35

А уменьшится ли загрузка есть выносить некоторые файлы (например картинки, флеш и д.т) на отдельный поддомен? Или это особой роли не играет?

@DoctorMozg 2 дек 2009 в 13:45

Не думаю что уменьшится, если поддомен будет на том же сервере. Этот шаг помогает лишь ускорить загрузку статики, т.к. браузер имеет ограничение на количество коннектов к одному домену, и, например, не может грузить больше 3х ресурсов с одного домена одновременно.

@kossmoss 2 дек 2009 в 13:48

Если у вас поддомен указывает на другой сервер (который предназначен для хранения и отдачи только статического контента), то смысл есть.

@WayBe 2 дек 2009 в 13:38

Спасибо за ресурс!
loadimpact.com/result/www.torg.kaniv.net/-3c6d2412f21f47814a653381b1712707
Вполне, кажеться ;)

@Gorthauer87 2 дек 2009 в 13:41

Полезно конечно, но у нас админ есть толковый, так что за ним как за каменной стеной, свой хабраэффект пережили. Но мне хотелось бы описание по поводу этой штуки получить:

>Зачем это нужно? Фактически, это экспресс-проверка на Хабра-эффект. Здесь можно использовать сервис loadimpact.com, с помощью которого получить примерно следующую картину (сервис эмулирует нахождение нескольких пользователей у вас на сайте):

Каким образом оно это эмулирует? У них есть собственный ботнет для тестирования? Или там какие то хитрые математические алгоритмы?

@sunnybear 2 дек 2009 в 13:46

если я правильно представляю логи их запросов на сайт, то сайт «просматривается» вглубь на 3-5 уровней (случайным образом). На каждого «пользователя» приходится 20-30 просмотров различных страниц (т.е. они «запускают» 10-20..-50 потоков, каждый из которых «тащит» свой набор страниц через случайные промежутки времени). IP вроде одинаковый (на каждую проверку — 50 сокетов, обычного сервера вполне хватит для 100 одновременных проверок, главное, чтобы канал позволял).

@SovGVD 2 дек 2009 в 13:43

однако старый самописный движек вполне неплохо работает… интресно только по каким именно страницам он лазиет… или только по главной? loadimpact.com/result/sovgvd.info-80fc5994c2736e7a7bb53b94cbf3c0a0

@Andrey_Rogovsky 2 дек 2009 в 13:50

Лучший способ проверить готовность к Хабброэффекту — провести тест на эталонном сервере и понять как настроить так, чтоб оптимально работало
Например — апач в воркере, число процессов по числу камней, число тредов по числу гипертрейдинговых и беклог в nginx побольше — выдерживает даже digg-эффект

@moriarty 2 дек 2009 в 13:51

Самое простое, что всегда есть под рукой — ab. Никаких внешних сервисов не нужно, сделать первое приближение вполне позволяет.

@g00d 2 дек 2009 в 13:58

и еще вроде бы Гугл собирается с нового года оценивать быструю загрузку как фактор влияющий на место в выдаче.

@alrond 2 дек 2009 в 14:12

Значит, чем дальше хостинг будет от америки, тем хуже выдача? :)
хотя у них датацентры по всему миру, но именно боты ходят только с америки

@Masterkey 2 дек 2009 в 15:37

думаю в гугл тоже не дураки сидят чтобы конкретно задавать хост с которого будет идти обход сайтов

@alrond 2 дек 2009 в 15:44

скорее всего будут учитывать расстояние в миллисекундах

@savostin 2 дек 2009 в 14:27

а откуда магическая цифра в 50 пользователей?

@Masterkey 3 дек 2009 в 12:40

100/2
1000/20
выбирайте, что больше по душе

@ioio 2 дек 2009 в 14:32

время ответа сервера можно еще проверить тут — http://pr-cy.ru/monitoring

@mjr27 2 дек 2009 в 15:06

> site-perf.com. Быстрая оценка времени загрузки, желательно иметь не менее 4 секунд (в силу того, что сервера расположены не в России, оценка не настолько адекватна).

не более

@mephisto 2 дек 2009 в 15:08

оО странно, такое ощущение что при росте нагрузки скорость загрузки страниц растет оО

@savostin 2 дек 2009 в 15:12

кто-то активно кеширует ;-)

@mephisto 2 дек 2009 в 15:18

те страницы 100% не кэшируются, которые он дергал.

@savostin 2 дек 2009 в 15:20

Вашим сервером да. Может кто посередине?

@mephisto 2 дек 2009 в 15:21

Нет никого посередине. Не думаю что магистралы станут кэшировать чей то траф)

@gorcer 2 дек 2009 в 16:20

Спасибо за статью, прочитал бы я её раньше и проблем с хабрэффектом+автоимхо удалось бы избежать.

НЛО прилетело и опубликовало эту надпись здесь

@andoriyu 2 дек 2009 в 21:11

loadimpact.com/result/studik.org.ru-b39a8675a5664074a2324b006a939833
пошел крутить гайки :( надо нормальный тазик в стойку ставить и на него весь вэб контент переносить.

p.s.
забыл FAH выключить…

@borisa 2 дек 2009 в 21:14

За loadimpact.com отдельное спасибо! Уложил свой vps спать ;)

@ItGold 2 дек 2009 в 21:48

This configuration contains addresses that has been tested too many times the last 24 hours. The offending domain was: tut.by
:)

@xenon 2 дек 2009 в 23:25

imho, грамотно сделанному сайту не страшен хаброэффект. Если для выдачи страницы выполняется много работы — то чем больше пользователей — тем сильнее они буду тормозить сервер. Решение простое — хоть ruby on rail, drupal, php и прочие ваши любимые инструменты и чудесны — но всему свое место. Информационная часть сайта (тот же «каталог товаров» для вебмагазина) она одновременно и самая посещаемая (больше всего хитов) и статичная. Так что либо статически генерировать страницы (и автоматом их пересобирать при изменении), либо, если уж совсем психологически сложно отказываться от своей CMS и database-driven-website, то memcached или proxy перед сайтом.

А для статики советую поглядеть WML — Website Markup Language. Сайты собираются обычным make'ом при изменении данных. А обычный апач на обычном вебсервере может столько статичных запросов обслужить — что не каждый хабр такой эффект создаст. ;-)

@sergey_k 3 дек 2009 в 22:43

Судя по логам, loadimpact запрашивает только первую страницу и css. Так что я морду он протестирует, а вот насчет морды вкупе с остальными публичными страницами — я бы не обольщался.

@Anton_Shevtsov 4 дек 2009 в 11:12

протестировал один из сайтов… 50 человек вроде держит без проблем. Я готов к Хабраэффекту? :)

loadimpact.com/result/www.matrix-club.ru/forum/-e0f53611ff7df249ee00951966993794

@Anton_Shevtsov 4 дек 2009 в 11:32

хм… вместо моего сайта какойто матрикс-клуб оказался в линке))

@predtech 4 дек 2009 в 12:29

Я поражаюсь действиям некоторых прыщавых дебилов, которые, сожаленью, и здесь представляют неубиенную породу дебилов. Ставят минусы людям, высказывающим свое мнение, причем адекватное мнение. Кому вообще нужны эти минусы и плюсы если их лепят только за то, что кто-то высказал соображения, отличные от сообразизмов кретинирующих садогедонистов?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий