Что внутри высоконагруженных сервисов?

[denisnomad]

Данные, конечно, интересны, но откуда такая информация?

[wikipedia]

сама картинка собственно отсюда
http://royal.pingdom.com/?p=173

а данные брались с сайта который я написал в посте,
то есть тупо брались данные по каждому сервису и
теперь они приобрели вот такой наглядный вид.

[nod]

Linux Apache MySQL Memcached - ничего нового, все так и есть.

Только единственно, жалко что не написано какие распределенные файловые системы используют.
(MogileFS, Lustre, GlusterFS, что-то еще???)

[Roman_Mix]

Внутри высоконагруженных серверов высоко нагруженный аццкий админ. :)

[wikipedia]

на самом деле на больших проектах зарубежных все железо настраивается с некоторой избыточностью, поэтому 100-1000 серверов может спокойно поддерживаться 2-3 админами.
Вылетел сервак, сели перекурили, поставили новый со склада:) а в это время умный кластер распределил потерю по остальным 100.

[wikipedia]

хотя один раз была у майспейса жопа:) отключили питание в датацентре в котором они стояли и целый день простоя в результате, причем что интересно посетителей было в тот день больше чем обычно, все приходили и проверяли заработал или нет:) думаю на одноклассниках примерно такая же статистика когда они баги правят и функционал добавляют.

[roboter]

У Livejournal тоже было такое, правда они писали, что просто так взять и включить обратно будет не очень хорошо.

[Kaberc]

у меня есть, правда 1.1GHz/128Mb/0Gb

[Kaberc]

)

[mahoro]

Скажите, а где именно не проблема найти такую железку?
Я бы купил такой сервер 1U.

[coolspot]

А купить за $750 двухпроцессорный xeon 3,2 gHz не хотите?

[nooze]

MySpace на windows? 0_o *shocked*

[wikipedia]

да меня это тоже поразило.
порыл немного и выяснил, что его несколько раз апгрейдили,
изначально он был на перле, потом его переделали под ColdFusion
ну и теперь посадили на винду.

но также насколько я понял, сейчас уже начинает и вында не справляться
с нагрузками, что будет дальше?:)

[crash]

QNX, датацентр NASA.

[compozer]

Рискну предположить, что динамическое перераспределение ресурсов и виртуализация.
Хотя неизвестно. С такими серьезными нагрузками, как MySpace, никто не сталкивался. А первопроходцам труднее всего. Посмотрим, что нового придумают их архитекторы в дальнейшем.

[smartov]

Простите, а где можно узнать об их нагрузках? У меня нет никаких данный о их перегруженности, и хотелось бы узнать.

[goodbear]

Блин, ну насколько у людей стереотипы развиты, что винда глюкало и ничего не может, просто диву даюсь...

[nooze]

а чего вы меня передергиваете? Я разве что-то говорил о глюкавости и возможностях винды? Просто всему свое место. Так что вашу фразу насчет стереотипов вам и возвращаю

[markshevchenko]

Я по неткрафту с 2004-го года отслеживаю ситуацию. Сейчас на IIS 35% сайтов, на
Apache 50%. Последние 9 месяцев цифры стабильны. Похоже, разработчикам понравился ASP.NET.

[hannimed]

Да, а что удивительного?
MySpace, кстати работает быстрей чем Facebook.
На последний когда зайдёшь думаешь: толи связь затупила, толи браузер подвис...

[Honeyman]

SQL server - это в смысле "любой SQL-сервер, кроме MySQL"? Так бы и написали бы, а то в заблуждение вводите.

[dtest]

нет, это продукт MS, http://www.microsoft.com/sqlserver/

[DenCh]

С точностью до минуты одновременно )

[Honeyman]

Как-то неочевидно, и из статьи не следует. SQL-серверов много...

[DenCh]

Я думаю имелся ввиду MS SQL Server — Windows + IIS лишнее тому доказательство.
Получается Мускуль и MS SQL — лидеры по БД в высоконагруженных, интересно, а как же Oracle и PostgreSQL.
В общем буду ждать продолжения )

[compozer]

Если взять топ (по посещаемости или по page-views), то среди лидеров будет 4 сайта на Windows+IIS: MySpace, MSN, Ebay и Windows Live/Hotmail.

[nooze]

у MSN и Windows Live/Hotmail небыло выбора :)

[nugget]

Уточню - "Мускуль и MS SQL — лидеры по БД в высоконагруженных" _веб приложениях_. Оракл например заточен под бизнес приложения в которых есть сложные запросы, большие объемы, короче другой профиль.

[DenCh]

Интересно, я правильно понимаю что на Фликре Java исключительно для пользовательских сервисов аля uploader для картинок?
Или у них на ней еще что-то сделано?

[compozer]

"Java, for the node service".
© и подробнее — тут.

[ureason]

Однобокая какая-то картина. Точнее, конечно, двухгранная :) Либо то, либо это.
Ни FreeBSD, ни Solaris...

[khim]

FreeBSD и Solaris остались в прошлом. Как это ни прискорбно.

Linux выигрывает у Windows в цене, а FreeBSD и Solaris его где-то в чём-то как-то превосходят, но с учётом того, что это всё ещё и администрировать кому-то нужно... Овчинка выделки почти никогда не стоит...

С другой стороны часто в таких наскрозь Windows/Linux системах *BSD может присутствовать в виде коробки, подобной этой, но если подобные ящики учитывать то мы и VxWorks увидим там и QNX...

[saddy]

На самом деле на Линуксе только новые серверы, которые сидят на ней из-за её рекламированности.
см. например http://uptime.netcraft.com/up/today/top.avg.html

[saddy]

Еще точнее вот эта ссылка http://uptime.netcraft.com/up/today/requested.html - там именно наиболее посещаемые сайты а не аптайм

[ureason]

Как странно, что нет ebay...

[ureason]

Относительно администрирования - трудно согласиться.
Из-за двух моментов: всё-таки не такая уж это редкость ну и всё-таки хочется верить, что среди этих администраторов нет огромной текучки, чтобы то и дело нужно было кого-то снова искать. Да и администрировать FreeBSD, по-моему, много проще :)
Но линуксов больше, да.

[akzhan]

Мне любопытно показалось, что сайты на платформе IIS/ASP.NET не используют memcached.

[hannimed]

Они не только используют кеширование, они еще и компилируются :)
Т.е. хранятся в двоичном виде, что даёт куда больший прирост производительности...

[lrrr]

Гм, это ортогональные вещи. Если затык в БД (а memcached для таких случаев и придуман), можете хоть руками на SSE3 переписать — быстрее не будет :)

[hannimed]

Ну с БД там тоже всё куда глаже чем в MySQL :)

[sunnybear]

а русского ресурса по серверной оптимизации нет? А то было бы неплохо с ним скооперироваться :)

[compozer]

Как минимум, блог «Высокая производительность» :)
Еще было вот это.

[sunnybear]

если учесть, что в первом меньше 10 постов за год, а второе слишком обзорно, чтобы бы быть руководством, то печальненько...

[arestov]

а вы с автором статей в первом свяжитесь)

[persona]

Походите по ссылкам с первого блога, на www.insight-it.ru например.

[preprocessor]

Вот на что мне открыла глаза табличка эта, так это на ситуацию с перлом. Про ЖЖ знал конечно, а вот Фликр... Думал, что он (перл) уже похоронен, оказывается нет и мир, видимо, все еще ждет шестой перл.

[khim]

Так как Flickr использует и PHP и Java и Perl то интересно увидеть для чего это всё используется. Может там два скрипта на Perl, а может 90% всей системы. Впрочем такие данные тяжело добыть даже инсайдерам, а уж людям со стороны...

[compozer]

http://highscalability.com/flickr-archit…

[ureason]

Перл живее всех живых и с ним всё будет нормально :)

[akzhan]

У нас в компании используется Perl.

Хотя моё личное мнение - тому, кто начал писать бизнес-приложения на динамически типизируемых языках, надо было руки оторвать :)

Теперь имеем, что имеем...

P.S.: хотя это, конечно, holy war.

[RomKaz]

Из высокопроизводительных решений стоило бы еще упомянуть NGINX (nginx.net)
Из крупных проэктов на нем работает Рамблер-медиа(rambler-media.com), да и на Хабре(habrahabr.ru) он, кажется, тоже используется
Опять же - поддержка отечественного производителя :)

[nooze]

в России он определенно дофига где используется

[SlashDev]

nginx в мире не сильно популярен в силу очень малого количества документации на английском. Но тем не менее количество сайтов на nginx в этом году перевалило за 1 млн. В СНГ же он используется чуть ли не на каждом проекте с серьезной нагрузкой.

Например:
vkontakte.ru
mamba.ru
loveplanet.ru
24open.ru
rbc.ru
softsearch.ru
... список можно продолжать очень долго.

[akzhan]

Да уж, прокси-сервера - стандарт дефакто.

Более того, nginx прозрачно используется на площадках виртуального хостинга многими хостинг-провайдерами.

[iZENfire]

odnoklassniki.ru — 15млн. пользователей — платформа Linux, сервер приложений Resin (Java JSP/Servlets)

[mobilz]

а я был уверен, что одноклассники на .net платформе

[lrrr]

Они были на asp, но потом все переписали на яву.

[mobilz]

поменяли шило на мыло

[vgrichina]

Я думаю что в довольно большой части случаев выбор платформы не делался изначально специально с расчетом на возможную высокую нагрузку. Большинство начинает как небольшие стартапы которые сделаны на чем получается и на чем проще дешевле и быстрее реализовать замысел. Затем уже существующий код начинают подгонять под требования по производительности, добавлять кеширование, репликацию и т.д.
Например насчет архитектуры YouTube:
http://video.google.com/videoplay?docid=-6304964351441328559

Вообще смысл в том что врядли систему будут переписывать с нуля для того чтоб справится с нагрузкой, по этому выбор например языка программирования врядли связан с производительностью, так как всегда можно переписать критичные части на более эффективном языке (например YouTube использует Си в некоторых критичных местах)

[mobilz]

facebook.com — php+mysql

[wikipedia]

да, я же написал, что скоро по рунету дам статистику.

[glader]

Ждем :)

[madm1ke]

По большей части - самописные демона на c/c++.
В остальном - большой разброс. Рамблер пользует PosgreSQL, мамба MySQL, яндекс и оракл иногда юзает.
Рамблер предпочитает perl, Яндекс - перл и питон, Одноклассники - яву, Спайлог, например, - php.

[anikey]

чуствую себя идиотом смотря на эту таблицу и используя на своем сервере nginx + php-fpm + eAccelerator + Mysql(хотя надо бы отказатся от него)

[ganzer]

Ничего не понял :)
Отказаться от MySQL?