Что внутри высоконагруженных сервисов?

    По роду деятельности интересуюсь различными аспектами реализации высоконагруженных сервисов, тут возник вопрос, на чем же лучше всего делать сервис расчитанный на многомиллионный сайт. Правильный ответ конечно зависит от того кто его будет разрабатывать, то есть кто какой язык хорошо знает.

    Но интересно было наткнуться на вот такую табличку, которая собственно показывает тенденции разработки highload структур.



    Чуть попозже я сделаю такую же табличку для российских стартапов, думаю многим будет интересно на чем они работают.

    Также кому интересна эта тема как и мне, рекоммендую периодически заглядывать на сайт
    highscalability.com

    п.с.спасибо что добрые люди подняли карму до 1, что позволило этот первый пост написать;)
    п.с.2 какие то проблемы версткой.
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 72

      0
      Данные, конечно, интересны, но откуда такая информация?
        0
        сама картинка собственно отсюда
        http://royal.pingdom.com/?p=173

        а данные брались с сайта который я написал в посте,
        то есть тупо брались данные по каждому сервису и
        теперь они приобрели вот такой наглядный вид.
          +2
          Linux Apache MySQL Memcached - ничего нового, все так и есть.

          Только единственно, жалко что не написано какие распределенные файловые системы используют.
          (MogileFS, Lustre, GlusterFS, что-то еще???)
          +6
          Внутри высоконагруженных серверов высоко нагруженный аццкий админ. :)
            0
            на самом деле на больших проектах зарубежных все железо настраивается с некоторой избыточностью, поэтому 100-1000 серверов может спокойно поддерживаться 2-3 админами.
            Вылетел сервак, сели перекурили, поставили новый со склада:) а в это время умный кластер распределил потерю по остальным 100.
              0
              хотя один раз была у майспейса жопа:) отключили питание в датацентре в котором они стояли и целый день простоя в результате, причем что интересно посетителей было в тот день больше чем обычно, все приходили и проверяли заработал или нет:) думаю на одноклассниках примерно такая же статистика когда они баги правят и функционал добавляют.
                0
                У Livejournal тоже было такое, правда они писали, что просто так взять и включить обратно будет не очень хорошо.
          • НЛО прилетело и опубликовало эту надпись здесь
              –1
              у меня есть, правда 1.1GHz/128Mb/0Gb
              • НЛО прилетело и опубликовало эту надпись здесь
                  –5
                  )
                    0
                    Скажите, а где именно не проблема найти такую железку?
                    Я бы купил такой сервер 1U.
                  0
                  А купить за $750 двухпроцессорный xeon 3,2 gHz не хотите?
                  • НЛО прилетело и опубликовало эту надпись здесь
                  0
                  MySpace на windows? 0_o *shocked*
                    0
                    да меня это тоже поразило.
                    порыл немного и выяснил, что его несколько раз апгрейдили,
                    изначально он был на перле, потом его переделали под ColdFusion
                    ну и теперь посадили на винду.

                    но также насколько я понял, сейчас уже начинает и вында не справляться
                    с нагрузками, что будет дальше?:)
                      0
                      QNX, датацентр NASA.
                        0
                        Рискну предположить, что динамическое перераспределение ресурсов и виртуализация.
                        Хотя неизвестно. С такими серьезными нагрузками, как MySpace, никто не сталкивался. А первопроходцам труднее всего. Посмотрим, что нового придумают их архитекторы в дальнейшем.
                          0
                          Простите, а где можно узнать об их нагрузках? У меня нет никаких данный о их перегруженности, и хотелось бы узнать.
                        –3
                        Блин, ну насколько у людей стереотипы развиты, что винда глюкало и ничего не может, просто диву даюсь...
                          0
                          а чего вы меня передергиваете? Я разве что-то говорил о глюкавости и возможностях винды? Просто всему свое место. Так что вашу фразу насчет стереотипов вам и возвращаю
                          • НЛО прилетело и опубликовало эту надпись здесь
                          0
                          Да, а что удивительного?
                          MySpace, кстати работает быстрей чем Facebook.
                          На последний когда зайдёшь думаешь: толи связь затупила, толи браузер подвис...
                          0
                          SQL server - это в смысле "любой SQL-сервер, кроме MySQL"? Так бы и написали бы, а то в заблуждение вводите.
                            0
                            нет, это продукт MS, http://www.microsoft.com/sqlserver/
                              0
                              С точностью до минуты одновременно )
                                +1
                                Как-то неочевидно, и из статьи не следует. SQL-серверов много...
                                +1
                                Я думаю имелся ввиду MS SQL Server — Windows + IIS лишнее тому доказательство.
                                Получается Мускуль и MS SQL — лидеры по БД в высоконагруженных, интересно, а как же Oracle и PostgreSQL.
                                В общем буду ждать продолжения )
                                  0
                                  Если взять топ (по посещаемости или по page-views), то среди лидеров будет 4 сайта на Windows+IIS: MySpace, MSN, Ebay и Windows Live/Hotmail.
                                    +3
                                    у MSN и Windows Live/Hotmail небыло выбора :)
                                    0
                                    Уточню - "Мускуль и MS SQL — лидеры по БД в высоконагруженных" _веб приложениях_. Оракл например заточен под бизнес приложения в которых есть сложные запросы, большие объемы, короче другой профиль.
                                  0
                                  Интересно, я правильно понимаю что на Фликре Java исключительно для пользовательских сервисов аля uploader для картинок?
                                  Или у них на ней еще что-то сделано?
                                    0
                                    "Java, for the node service".
                                    © и подробнее — тут.
                                    +1
                                    Однобокая какая-то картина. Точнее, конечно, двухгранная :) Либо то, либо это.
                                    Ни FreeBSD, ни Solaris...
                                      0
                                      FreeBSD и Solaris остались в прошлом. Как это ни прискорбно.

                                      Linux выигрывает у Windows в цене, а FreeBSD и Solaris его где-то в чём-то как-то превосходят, но с учётом того, что это всё ещё и администрировать кому-то нужно... Овчинка выделки почти никогда не стоит...

                                      С другой стороны часто в таких наскрозь Windows/Linux системах *BSD может присутствовать в виде коробки, подобной этой, но если подобные ящики учитывать то мы и VxWorks увидим там и QNX...
                                        0
                                        На самом деле на Линуксе только новые серверы, которые сидят на ней из-за её рекламированности.
                                        см. например http://uptime.netcraft.com/up/today/top.avg.html
                                          0
                                          Еще точнее вот эта ссылка http://uptime.netcraft.com/up/today/requested.html - там именно наиболее посещаемые сайты а не аптайм
                                            0
                                            Как странно, что нет ebay...
                                          0
                                          Относительно администрирования - трудно согласиться.
                                          Из-за двух моментов: всё-таки не такая уж это редкость ну и всё-таки хочется верить, что среди этих администраторов нет огромной текучки, чтобы то и дело нужно было кого-то снова искать. Да и администрировать FreeBSD, по-моему, много проще :)
                                          Но линуксов больше, да.
                                        +1
                                        Мне любопытно показалось, что сайты на платформе IIS/ASP.NET не используют memcached.
                                          0
                                          Они не только используют кеширование, они еще и компилируются :)
                                          Т.е. хранятся в двоичном виде, что даёт куда больший прирост производительности...
                                            0
                                            Гм, это ортогональные вещи. Если затык в БД (а memcached для таких случаев и придуман), можете хоть руками на SSE3 переписать — быстрее не будет :)
                                              0
                                              Ну с БД там тоже всё куда глаже чем в MySQL :)
                                          0
                                          а русского ресурса по серверной оптимизации нет? А то было бы неплохо с ним скооперироваться :)
                                            0
                                              0
                                              если учесть, что в первом меньше 10 постов за год, а второе слишком обзорно, чтобы бы быть руководством, то печальненько...
                                                0
                                                а вы с автором статей в первом свяжитесь)
                                                  0
                                                  Походите по ссылкам с первого блога, на www.insight-it.ru например.
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                0
                                                Вот на что мне открыла глаза табличка эта, так это на ситуацию с перлом. Про ЖЖ знал конечно, а вот Фликр... Думал, что он (перл) уже похоронен, оказывается нет и мир, видимо, все еще ждет шестой перл.
                                                  0
                                                  Так как Flickr использует и PHP и Java и Perl то интересно увидеть для чего это всё используется. Может там два скрипта на Perl, а может 90% всей системы. Впрочем такие данные тяжело добыть даже инсайдерам, а уж людям со стороны...
                                                  +1
                                                  Перл живее всех живых и с ним всё будет нормально :)
                                                    0
                                                    У нас в компании используется Perl.

                                                    Хотя моё личное мнение - тому, кто начал писать бизнес-приложения на динамически типизируемых языках, надо было руки оторвать :)

                                                    Теперь имеем, что имеем...

                                                    P.S.: хотя это, конечно, holy war.
                                                  +1
                                                  Из высокопроизводительных решений стоило бы еще упомянуть NGINX (nginx.net)
                                                  Из крупных проэктов на нем работает Рамблер-медиа(rambler-media.com), да и на Хабре(habrahabr.ru) он, кажется, тоже используется
                                                  Опять же - поддержка отечественного производителя :)
                                                    +1
                                                    в России он определенно дофига где используется
                                                      0
                                                      nginx в мире не сильно популярен в силу очень малого количества документации на английском. Но тем не менее количество сайтов на nginx в этом году перевалило за 1 млн. В СНГ же он используется чуть ли не на каждом проекте с серьезной нагрузкой.

                                                      Например:
                                                      vkontakte.ru
                                                      mamba.ru
                                                      loveplanet.ru
                                                      24open.ru
                                                      rbc.ru
                                                      softsearch.ru
                                                      ... список можно продолжать очень долго.
                                                        0
                                                        Да уж, прокси-сервера - стандарт дефакто.

                                                        Более того, nginx прозрачно используется на площадках виртуального хостинга многими хостинг-провайдерами.
                                                        0
                                                        odnoklassniki.ru — 15млн. пользователей — платформа Linux, сервер приложений Resin (Java JSP/Servlets)
                                                          +1
                                                          а я был уверен, что одноклассники на .net платформе
                                                            0
                                                            Они были на asp, но потом все переписали на яву.
                                                              0
                                                              поменяли шило на мыло
                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                              0
                                                              Я думаю что в довольно большой части случаев выбор платформы не делался изначально специально с расчетом на возможную высокую нагрузку. Большинство начинает как небольшие стартапы которые сделаны на чем получается и на чем проще дешевле и быстрее реализовать замысел. Затем уже существующий код начинают подгонять под требования по производительности, добавлять кеширование, репликацию и т.д.
                                                              Например насчет архитектуры YouTube:
                                                              http://video.google.com/videoplay?docid=-6304964351441328559

                                                              Вообще смысл в том что врядли систему будут переписывать с нуля для того чтоб справится с нагрузкой, по этому выбор например языка программирования врядли связан с производительностью, так как всегда можно переписать критичные части на более эффективном языке (например YouTube использует Си в некоторых критичных местах)
                                                                +2
                                                                facebook.com — php+mysql
                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                  0
                                                                  да, я же написал, что скоро по рунету дам статистику.
                                                                    0
                                                                    Ждем :)
                                                                    0
                                                                    По большей части - самописные демона на c/c++.
                                                                    В остальном - большой разброс. Рамблер пользует PosgreSQL, мамба MySQL, яндекс и оракл иногда юзает.
                                                                    Рамблер предпочитает perl, Яндекс - перл и питон, Одноклассники - яву, Спайлог, например, - php.
                                                                    0
                                                                    чуствую себя идиотом смотря на эту таблицу и используя на своем сервере nginx + php-fpm + eAccelerator + Mysql(хотя надо бы отказатся от него)
                                                                      0
                                                                      Ничего не понял :)
                                                                      Отказаться от MySQL?

                                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                    Самое читаемое