Архитектура Pinterest – 18 миллионов посетителей, 10-кратный прирост, 12 сотрудников, 410 ТБ данных

Автор оригинала: Todd Hoff
  • Перевод
История Pinterest очень похожа на Instagram. Феноменальный рост, огромное количество пользователей и хранимых данных, при этом поразительно мало сотрудников. А еще все в облаке.

Действительно, ни Pinterest ни Instagram не сделали больших научных или технологических открытий, но это скорее является следствием простоты использования облачных технологий, нежели признаком заката эры инноваций в Кремниевой Долине (Золотой век Кремниевой долины окончен, и мы танцуем на её могиле – прим. переводчика). Цифры в заголовке и оценки стоимости этих компании настолько велики, что нам кажется, будто бы за ними стоит некий вид технологической революции, обеспечивающей их бурный рост. Однако, эта революция гораздо более искусна – она показывает, насколько легко добиться столь быстрого роста, если вы способны реализовать хорошую идею. Привыкайте. Теперь это норма.

Вот что сегодня представляет собой Pinterest:
  • 410 Терабайт пользовательских данных или 80 миллионов объектов хранится в Amazon S3. Это в 10 раз больше, чем в августе 2011. Количество Amazon EC2 instances за то же время выросло в 3 раза. Ежемесячно затраты составляют около $39K за S3 и $30K за EC2.
  • Всего 12 сотрудников, как и в декабре 2011. Благодаря использованию облачных технологий, проект может продолжать расти, а команда, поддерживающая его, способна оставаться очень маленькой. UPD: Похоже, что уже 31 сотрудник.
  • Оплата только используемых ресурсов значительно экономит средства. Пик трафика приходится на вторую половину дня и вечер, так что ночью количество EC2 instances уменьшают на 40%. Во время максимального уровня трафика в среднем уходит около $52 в час на EC2, а ночью, когда нагрузка спадает, затраты составляют всего $15 в час.
  • 150 EC2 instances в качестве web-серверов.
  • 90 instances используются для кэширования данных в памяти для разгрузки БД.
  • 35 instances для внутреннего использования.
  • 70 master-серверов баз данных и параллельно существующих бэкап-серверов баз данных в нескольких регионах по всему миру для обеспечения избыточности хранения данных.
  • Написан на Python и Django.
  • Используется шардинг, БД разбивается при достижении 50% от вместимости. Это позволяет просто масштабировать БД при сохранении достаточной скорости операций IO.
  • Amazon ELB используется для балансировки нагрузки между EC2 instances. ELB API позволяет просто вводить и выводить из использования instances.
  • Один из самых быстрорастущих сайтов в истории. Использование Amazon Web Service позволило с минимальным уровнем IT инфраструктуры обработать запросы 18 миллионов посетителей в марте, что в 1.5 раза больше, чем месяцем ранее.
  • Облако позволяет легко и дешево экспериментировать с сервисом, при этом, не приобретая новых дорогостоящих серверов.
  • Основанный на Apache Hadoop, Elastic Map Reduce используется для анализа данных и стоит всего несколько сотен долларов в месяц.
Поделиться публикацией

Комментарии 113

  • НЛО прилетело и опубликовало эту надпись здесь
      +18
      А главное, откуда деньги?
        +4
        Они добавляют свой партнерский id к ссылкам на интернет магазины.
        +27
        Бытует мнение, что для того, чтобы понять суть Pinterest, нужно родиться женщиной.
          +15
          Я несколько раз заходил туда (натыкаясь на очередное упоминание на Хабре), но больше чем на пару минут меня не хватает.
          Ощущение беспорядочной свалки ни о чем. «Шахматная» верстка раздражает.
          Так что я тоже не понимаю…
          • НЛО прилетело и опубликовало эту надпись здесь
              +21
              Продадут его за два миллиарда долларов.
                +2
                А фликр больше (давно) не котируется?
                  +3
                  Лучшие времена Фликра позади, хотя он все еще остается привлекательным местом для публикации своих снимков.
                    +1
                    Единственное, что роднит Flickr и Pinterest по функционалу — это «галереи» на flickr — альбомы, которые могут включать только фото других пользователей flickr, обычно подбираемые автором «галереи» по какому-то общему признаку.
                    В конце концов, flickr — фотохостинг, в первую очередь, а pinterest — в чистом виде sharing service с графическим контентом.
                    К слову, разработчики flickr очень оперативно добавили pinterest к списку поддерживаемых через встроенный sharing-функционал сервисов.
                    +2
                    На Российском Интернет Форуме был доклад посвященный Pinterest, у него довольно интересная история и бизнес модель.
                    2012.russianinternetforum.ru/video/
                    19 апреля 2012 года.
                    11:21Авторские монолекции (ТОП). Products & Services. Тьерри Селлерин
                    (я смотрел на инглишь, там вроде как не очень перевели)
                    — Если в двух словах: Pinterest стал популярным среди домохозяек (в возвратной категории 40-60 лет) которые делают handmade (а потом уже пошёл в массы). В будущем мы перейдём на поглощение визуальной информации а не текстовой.
                    На каждом сайте будет: like, tweet и pin.
                    Пинтерест уже доказал, что может отлично монетезироваться.
                  +9
                  Да… Вот так, будучи ещё достаточно молодым, начинаешь чувствовать себя динозавром, не способным понять молодёжь…
                    +4
                    Я последние полгода грущу от этой мысли… Хорошо, что я не один такой =)
                      +14
                      Мне 22, и я не понимаю твиттер. А вы — про пинтерест и инстаграм, куда мне.
                        0
                        Мне 16, и сей сервис вызывает у меня когнитивный диссонанс, честно. Наверно, это все таки для девушек.
                          +2
                          Да, твиттер я тоже не осилил, но мне не многим больше вашего.

                          К слову, не думаю, что такое непонимание современных трендов это хорошо — в конце концов программист обязан быть гибким и принимать новое.
                          Так что искренне надеюсь это не тот случай =)
                            +1
                            Программист должен быть гибок по отношению к инструментарию, а не к моде ;)
                            –5
                            Твиттер, на самом деле, мегокрут.
                              –4
                              Да, за ним стоит действительно мощная новостная и социальная составляющие.
                                0
                                И чем не устраивает этот коммент? Не помните, как тушили пожары в Австралии?
                              0
                              Тебе нужно затвитить это! Тогда фолловеры объяснят.
                            +1
                            Не думаю, что в возрасте дело.
                            Когда Adobe собирались выпускать CS5 (это было пару лет назад вроде), я зашел на специальный сайт, который они сделали, посвященный его предстоящему выходу. Инстинктивно ожидая там увидеть раздел типа What's new, список новых возможностей (логично, правда?)…
                            Может он там где-то и был зарыт, но я его не нашел, за то были трансляции десятков бессмысленных твиттеров и ролики с youtube, где тим-лиды программеров (иногда мыча и запинаясь) десятки минут пытались объяснить какие-то новые фичи.
                            Сначала подумал, что Adobe хочет украсть мое время, сэкономив свое.
                            А потом догадался, что потенциальные пользователи (по мнению Adobe, которое может не сильно отличаться от реальности) CS5 уже не хотят «читать много букв». Они хотят, чтобы им рассказали. Как по привычному всем телевизору. Или если читать, то буквально в двух словах (твиттер). И не конкретную информацию, а о впечатлениях и переживаниях. И свойственно это уже не только молодежи, хотя ей, возможно, в большей степени.
                            +2
                            Это не вы конкретно, это мы все немного отстаем от локомотива — через несколько лет у нас будет тоже самое. Просто, как это ни странно, но наша страна до сих пор достаточно читающая/пишущая — отечественный человек лучше в комментах «плюсадын!!!!!111» напишет, чем просто на соответствующую иконку нажмет. А мировые (читай — западные) тренды (вот тут девушка неплохо про это пишет) в том, что все уже практически полностью перешли на «тыканье» и никто ничего не читает и не пишет. Собственно, вспомним планшеты, сенсорные экраны и так далее…
                              +1
                              Суть Instagram довольно простая и понятная: ты можешь сделать обычную фотографию привлекательной и интересной, не прилагая много усилий. Говоря простым языком, с помощью нескольких кликов Instagram превращает говнофотки в шедевры.
                                +4
                                с помощью нескольких кликов Instagram превращает говнофотки в шедевры.

                                Так думает илита. На деле сколько автоматических фильтров к мусору не применяй — он всё равно мусором останется.
                                  +10
                                  Я занимаюсь фотографией много лет. Это мое большое хобби. Снимаю исключительно на пленку и отношусь к фотографии с большой любовью. Говоря о говнофотках, превращаемых в шедевры, я хотел сказать, что Instagram дает возможность получать lomography-снимки с помощью нескольких кликов, не заморачиваясь покупкой lomo-камеры, фотопленкой, проявкой и другими заморочками пленочной фотографии. Instagram внедрил ломографию в каждый телефон и во многом из-за этого завоевал большую популярность. Ломо-фотки, кто бы ни был их автором, практически всегда интересно смотреть — за счет фильтров, без которых ломография была бы просто фотографией. Важная ценность ломографии в том, что ты можешь просто нажимать спуск, как угодно, от бедра или с руки — за счет фильтров снимок всегда будет интересным, кто бы не рассматривал его, илита или среднестатистический пользователь.
                                    +2
                                    И два высших, наверное.
                                      +2
                                      Ни одного :)
                                        +3
                                        Про это тоже надо было написать)

                                        Начало улыбнуло просто
                                          +1
                                          2 незаконченных!
                                        0
                                        Вы извините, но с пленкой париться при современных технологиях вообще бессмысленно. Всегда можно отофотошопить так, что будет казаться что вы снимали не на пленку, а на пленку^2, даже если это не так, то мощный mark2 даст детализацию получше чем пленка, при том как вы уже сказали, её можно отфотошопить и получится так же. И кстати если я не ошибаюсь kodak уже не существует?
                                          0
                                          не парятся с пленкой только любители. более того цифры за себя скажут куда больше чем я — pavel-kosenko.livejournal.com/387954.html
                                            0
                                            Цифры, на самом деле, ничего не говорят.
                                            Или, если угодно, они могут говорить очень разные вещи.
                                            Например, что в Москве (где находится Фотопроект) развелось много хипстеров, среди которых пленочная фотография — модное занятие (просто ходить по Воробьевым горам с цифровой зеркалкой — уже слишком mainstream, а чтобы выделиться, нужен старый Зенит). И с каких пор хипстеры стали профессионалами?
                                            Мода может мотивировать любые формы самореализации, в том числе бессмысленные с прагматической точки зрения.
                                            А вот некоторые профессионалы (я имею в виду тех, кто зарабатывает на жизнь в том числе благодаря фотосъемке — журналистов, например) как раз и перестали возиться с пленкой энное количество лет назад, что значительно сократило трудозатраты на выпуск иллюстрированных печатных изданий. Позвоните в Фотопроект и поинтересуйтесь, есть ли среди их клиентов издания, кроме каких-нибудь богемных художественных журналов.
                                              0
                                              ну вот опять же — вы привели в пример журналистов, которые безусловно уже давно перешли на цифру, ибо им важна оперативность, но есть еще другие области фотографии где до сих пор пленка чувствует в своей нише и уходить не собирается.пример тому — широкий формат, который на свалку не собирается — цифровые задники для широкоформатных камер стоят бешенных денег, и даже новый марк 3 от кэнона и рядом не валялся по цене. фотография в большинстве случаев — искусство (в том числе и журналистика) и пытаться вывести какую-то прагматическую точку зрения, как мне кажется, в корне не правльно.
                                                0
                                                Цена тут упомянута как индикатор целесообразности?

                                                И уточните, если можно, «широкий формат» — это medium (60х60мм, например) или large (4х5 дюймов и больше)? А то не совсем понятно, по какому существу возражать.

                                                Ну и я не очень понял тезис, где сначала говорится о том, что пленка уходить не собирается, а в подтверждение этого упоминаются цифровые задники. Если понимать его буквально, то это как раз значит, что бывшую пленочную камеру превращают в цифровую, отказываясь от пленки, как носителя.
                                                  0
                                                  мы говорим с вами о разных вещах. вы опереруете понятиями «целесообразность» и «прагматиеская точка зрения», в то время когда я не вижу смысла оценивать фотографию на прагматизм и тому подобное.
                                                  фотография — это икусство, объективно и «с точки зрения здравого смысла» оценивать которое не имеет смысла. Это не математика. Фотоаппарат (как и плёнка и цифра) — инструмент. не более того и не менее. и плёнка в качестве «инструмента» еще будет жить.
                                                  Другое дело конечно попойки в турции на плёнку уже никто не снимает, но это вопрос области применения.
                                                    0
                                                    Как реально я могу отличить отпечатки сделанные с плёнки и из файлов скажем где-нибудь на выставке?
                                                    Что даёт плёнка для искусства, чем она лучше цифры? Больше разрешение? Больше динамический диапазон? Больше чувствительность? Точнее цветопередача?..
                                                      0
                                                      ну она что то даёт раз ей пользуются — количество проявленных пленок даже растёт — хипстеры их проявляют или нет — какая разница?:) Ваше негативное к ним отношение к делу отношения не имеет:) пленка проявляется! это инструмент:) только и всего:)и инструмент, которых в руках людей умеющих им пользоваться, не сдающий своих позиций.:)
                                                        0
                                                        впрочем про отношение к хипстерам я мимо кассы — думал что дискутирую с тем же человеком что и выше:)
                                                          0
                                                          :) Я не про хипстеров.
                                                          Я про объективную разницу между плёнкой и цифрой. Чисто практически — цифра удобнее, универсальнее — это факт.
                                                          А вот в чём преимущество плёнки пока догнать не могу.
                                                            0
                                                            я не знаю в чем преимущество, но пленочный средний формат живее всех живых :) я допускаю ее, пленки, существование и тот факт что кол-во проявленных пленок не снижается для меня не сюрприз.
                                                            с другой стороны мне не нравится что с появлением цифры обсуждение фотографии свели к обсуждению технических возможностей современной зеркалки — мегапиксили, ДР, желтит, синит :) про фотографию itself все забыли, а именно ради нее всё и затевалось.
                                                              0
                                                              Я не забыл! :)
                                                              Поэтому и не понимаю шумихи вокруг ломо и инстаграм.
                                            +7
                                            Так ломография — это и есть «говнофотки», то есть
                                            «Ломография подразумевает запечатление момента без оглядки на традиционные критерии качества документальной фотографии, как то: резкость, правдоподобная цветопередача, равномерная плотность кадра. Это следствие как доступности и простоты устройства большинства ломографических аппаратов, так и зачастую малой фотографической грамотности части ломографов.»
                                            ru.wikipedia.org/wiki/%D0%9B%D0%BE%D0%BC%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F
                                              +1
                                              поясните мне тогда пожалуйста, как специалист.
                                              я залез в wiki и прочитал определение ломогра́фии — вид плёночной фотографии, который ставит своей целью запечатлеть на снимках жизнь во всех её проявлениях такой, КАКАЯ ОНА ЕСТЬ.
                                              Основная фишка Instagram, как я понял, в наложении всяких там фильтров. Так зачем же нормальные, качественные фото СПЕЦИАЛЬНО размывать, искажать цвета, делая их неестественными, искусственно «старить»?
                                              Субъективно — фото с такими эффектами просто бесят, художественной ценности в них не вижу.
                                              0
                                              В чем-то предыдущий оратор прав. Непонятная цветопередача дешевого пленоченого аппарата или фильтры делают снимок очень уж непохожим на реальность. От этого он в самом деле становится более интересным при просмотре. Был обыденный непонятно какой кадр, а потом его немного покрасили, затемнили по краям, наложили цветных градиентов — стало получше. Отдельный момент — вся эта обработка прошла мино фотографа и он может ничего о ней не знать — камера или программа радикально улучшили снимок. То есть, практически любой может «снимать как профессионал». Это людей привлекает.

                                              А дальше — дело вкуса. Кому-то нравится так «щелкать налево и направо», кто-то любит проявлять пленку в лаборатории, кто-то с Photoshop колдует, а еще кто-то любит сразу настроить камеру так, чтобы снимки в печать без коррекции годились.
                                              0
                                              фу да какие шедевры… имхо навязанная какая то социалка, в которой я даже не вижу социальную составляющую :( и многие кто используют инстраграм делают это следуя за другими, чтобы быть в тренде моды (imho)
                                              +1
                                              Суть сервиса очень проста: гуляя по интернету и заметив интересную/красивую/какую-то еще картинку, ее можно «запинить» — сохранить для себя. Это первичный компонент. По сути, визуальный блокнот. Вторичный, социальный компонент — возможность смотреть, кто что себе запинил, делать репины и так далее.
                                                0
                                                А как делаются пины на сторонних сайтах? панелькой в браузере что-ли?
                                                  0
                                                  Букмарклетами, плагинами и так далее.
                                                    +2
                                                    Хм, неужели обычные люди таким активно пользуются…
                                                    Хотя stumble upon помню довольно популярным был.
                                                      0
                                                      Вот как раз обычные и пользуются.
                                                        0
                                                        Полагаю, кнопка типа «like», которую ставят социалки, все-же намного больше располагает к действию (как минимум, потому что там только один клик и больше ничего и знать не нужно). Не зря ж социалки так активно их продвигают (хотя, конечно, это еще и пиар самих социалок). Странно, что этот пинтерес еще не распространяет свои кнопки на других сайтах.
                                                          0
                                                          Еще как распространяет.
                                                      0
                                                      а вот этим функционалом напомнило www.pocket.com и даже интерфейс на ios похож. интересно кто у кого скомуниздил
                                                        0
                                                        сорри getpocket.com
                                                          0
                                                          Pocket, а точнее, бывший Read It Later, сделан для другого. Он сделан для того, чтобы «позже» в удобстве и комфорте прочитать материал, на который сразу не было времени. И мобильная его версия сделана для того же, просто она потихоньку вытеснила онлайновую.

                                                          А функция pinterest — прибить на память.
                                                    +1
                                                    Та же хрень. Вроде статью прочитал, а что такое сабж и зачем он нужен — так и не догнал.
                                                      +1
                                                      Суть сервиса элементарна: казуальнейший способ сохранять и делиться визуальным контентом. Без кучи лишнего мусора, в один клик, фильтруя по интересующим темам. Абсолютная простота использования. Апофеоз казуальности: всё интуитивно понятно без туторов. Если в друзьях — люди с похожими интересами/вкусами — фактически, получаешь прекрасный визуальный фид интересного контента. И неважно, интересуют тебя платья, пироги, гаджеты, котики, комиксы, авто или кино: выбери соотвествующие фиды интересных тебе людей — и получишь автоматически «круг по интересам».
                                                      +3
                                                      Зашел на сайт, бестолковая фигня.
                                                        0
                                                        Зашел и обалдел от увиденного — дизайн ресурса для душевнобольных. Как в таком виде возможно воспринимать информацию? Я обеспокоен за нынешних женщин и молодежь.
                                                          +1
                                                          Странный способ подачи информации.

                                                          Меня сайты с тремя колонками уже как-то раздражать начинают, а тут, блин, ПЯТЬ.
                                                            +1
                                                            Это у вас пять — мне выдали все ВОСЕМЬ
                                                              +1
                                                              Жуть.

                                                              Донажимался щас на уменьшение страницы, там 22 колонки вообще.
                                                                0
                                                                Я 26 насчитал.
                                                                1280 пикс ширина, масштабирование в опере на самый минимум.

                                                                Кстати, абсолютно никакой фильтрации похожих материалов: puu.sh/wcAs
                                                                Ютуб такое у себя не допускает.
                                                              0
                                                              Он рассчитан на пользователей смартфонов, там скорее всего будет одна колонка
                                                              0
                                                              Хотел уже просить оригинал, но потом сам заметил на комбинатаре. кому нужно highscalability.com/blog/2012/5/21/pinterest-architecture-update-18-million-visitors-10x-growth.html
                                                                +1
                                                                В топиках-переводах на оригинал можно перейти кликнув на имя автора оригинала (сразу после текста перевода, слева от имени хабраюзера).
                                                                +8
                                                                Увидел там раздел DIY, подумал, а вдруг?

                                                                Но нет!

                                                                  0
                                                                  тепой переводняк ключа на 15
                                                                  +2
                                                                  Я тоже не понимаю. Меня пора на свалку.
                                                                    –4
                                                                    Почти все комментарии можно поместить в БЭС на букву «З». Зависть.
                                                                      +3
                                                                      Для меня эта буква в рамках данной темы больше тянет на «Зачем?».
                                                                        0
                                                                        А твиттер зачем? А фейсбук?
                                                                          0
                                                                          Да с твиттером то же «Зачем», что и тут.

                                                                          FB вот вроде как начинали волну и пока неплохо на ней держатся.

                                                                          Одно дело, когда ты сделал первый сервис, другое — когда клепаешь поделки, в которых есть какая-то часть функционала из других сервисов. Ну и просто другой дизайн. Другое ограничение на количество знаков. Etc.

                                                                          Хз. Для меня сервисы в сети в последнее время превратились в какую-то «атаку клонов».
                                                                            0
                                                                            Ок, но тем не менее Твиттером вы пользуетесь, верно?
                                                                              0
                                                                              Ну тут какая штука — аккаунт есть, используется исключительно для репоста в одну кнопку статей с хабра и со своего сайта. Так что, вряд ли можно сказать, что я им пользуюсь в привычном плане — чтение, ретвиты, подписки там (пытался юзать его для уведомлений от lostfilm, когда у них rss накрылось, но не понравилось).

                                                                              Выходит, что тви для меня — что-то вроде инструмента для привлечения на сайт тех, кто привык узнавать о новых событиях из этой сети.
                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                          +2
                                                                          Вам хотелось, что бы фотобложик, бету которго можно неспешно собрать за две недели, оценили в 1,5 млрд. долларов? И это была ваша компания. А все б, такие, вокрг ходили, и: «Охохох… закат эры, ухухух, как же ребята попали — нужно 100 миллионов отдавать».

                                                                          М? :)
                                                                            +3
                                                                            Черт возьми, да любой мало-мальски заинтересованный разработчик должен кончить от возможности поднять архитектуру такого проекта, с таким трафиком.

                                                                            И поверьте, необходимость — мать изобретения: серверы кончатся, денег от инвесторов перестанут течь также активно как сейчас, и вполне возможно, что ребята выдадут очередной мемкешди или хипхоп.

                                                                            Я оптимистичен. Поскольку, любой большой проект полезен для всего IT-сообщества в целом.
                                                                          0
                                                                          Не по теме, но все же интересно — во сколько можно оценить habr )
                                                                            +2
                                                                            Он бесценен, любезный, бесценен.
                                                                            +2
                                                                            А мне понравился сервис. До это использовал другой, для создания альбомов того, что нашел в интернетах. Я UX дизайнер и часто уношу чужие идеи для вдохновления. Самое удобное — это быстрая закладка для пина.
                                                                              0
                                                                              прощу прощения, а кто такой UX-дизайнер? мне просто любопытно, без всяких подколок. можно, конечно, посмотреть в поисковике, но я предпочитаю спросить напрямую.
                                                                                0
                                                                                Проектировщик пользовательского взаимодействия, я думаю.
                                                                              +3
                                                                              Маркетинг в действии.

                                                                              Главное объяснить всем что сервис модный, в рекламу денег побольше, и большинство пойдет и будет пользоваться.

                                                                                0
                                                                                Именно.
                                                                                0
                                                                                Получается, что сервис по сути неэффективен по затратам. Как минимум система хранения. Они платят 1,2 млн руб./мес за систему хранения. У нас система хранения на 120ТБ умещается в 12 юнитов и стоит(!) порядка тех же 1,2 млн руб. Соответственно система хранения на 410 ТБ будет стоить 4,1 млн руб. Аренда стойки — пусть 100 т.р. Окупаемость 4 месяца…
                                                                                  +6
                                                                                  Отсюда и малочисленность сотрудников, которая покрывается сверхзатратами на сервисы Amazon.
                                                                                  Я понимаю, что это удобно, гибко и модно. Но тут не чем гордится. Это все равно что сказать, что ты хороший рыбак — купил огромную рыбу в магазине сам, в одиночку и даже без удочки )
                                                                                    +2
                                                                                    Главное, что он потом вышел из магазина, и продал ее втридорога…
                                                                                      0
                                                                                      Они не говорят, что они хорошие рыбаки.
                                                                                      Они хорошие повара — вкусно готовят купленную в магазине рыбу.
                                                                                      0
                                                                                      И правильно — деньги не все решают. Они получили не только хранение, но и решение всех смежных проблем, управляют им «одним пальцем». Понадобился новый сервер — покликали и готово. Их не волнует то, что железо ломается, то что его надо выбирать и покупать (и на это требуется время и деньги, которые вкладывать надо уже сегодня), нет проблем со связью от хранилища до серверов и до клиента (дома-то стойку дешево поставить, но по домашнему интернету популярный сайт крутить не получится).

                                                                                      А самое важное тут — что у них не совсем обычный бизнес — там лишние затраты не столь важны, как, скажем, в хостинге (товар стоит дешево, и если себестоимость снизили на 2 копейки — в сумме выиграли очень много). Стартап или взлетит (и тогда денег приносит столько, что уже неважно, сколько стоят диски там), или не взлетит (тогда тем более неважно, сколько вы там в прошлом платили. да и продавать б/у сервера за копейки, чтобы хоть как-то отбить большие затраты не требуется). При этом они не сталкиваясь с проблемами менеджмента и кадров УЖЕ запустили сервис, который, может быть, станет очень популярным. А если бы откладывали пока не наладят всю схему хранилища (включая склад для хранения запчастей для быстрого ремонта, кадровую службу, которая будет нанимать кладовщиков и админов, безопасников, которые будут следить за тем чтобы вышеперечисленные не тырили с работы скрепки) — то возможно вышло бы и дешевле, но на год позже. А за этот год другой сервис занял бы эту нишу.
                                                                                        0
                                                                                        мне кажется, вы немного иначе считаете. это ведь сейчас они платят 30 тысяч в месяц. а на стартовом этапе им было не до СХД за миллион и аренды стойки. потом объем потребляемых ресурсов рос, но получаемый доход (и инвестиции) росли еще быстрее, и не возникало нужды переезжать с уже настроенной, работающей так, как нужно системы на собственное железо, пусть и со сроком окупаемости в 4 месяца. кроме того, в объявленную цифру, скорее всего, уже входит оплата каналов, которую вы не учитываете. а для сайта с большим количеством графического контента это чуть ли не главная статья расходов.
                                                                                        +1
                                                                                        Давайте уже по теме — «Архитектура Pinterest» ;)
                                                                                        То, что здесь не домохозяйки собрались, думаю уже понятно.
                                                                                          +8
                                                                                          Как, как можно так программировать?
                                                                                          Вот тут (http://mashable.com/2012/04/29/pinterest-interest/) пишут, что 2.3 миллиарда просмотров страниц за март было. 2.3млрд / 31 / 24 / 60 / 60 = 859. Ну пусть в пике будет в 10 раз выше, это 8600 страниц в секунду на 150! фронтов. 57 rps. За такое надо руки отрывать.

                                                                                          Далее, картинки: 410Тб — это 1 полка на 24 2Тб сата диска, с каждого диска можно получить 200rps, если делать 3 реплики — то получится 14.5k rps. Это минимум, в реальности pagecache будет работать. Это всё на опенсорс технологиях, т.е. платить только за железо.

                                                                                          Отдельный вопрос — что же они хранят аж на 70 серверах БД и 90 мемкешах всего о 18 миллионах пользователей (или о 80 миллионах объектов, которые хранятся в S3?).

                                                                                          В общем, складывается впечатление о наколеночном поделии, которое держится за счёт дикого количества арендуемых мощностей и, соответственно, финансовых вливаниях.
                                                                                            +2
                                                                                            410ТБ — это 9-10 полок по 24 диска по 2ТБ. Получить 200 rps с диска не сложно, а вот в системе хранения размером со стойку средняя эффективность диска резко падает с ростом объемов.
                                                                                            Надо еще учесть что на странице не одна картинка, а около 100. Поэтому rps картинок должен быть порядка 860krps.
                                                                                            Но это все решаемо и за гораздо меньшие деньги. просто нужно нанять пару умных парней )
                                                                                              0
                                                                                              Ой, что-то да, нолик пропустил я. Ну тогда ещё проще, получить 140k rps с 30 полок — вообще без проблем, мб даже меньше 30 серверов для этого понадобится (несколько полок на 1 сервер вешать). А вот с системой хранения я не зря упомянул, что это опен сорс, получить линейное масштабирование можно. Я, к сожалению, не ахти какой писатель, мне проще голосом рассказывать :)

                                                                                              С картинками надо учесть, что есть популярные и не популярные, там пейджкэш будет рулить неимоверно.
                                                                                              +2
                                                                                              И странная тема с 80 млн объектов в S3. Получается что средний размер объекта более 5 МБ. Это уже mp3 файлы а не картинки)
                                                                                                +1
                                                                                                а потом, когда количество пользователей удвоится — купить ещё 24 диска, подключить их, настроить бэкапы, 99,9% доступность, настроить охлаждение, электроэнергия, потом ещё и ещё.
                                                                                                  0
                                                                                                  Настраивать особо ничего не надо — докупил полку с сервером (в количестве 3 штук того и того — резервирование и доступность как раз), налил туда операционку, из пакетов ставишь софт+конфиги, пара лёгких штрихов в них — и запускаешь процесс добавления дисков в систему хранения. Охлаждением, электропитанием, коммутацией и прочим подобным занимается владелец ДЦ.
                                                                                                  0
                                                                                                  А есть уверенность, что открытие страниц для такого сервиса можно переложить в rps, у них достаточно много подгружается динамически, это считать открытием страницы или нет?
                                                                                                  150 фронтов, а каких параметров, написано где-нибудь? Если это микро-инстансы, то даже 57rps не такое плохое число (но вряд ли это микро :) )

                                                                                                  Про диски, платить еще минимум человеку, который будет бегать покупать диски и менять их, есть смысл забивать саппортом голову?

                                                                                                  С базами солидарен, 70 + 90 похоже на перебор

                                                                                                  Есть деньги или нет — намного проще вливать в сервера, нежели в разработчиков
                                                                                                    0
                                                                                                    Я думаю, что для прессы они именно так считали страницы, каждая подгрузка — новая страница.

                                                                                                    С дисками — откомментил выше, что промахнулся слегка. Думаю, за небольшую сумму обслуживающий персонал ДЦ с радостью побегает и поменяет диск :) А если сразу за месяц платить — то побегает сразу, как только надо будет. Всяко дешевле $39k будет стоить :)
                                                                                                    0
                                                                                                    А столь широкий канал в мир тоже поднять и держать свой нынче не проблема?
                                                                                                      0
                                                                                                      Это проблема выбора хостера (или нескольких, если чтобы были совсем уж независимые ДЦ и каналы), не? Причём у них были инвестиции в размере 100млн, т.е. плавное увеличение мощности вследствие отсутствия денег не требовалось, можно было расти скачками.

                                                                                                      Да пусть даже использовать амазон и их S3, всё равно больше 350 серверов + отдельно амазоновский балансер + амазоновский MR — это как-то слишком.
                                                                                                      0
                                                                                                      Практически любой бизнес можно пересмотреть и оптимизировать. При этом сама оптимизация будет стоить время и деньги. Они на хранение потратили совсем немного своего времени и запустили сервис быстро. В итоге получили гигантские плюсы:
                                                                                                      1. Сервис уже есть. Кому-то нужен, и среди них он известен. Любой конкурент будет уже вторым, и ему придется догонять. Есть миллионы видеохостингов не хуже ютуба, с теми же фичами, но #1 уже есть и обогнать его тяжело.
                                                                                                      2. Они уже получают реальный опыт этого бизнеса и вместо прикидочных чисел в бизнес-плане, имеют реальные цифры. Знают, сколько у них клиентов и как они набираются, знают, сколько им требуется дискового пространства, знают, сколько они за это платят, знают, какая у них прибыль. И они очень хорошо сэкономили на этот момент — аренда-то стоит гораздо дешевле чем покупка. Сейчас они видят расходы и доходы. Если у них расходы 10 тысяч в месяц, а доходы в миллион — то эти 10 тысяч — ничто, можно их проигнорировать и сфокусироваться на новых фичах итд. Если у них расходы на хранение составляют существенную часть от доходов, они уже (зная реальные цифры) могут посчитать, и либо понять, что им надо переходить на собственные диски, и тогда они будут в плюсе, или может быть вообще «все плохо», и каждому клиенту надо столько места, которое даже по самым дешевым ценам стоит дороже, чем приносит им пользователь.

                                                                                                      Оптимизировать — это здорово, но надо это делать в свое время, иначе можно создать за много-много лет идеальную автомобильную дверную ручку и эффективную технологию ее производства, в то время как какой-нибудь форд за это же время уже делает и продает свои неидеальные машины по всему миру.
                                                                                                        0
                                                                                                        Безусловно, если рассматривать с точки зрения менеджера — то вы правы. Но тогда надо ещё обязательно иметь перед глазами слово revenue, а его нету. Вообще я сходу не нашёл, чтобы pinterest заявляла где либо о своих доходах, есть только общие слова о методах монетизации в их проекте. Есть спекуляции о доходах от 5 до 30 миллионов в год, при расходах только на амазон порядка 1млн в год. А ещё же надо заплатить зарплату 31 человеку, и налоги. В общем, с точки зрения бизнеса ничего конкретного сказать нельзя, живут они пока за счёт инвесторских денег, всего в них всадили на текущий момент 138 миллионов.

                                                                                                        Да и потом, я не предлагал покупать, с таким же успехом можно арендовать сервера и полки с дисками, использовать обслуживающий персонал хостера для смены дисков и физического добавления новых машинок, коммутации сети. Да, возможно, им бы пришлось потратить немного больше времени. Но сейчас то они из готового используют только S3, на который спрыгнуть можно довольно легко в любой момент развития. Да пусть даже в амазоне виртуалки покупать, они уже сейчас тратят на аренду больше денег, чем на 2 хороших разработчиков. И дальше будет хуже. Разве это ок с точки зрения бизнеса?

                                                                                                        Почему я написал такой комментарий? Да потому что статья то техническая, перевод из технического блога и размещённый в блоге «Высокая производительность». Так вот, дерьмовая производительность то!
                                                                                                      +5
                                                                                                      В любом случае, каков бы не был финал пинтереста, Амазон в большом выигрыше. Всегда восхищался тем, как они умно организовали свою инфраструктуру.
                                                                                                        +1
                                                                                                        18 млн. юзверей — 1,5 млрд. $. То есть каждый должен как-то принести сервису минимум 83 доллара в течение периода окупаемости. Интересно, как?
                                                                                                          0
                                                                                                          Не забываем про рост. 18 миллионов — не фиксированное количество. А период окупаемости для технологических компаний — обычно не менее 15 лет.
                                                                                                            0
                                                                                                            Допустим. Тогда, чтобы оценить адекватность этих сумм, желательно сравнить, за какое время и какими усилиями в прошлом веб-сервис мог набрать 18 млн. юзеров и сколько он при этом стоил. То есть, есть ли в том, что описывает автор, про облака и масштабирование, реальная инновация или ее видимость.
                                                                                                          0
                                                                                                          Ожидал увидеть больше технической информации.
                                                                                                            –1
                                                                                                            Хотя бы один человек на хабре понимает, в чем смысл сервиса?
                                                                                                              +1
                                                                                                              Чего-то куда-то пинить… ну или пинать… наверное правильнее будет «пинать» :)
                                                                                                                +1
                                                                                                                да. Сохранять понравившиеся картинки в удобный(?) каталог. Ну вот примерно как раньше некоторые делали вырезки понравившихся статей из газет. Для этого можно использовать всякие тулбары, букмарклеты (у меня букмарклет перестал работать после какого-то обновления Хромиума).

                                                                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                              Самое читаемое