Насколько крупны порносайты?



    Хорошо известна старая поговорка, гласящая, что Интернет был создан для порнографии. Увеличение скорости соединения по всему миру, онлайн-вещание видеороликов, видеочаты и живое общение, оптимизация трафика, огромные хранилища и безотказный хостинг — всё это лишь следствия запросов порноиндустрии.

    Согласно отчету принадлежащей Google рекламной сети DoubleClick, которая отслеживает посетителей по cookies, в числе 500 самых посещаемых сайтов сети есть десятки порнографической направленности. Xvideos, самый крупный порносайт мира, получает 4,4 миллиарда просмотров страниц в месяц, что в три раза больше, чем CNN или ESPN, и в два раза больше, чем Reddit. LiveJasmin, YouPorn, Tube8 и Pornhub — огромные веб-сайты, посещаемость которых ниже лишь гигантов уровня Google или Facebook.

    Конечно, следует отметить несколько отличий, которые нужно учитывать при сравнении посещаемости ресурсов порнографической направленности. Основное отличие порносайтов от обычных — это время, которое посетитель проводит на них. На обычном новостном сайте средний визит длится 3—6 минут, достаточные для чтения одной или нескольких статей, на порноресурсе посетитель задерживается на 15—20 минут. Контент обычного веб-сайта — это текст или изображения, которые не потребуют передачи сравнительно больших объемов данных, в то время как на порносайте с видеовещанием средний посетитель легко расходует 100 мегабайт трафика за один визит.

    Но даже с учетом этих особенностей объем передаваемых данных поражает: один только Xvideos передает 29 петабайт в месяц или 50 гигабайт в секунду. В пике Xvideos испытывает нагрузку в 1 терабит в секунду. Для сравнения: интернет-канал между Нью-Йорком и Лондоном составляет всего 15 терабит в секунду.

    YouPorn, второй по величине порносайт на планете, поделился данными о себе, отличающимися от статистики рекламной сети DoubleClick в большую сторону. YouPorn хранит более 100 терабайт порнографических материалов и получает более 100 миллионов просмотров страниц в сутки. За 24 часа передается 950 терабайт данных, в основном это — видеопоток. В месяц получается как минимум 28 петабайт переданного трафика, из-за пиков возможны скачки от 35 до 40 петабайт в месяц. В пике YouPorn формирует 4000 страниц в секунду и передает 100 гигабайт или 800 гигабит сетевого трафика в секунду. Это равносильно передаче 10 двухслойных DVD-дисков в секунду.

    Для обслуживания подобных запросов используется СУБД Redis и MySQL для административных потребностей при управлении и добавлении данных в кластере Redis. Сайт использовал в основном Perl с MySQL, но в 2011 году всё было переписано на PHP с использованием Redis. Redis получает 300.000 запросов в секунду, в час сохраняется 8—15 гигабайт данных (логи посетителей, их поведение и т.д.). В качестве веб-сервера используется nginx с HAProxy и Varnish для балансировки нагрузки. Владельцы YouPorn говорят, что подобная система может принять в два раза большую нагрузку — до 200 миллионов просмотров страниц в сутки.

    От YouPorn не поступало информации о их вычислительных мощностях, но судя по IP-адресам системы доставки контента сайта, они пользуются услугами облачного хостера с крупным дата-центром и пирингом от Level 3.

    Чтобы понять, что означают 800 гигабит в секунду, вспомним, что посредством Интернета в сутки передается лишь пол-эксабайта трафика или около 50 терабит в секунду. Другими словами, обычный порносайт может получать в пике 2% всего мирового трафика. Существуют десятки сайтов, сопоставимого с YouPorn размера, и сотни, получающих аналогичные хабрахабровским объемы трафика. Не будет преувеличением оценка порнотрафика в 30% от всех передаваемых данных в сети.
    via

    upd: MechanisM привёл презентацию о внутренней инфраструктуре высоконагруженных сайтов компании Manwin, владеющей PornHub, YouPorn и рядом других порнографических ресурсов.
    Share post

    Comments 101

      +19
      Ну надо же!
        +50
        Это они еще не считают порно вконтакте
          +3
          В последнее время данный трафик становиться все меньше и меньше. Если раньше по любому запросу поиска по видео выдавалась первым делом порнуха, то теперь даже по запросу «порно» зачастую выдается ролики не порно содержания (да и та в своей массе фейковое порно).
            +2
            Это вы искать не умеете. Ищите по группам, а потом в них уже ;)
              +15
              Спасибо:) Приятно получить дельный совет от профессионала! :)
                +1
                Тяжело быть линуксоидом. Пока найдешь информацию по редкому багу в high-load, выучишь пару языков на уровне чтения форумного флейма, узнаешь, что по запросу вида «ubuntu » на 10й странице гугла можно найти то самое, научишься искать что-то вконтактике, fb, твиттере и прочих недосоциалках.
                Вспоминается, как я читал про багу в ведре в районе таймеров tcp на какой-то страничке в оркуте.
                  0
                  Ох, хабрапарсер =(
                  s/ubuntu /ubuntu some bug description/
                0
                Вконтакте есть отличный инструмент для поиска порно — рекомендуемые видео для конкретного пользователя. Достаточно найти одного у кого есть порно того жанра что тебе интересно, и дальше уже по его рекомендациям имеешь неплохой кластер. Забавно что в большинстве случаев это видео забаненных пользователей, но при этом видео доступно… Еще есть метод «друзья бота».
                Поскольку я порно не особо часто смотрю, то я просто запихнул чуток качественных роликов в видеозаписи моего клона (левая анкета для приколов), сделал их доступными только для клона… логин от клона я давно забыл (пароль помню)))
                А вот в рекомендациях всегда свежий порноконтент, и фиг мне эту анкету забанят — нового ничего не добавляется, в открытом виде порно нет… в общем ни одна эвристика не заподозрит его…
                Всех своих «подопечных» на эти рекомендации пересадил. Ибо чем меньше шляются по порносайтам, тем мне потом меньше вирусов им лечить......))))
                +1
                Подождите-ка, я правильно понял, что вы не можете найти порно в интернете?! Вы мой герой.
                  +4
                  Порно видео в контакте, а не вообще в интернете.
              +4
              ChatRoulette или PornoLab
                +44
                Выкладывайте уже списком с урлами. Неудобно текстовые ссылки копировать.
                  +31
                  +3
                  Поддерживаю! Тогда вместо десяти закладок будет одна, на хабратопик.
                    –1
                    Когда будет отчет по хаброэффекту на порносайтах мира?
                      +12
                      habrahabr.ru/users/vyacheslav_ka/favorites/comments/
                      жалко тема заблокирована, там следущий комментарий был, по памяти «если большинство ссылок фиолетового цвета, у меня для вас плохие новости»
                      +1
                      Реально выложить списочек на 20-30 адресов? :) Это не будет спамом? :)
                        0
                        в Google Chrome в контекстном меню при выделении текста есть пункт искать в Google (выделенный текст), удобно!
                          0
                          У меня еще стоит расширение что можно на картинке правой кнопкой кликнуть и искать похожие в гугле.
                            0
                            В Опере кроме него есть ещё и «перейти по адресу» и «Искать в…►»
                          +12
                          Порно двигает технологии,
                          blue-ray, html5 video теперь ещё и key-value db
                            +1
                            а блюрей разве не заявлял что этот носитель будь запрещен для xxx?
                              +1
                              Может, человек с DVD перепутал. Или вообще с VHS :).
                                +1
                                А разве получилось запретить?
                              +5
                              Порно спасет мир!
                                +14
                                Я доволен собой))))
                                Для одного high-load сайта, который сейчас делаю, раскидал схему такую же, как у YouPorn)))
                                Это самая лучшаягарантия качества xD
                                  +19
                                    +8
                                    >You do not want to see my histing bill
                                    I WANT!!!
                                      –1
                                      Hes fisting bill?
                                    +29
                                    Теперь при очередных холиварах PHP vs python/ruby/etc, кроме facebook и вконтакте, будет упоминаться YouPorn, как высоконагруженный проект.
                                      +3
                                      Youtube на Python :)
                                        +2
                                        и DropBox…
                                          0
                                          А статью прочитать религия не позволила?)
                                            +1
                                            А, тьфу. Прочитал ваш комментарий как «YouPorn на Python») Извиняюсь)
                                          +5
                                          Хотел бы увидеть разработчиков и администраторов этих сайтов :)
                                          Кстати, кроме всего прочего, они почему-то не пишут о проблемах масштабирования и распределения нагрузки в высоконагруженных системах. Хотя проекты более посещаемы.
                                          +5
                                          Есть такая замечательная канадская компания MANWIN(владельцы Redtube итд), они частенько выступают на конференциях разработчиков с докладами о том как они справляются с высокими нагрузками, рассказывают о своей инфраструктуре итд. Я смотрел слайды есть очень интересные решения.
                                            +3
                                            Спутал не Redtube а YouPorn(хотя они вроде и Redtube купили). По ссылке еще можно почитать чем они владеют.
                                              +1
                                              Дабы не дезинформировать, еще добавлю что главный офис компании все-таки в Люксембурге(но в Канаде тоже есть офис). Скорее-всего я решил что компания канадская ибо на конференции были ребята именно из канадского отделения компании и скорее всего именно там и ведется разработка а в Люксембурге видимо только управление.
                                              +5
                                              Как-то в топике про закрытие порнолаба уже выкладывали:
                                              тык
                                              www.megarotic.com
                                              www.pornotube.com
                                              www.xnxx.com
                                              www.youporn.com
                                              www.bangbros.com
                                              www.bangbros1.com
                                              www.lifeout.com
                                              www.xtube.com
                                              www.tube8.com
                                              rude.com
                                              www.xvideos.com
                                              boysfood.com
                                              www.pornhub.com
                                              www.pornhost.com
                                              www.badjojo.com
                                              kaktuz.com
                                              www.youjizz.com
                                              www.lubetube.com
                                              www.sexyandfunny.com
                                              redtube.com
                                              www.spankwire.com
                                              www.pokeherstars.com
                                              www.sexyclips.org
                                              kinxxx.com
                                              www.tnaflix.com
                                              yuvutu.com
                                              www.needbang.com
                                              www.slutload.com
                                              www.dachix.com
                                              www.maxporn.com
                                              www.camelstyle.net
                                              www.heaven666.org
                                              www.deviantclip.com
                                              www.watchhervideo.com
                                              www.humornsex.com
                                              www.pornhost.tv
                                              www.fuckaroo.org
                                              www.megaporndump.com
                                              www.extremefuse.com
                                              www.xvideohost.com
                                              www.efukt.com
                                              primecups.com
                                              www.sexmovies.hu
                                              www.twelvefifteen.net
                                              www.yourfilehost.com
                                              planetsuzy.com
                                              www.assdumper.com
                                              www.sockshots.com
                                              www.anyvids.com
                                              www.terror.to
                                              www.2adultflashgames.com
                                              www.myhomeclip.com
                                              www.freeadultmedia.com
                                              crazydumper.com
                                              www.funnyinside.com
                                              www.pornosphere.com
                                              www.dirtylittlewhore.com
                                              www.tehvids.com
                                              www.veqq.com
                                              www.likecrack.com
                                              Youporncocks.com
                                              www.rottensob.com
                                              www.wtfpeople.com
                                              www.areavids.com
                                              www.dudetubeonline.com
                                              www.greenshines.com
                                              www.timtube.com
                                              haporn.com
                                              zshare.net
                                              www.hotwildsluts.com
                                              www.amateurporndump.com
                                              shufuni.com
                                              www.justsexyvideos.com
                                              www.wank.net
                                              www.kataclizm.com
                                              www.freexxxvideoclip.com
                                              www.banggs.com
                                              www.muchosucko.com
                                              www.footfetishtube.com
                                              www.wunbuck.com
                                              quickfap.com
                                              xxxuploads.com
                                              www.fuckingmotherfucker.com
                                              www.skoopy.com
                                              www.jasonandalex.com
                                              www.snuffx.com
                                              www.boobfilter.com
                                              www.extape.com
                                              www.maxxx.to
                                              www.hardsextube.com
                                              www.pornbase.org
                                              www.porntower.com
                                              www.diablobabes.com
                                              www.wetstage.com
                                              www.youboob.it
                                              xtatoo.net
                                              Pornfo.com
                                              www.pinkbabes.net
                                              www.yourdailyvids.com
                                              www.pacoporn.com
                                              www.enwhore.com
                                              www.pinkslut.net
                                              www.digitalmpegs.com
                                              www.lexxxicon.com
                                              friendlyjerk.com
                                              pimpbus.com
                                              www.vidchicks.com
                                              www.aquickspank.com
                                              www.sexcess.net
                                              www.sextube.si
                                              www.daily.vg
                                              www.yourporntube.com
                                              quppy.com
                                              www.amateurvideoz.org
                                              www.lubeyourtube.com
                                              clip–search.com
                                              www.adumper.com
                                              ohslut.com
                                              www.phun.org
                                              girlsfromheaven.com
                                              fantasti.cc
                                              www.nsfwnews.com
                                              www.netporn.nl
                                              www.krazytube.com
                                              www.milfcabin.net
                                              www.sextube.com
                                              www.youaction.com
                                              www.pornoinside.com
                                              www.sexsube.com
                                              www.hairyboyz.com
                                              www.3xupload.com
                                              www.drunkendelight.com
                                              www.sexvidia.com
                                              www.live–porn.tv
                                              www.celebrityflavor.com
                                              www.bliss–babes.com
                                              www.grinvi.com
                                              www.nastylinkdump.com
                                              www.barely18xxx.com
                                              FlyShe.com
                                              kickazzvideos.com
                                              www.collegepartyhouse.com
                                              www.cootee.com
                                              pussism.com
                                              www.hornystyle.com
                                              www.dipvid.com
                                              suks.com
                                              www.sexhotvideos.net
                                              www.wanktube.com
                                              www.shareyoursexxx.com
                                              www.bizarsite.nl
                                              www.togetherinporn.com
                                              www.bitchdump.com
                                              www.nursexybabes.com
                                              www.dayshot.com
                                              www.sexyhotvideos.net
                                              www.deluxe1.net
                                              www.onlysexhere.com
                                              www.bang–fun.com
                                              bestxtube.com
                                              xxxstash.com
                                              www.youtuxxx.com
                                              www.babe.to
                                              videos–2–x.com
                                              www.likeshit.to
                                              Yournastyvideos.com
                                              www.sexytimez.net
                                              www.rawpalm.com
                                              www.drunkbabe.net
                                              www.superevilrobot.com
                                              www.justsexportal.com
                                              www.lustbang.com
                                              www.pontuvideox.com
                                              www.hotbabe.to
                                              www.18porno.net
                                              alphacocks.co.uk
                                              www.sexgoog.net
                                              www.deepworx.com
                                              www.sexy–movies.to
                                              www.pornwondervids.com
                                              www.spreadyourporn.com
                                              www.hardcoretube.net
                                              www.ilodejaneiro.com
                                              www.dumpyourvid.com
                                              www.sextube.fr
                                              www.diysexclips.com
                                              www.cowardlyescape.com
                                              valentinetrav.org
                                              www.contactoswingers.org
                                              www.mad–horny.com
                                              www.dadsbox.com
                                              www.hardsextgp.com
                                              www.damnbang.com
                                              www.facialSlam.com
                                              www.revenge–cams.com
                                              www.musclehunks.com
                                              www.virginoff.com
                                              www.pornoboard.co.uk
                                                0
                                                А теперь посчитайте, сколько у вас ссылок фиолетового цвета.
                                                  +17
                                                  Incognito mode ;)
                                                    +2
                                                    А что делать если у меня весь список фиолетовый?
                                                      +6
                                                      Найдите себе девушку)
                                                        +15
                                                        Не портите мне шутку, пожалуйста)
                                                          +3
                                                          это шутка уж явно не ваша :)
                                                        +1
                                                        На master-x.com, очевидно.
                                                        +2
                                                        у меня одна.
                                                          +4
                                                          ни одной
                                                            +11
                                                            Пользуетесь чем-то, чего нету в списке?!
                                                              +9
                                                              Девушкой?
                                                                +1
                                                                xhamster.com
                                                                вроде довольно популярный ресурс, а тут нету
                                                            +5
                                                            Потом расскажете сколько людей добавило ваш комментарий в избранное ;)
                                                            +4
                                                            стоит только подумать о великом и чистом, как тут же обязательно кто-нибудь тебя вернет такой статьей к обыденному и привычному 0_о
                                                              +43
                                                              Мораль — если бы девчонки не динамили нас в реале, интернета не было бы.
                                                                +1
                                                                Если бы парни были немного наглей и настойчивее, то девчонки бы не динамили, а были благодарны ;)
                                                                  +4
                                                                  Если бы парни были немного наглей и настойчивее, то интернета бы не было.
                                                                +1
                                                                Хороший обзор. :-)
                                                                  –12
                                                                  Нда, в этом мире все делается через х*й )))))))))
                                                                    +5
                                                                    Кажется вы израсходовали все свои закрывающие скобки держите я ещё принес "))))))))))))))))))))))))"
                                                                    +34
                                                                    Самые добрые фильмы — это порно: все всех любят и все заканчивается хорошо. :)
                                                                      +3
                                                                      Почти как у Михалкова.
                                                                      –9
                                                                      Если вдруг кто еще не видел. Просто шедевр.

                                                                      www.youtube.com/watch?v=YRgNOyCnbqg
                                                                      +15
                                                                      «На обычном новостном сайте средний визит длится 3—6 минут, достаточные для чтения одной или нескольких статей, на порноресурсе посетитель задерживается на 15—20 минут.»

                                                                      Чувствуется недосказанность второго простого в составе сложносочинённого.
                                                                        +3
                                                                        В качестве веб-сервера используется nginx с HAProxy и Varnish

                                                                        В очередной раз берет гордость за наших разработчиков.
                                                                          +4
                                                                          Хм, судя по отзывам, некоторой части хабравчан неизвестно то что nginx — разработка Игоря Сысоева? =)
                                                                          +1
                                                                          Масштабы впечатляют.

                                                                          Если один только Xvideos генерирует аж 2% мирового интернет трафика то рискну предположить что весь порно трафик переваливает за 10% а то и больше.
                                                                            +2
                                                                            >>>Не будет преувеличением оценка порнотрафика в 30% от всех передаваемых данных в сети.

                                                                            За порнографией будущее интернета =)
                                                                              +8
                                                                              И прошлое, и настоящее…
                                                                                +1
                                                                                Пропустил это предложение)

                                                                                Порнография воистину двигатель прогресса.
                                                                                  +1
                                                                                  Кстати вы будете смеяться но именно так — широкие каналы в интернет развиваются именно под давлением Content Delivery служб. Главный и самый траффикообразующий контент в интернете — совсем не минимизированные css+js и png картинки. High-res, fullhd и все такое.
                                                                                  +3
                                                                                  Я все жду когда порноиндустрия доберется до immersive virtual reality =))
                                                                                +1
                                                                                А где картинки с примерами?
                                                                                  +1
                                                                                  Так выше в комментариях же специально для этого целый длиннющий список запостили!
                                                                                  +1
                                                                                  Слайды! Слайды! (С)
                                                                                    +1
                                                                                    1) спасибо за некоторые наводки ;-)
                                                                                    2) реквестирую держателей на highload конференции!!! с публикацией пдф/ппт докладов, можно без картинок, но можно и с графиками :-)
                                                                                      +1
                                                                                      Без картинок, лучше видео.
                                                                                        +1
                                                                                        Ох, ну да, наводок здесь уже достаточно понадовали.
                                                                                        +1
                                                                                        >>За 24 часа передается 950 терабайт данных
                                                                                        950*1024*8/24/3600 ~ 90 Гб/сек

                                                                                        >>В пике YouPorn формирует 4000 страниц в секунду и передает 100 гигабайт или 800 гигабит сетевого трафика в секунду
                                                                                        800 Гб/сек

                                                                                        То 90, то 800. Что-то уж больно сильные скачки. Как-то обычно прокачка идет по синусоиде, с пиками на 150% от среднего. А ту почти в 9 раз разница.
                                                                                          +4
                                                                                          Китайцы спать ложатся, фигли.
                                                                                            +1
                                                                                            Да, видимо какой-то локальный всплеск по какому-то часовому поясу. Ну или данные в статье ошибочны.
                                                                                              +1
                                                                                              Китай + Индия = почти 3 млрд
                                                                                              0
                                                                                              биты и байты. ага.
                                                                                                +1
                                                                                                В обоих случаях у него получились биты
                                                                                              +6
                                                                                              Мы выбираем Nginx, PHP, Mysql, Redis — авторитетное мнение экспертов порноиндустрии!

                                                                                              Ну а что? Это своеобразный знак качества, все-таки значительная доля трафика.
                                                                                                +18
                                                                                                А если кто будет советовать использовать похожую связку, то можно отвечать: «Нельзя. Боюсь, что порносайт получится».
                                                                                                +2
                                                                                                Топик добра
                                                                                                  0
                                                                                                  Странно, alexa.com показывает немножко другие данные о первенстве сайтов, какая же система ошибается?
                                                                                                    +3
                                                                                                    alexa, очевидно. Т.к. она считает по установленным тулбарам.
                                                                                                    +2
                                                                                                    Такой трафик должен стоить соответствующих денег. Походу они торренты ненавидят больше звукозаписывающих компаний.
                                                                                                      +1
                                                                                                      Почему в отчёт не добавили vk.com? Ещё несколько петабайт бы прибавилось.
                                                                                                        +1
                                                                                                        username автора статьи как бы заставляет подумать
                                                                                                          0
                                                                                                          Как там было то?
                                                                                                          «Why you think the net was born? Porn, porn, porn!»
                                                                                                          Черт, никогда не рассматривал вариант, что порнуха — двигатель прогресса. :)

                                                                                                          Only users with full accounts can post comments. Log in, please.