Карта Интернета

[namikiri]

Очень интересная вещь.
Поразила мизерность vk.com, мне всегда казалось, что это огромнейший сайт.

[irriss]

данные старые, vkontakte.ru, еще не переехал

[pewpew]

А меня, например, поразила значимость и весомость yahoo.com, т.к. понятия не имею, для чего он мне мог бы быть полезен.

[namikiri]

Японцы пользуются Yahoo. У них это как у нас Яндекс.

[karellen]

Да много кто в Азии. Гонконгцы те же, а у них там проникновение интернета почти 100%.

[DimaV83]

В Великобритании очень много людей им пользуются. Как почтой, так и финансами, плюс новости смотрят.

[Ronin]

Интересно, что ютуб ближе к фейсбуку, чем к гуглу.

[Halt]

Ну так логично. «Прикольные видео» как правило выкладывают у себя на страничках, нежели целенаправленно гуглят.

[NoMore]

Данные брались из забугорной Алексы, которая распространена в основном в США. Следовательно, данные для России будут сильно искажены.

[netp]

Очень красиво, наглядно и полезно! Большое спасибо!

[Ualde]

Забавно, но не совсем понял из описания — как часто обновляется (синхронизируется с Алексой) информация?

[xtile]

вы прочитали статью?

насколько я понял, расчеты были одноразовыми ( раз уж одна итерация занимает несколько недель )

[Ualde]

Прочитал (ваш вопрос как-то уж очень провокационный, не дело), и именно поэтому задал вопрос, никто ж не мешает фоново (допустим с тем же интервалом в несколько несколько недель) повторять обсчеты.

[skyblade]

Каждые несколько недель будет означать постоянную загрузку определенной машины только этими обсчетами. Но вот хотя бы раз в год можно было бы и обновлять без особых издержек…

[xtile]

да, раз в год было бы достаточно.

все же это достаточно медленно меняющиеся данные

[morozko]

Если делать срез данных несколько лет подряд, то очень интересно будет посмотреть, как меняются созвездия: изменения размеров звёзд, блуждания относительно друг друга, колебания окраса «звёздной карты».

Если добавить немного цифр (размер звезды, т.е. посещаемость), то получится очень интересная и красивая инфографика.

[artch]

А если обновлять раз в месяц и добиться того, чтобы основные полюсы находились в одних и тех же местах, то можно сделать очень красивую анимацию потом.

[atomlib]

Вы находитесь ↑ здесь.

[ertaquo]

Откуда вы узнали?! Вы следите за мной!

[wersoo]

а как рядом расположились тематические медиа и футурико

[wersoo]

текст поста не читай
@
сразу отвечай

[ffffffffff]

У вас «О проекте»:

тело имеющее массу, отдельный пользователь это квант массы ― тот самый [пока] не найденный бозон Хигса, а акт перехода пользователя между сайтами это квант гравитации — гипотетическая частица гравитон.

Вроде нашли же уже)

[NickLion]

Пока ещё нет. Нашли частицу, которая может оказаться бозоном Хиггса. Только сначала ещё хотя бы спин надо определить. Но даже этого не будет достаточно.

[insekt]

Насколько я понял цвета связаны с доменными зонами.

[formatko]

Доля расизма присутствует.

[Kemanorel]

Тогда непонятно это, например:


И попалась пара синих .ru.

[formatko]

Поэтому и написал, что доля. Желтые китайцы, красные русские

[Kemanorel]

Так то ж не Вам коммент-то был, а insekt.

[irriss]

каждая страна получает свой цвет. Причем страна это не доменная зона, Алекса видимо определяет по whois, я точно не знаю

[mihaild]

Нельзя ли сделать появление надписей на немного меньшем масштабе?
И перерисовка подтормаживает.

[skyblade]

Надписи увеличиваются вместе с масштабом… Видимо они прямо на картинках и без перегенерации тайлов их «появление» не отрегулируешь… Ну это мне так кажется… Автору виднее как там что.

[irriss]

именно так

[Gol]

А может сделать показ названия в отдельном текстовом поле (где-нибудь рядом с полем поиска) и показывать при наведении мышки на круг

[arseny_sokolnikov]

Только у меня поиск не работает? :(

[startsevdenis]

Вы меня опередили, с вопросом, попробовал в хроме, фаерфоксе и опере, нигде поиск не работает

[artch]

Он работает, просто тормозит сильно.

[CGS]

Блин, хоть бы отобразили как нибудь что поиск идёт вообще.

[startsevdenis]

Сколько по времени примерно ждать? Попробовал к примеру найти google.com, уже пару минут никакого ответа.

[artch]

Видимо, уже умерло окончательно.

[arseny_sokolnikov]

Я конечно допускаю, что он сильно тормозит, но 25 минут искать 2eng.ru это по-моему долговато даже для такой системы…

[Isopropil]

Нет. Не только у вас. Поиск долго думает, потом возвращает 500 ошибку. Микрософт ботНЕТ, что с него взять…

[ha2bj]

Вы не узнали? Это же mr. Habraeffect ;-)

[irriss]

Прошу меня извинить, не рассчитал нагрузку. База умер ):

[pa100r]

[usgleb]

Я бы полетал гуглом :)

[VoVanJinn]

Улыбнуло )

[VoVanJinn]

«Нельзя просто так взять..» (с) и выразить свои чувства на Хабре )

[EvilPartisan]

>>Интересно, что будучи достаточно компетентным в рассматриваемом вопросе, внутри большого порнокластера можно различить тематические подкластеры меньшего размера.
Ну и как? Удалось найти детское порно?

[Ocelot]

Оно же всё в википедии :)

[irriss]

если внимательно присмотреться, то можно разглядеть то самое лобби

[McGrady]

Много гуглов у меня выводит)

[EvilPartisan]

Гугл настолько массивен, что вызывает сингулярные флуктуации во многомерном пространстве и проявляется по всей карте в виде виртуальных частиц.

[artch]

Шикарно, спасибо.

Почему-то напомнило карту из EVE Online.

[xtile]

Очень познавательно, спасибо.

Польские энторнеты живут на обочине немецких, а украинские и (тем более) белорусские — внутри российских.

livejournal & liveinternet — полюса, rutracker соседствует с kinopoisk & afisha, а еще с kino-govno, filmz и lostfilm (бгг, намекаю на разумные поглощения :) )

аудитории ixbt, ferra, overclockers и thg — совпадают ( намекаю рекламодателям )

все групоны — на одной орбите гугла (хз на что намекнуть )

спорт-экспресс выбился из своего кластера

и т.д. и т.п.

захватывающе.

планируете ли продолжать тему?

на базе этой инфы можно на самом деле немало платной аналитики делать

[irriss]

спасибо. Пока не знаю, идей много инвесторов мало

[xtile]

а можно ли собрать данные для того же набора сайтов, но для другой аудитории?

например, для русскоязычной или из России? Этот анализ будет иметь уже весьма практический уклон

[irriss]

я думаю, самое интересное в региональном плане это обработать сообщения/комменты пользователей друг другу на каком нибудь хорошем масштабе (ЖЖ, ВКонтакт), тогда и видно будет где живут политические тролли, кто за бабло, кто за идею, а то сейчас не разобрать все говорят на оппонентов что они покупные

[Asmody]

какое интересное созвездие: awesomescreenshot.com/0d0bav71f

[SLY_G]

У меня поиск не работает, ничего не происходит :(

[INCWADRA]

Поиск работал, а теперь сломался(

[Ronin]

google.ru — ниже и левее большой livejournal.com — чуть ниже и немного левее, самый крупный недалеко от ЖЖ, habrahabr.ru

[nojoke]

Интересна доля поисковиков в зоне Ru. Думал картинка сравнения Yandex,Google,Mail,Rambler совсем другая будет.
Получается, что «Аналитические отчеты» про доли поисковиков мягко говоря лгут.

[SemenOk2]

Это же данные Alexa Rank, а в ней мало русских, лучше всего она работает для штатов.

[cblp]

Ага, и в том числе Алекса, данные которой лежат в основе этой карты.

[irriss]

сложно судить о репрезентативности данных Алексы. Я думаю региональные источники дают более точную информацию

[Phaker]

Как человек, разбирающийся в вопросе, из бесплатного и для всего мира, включая Россию, рекомендую www.google.com/adplanner/ — это на порядок лучше Alexa. Если есть возможность приобрести платную подписку (десятки тысяч долларов), то посмотрите comScore.

[artch]

Как-то Википедия сильно в еврокосмос уползла. Европейцы ее больше американцев любят что ли?

[metya]

Очень красиво.

[Sartor]

Работа прекрасного качества! Мысленно плюсую.

[Fragster]

В огнелисе поиск не работает :(

[kriptomen]

Chrome 20, тоже не работает поиск.

[sp4rk]

Там просто выпадает 500-я ошибка. Либо сервис перегружен(хабраэффект), либо там на живую что-то правят.

[Cynic_spb]

Еще ни одного комментария про порно-созвездия

[INCWADRA]

Вот же habrahabr.ru/post/148351/#comment_5007421

[VasG]

Кстати, получается, что blogspot.com — в основном для китайцев, иранцев и бразильцев.
А японцы по-прежнему отдают предпочтение Yahoo?
А files.wordpress.com юзают в основном одни индусы. Ну и тайванцы чуть-чуть.
И википедия с last.fm сильно к России смещены.

[under_construction]

круто получилось!

вопросы:
— используется СУБД, если да, то какая?
— сколько в итоге в месяц платите aws?
— почему aws, а не windows Azure?

[irriss]

Спасибо,

-MS SQL Server Express
-после сегодняшнего боюсь разорится
-у Амазона была доступна физическая заливка файлов на хостинг в Сингапуре

постараюсь раскрыть тему в следующих статьях

[INCWADRA]

Казнет такой маленький, весь окружен большим красным Рунетом

[diwms]

Ого какая красотища!

Я о многих сайтах узнаю. Спасибо!

[VladSavitsky]

Красиво и увлекательно.
yandex.ru не ищет.
wordpress.com вообще на отшибе.

[DaleMartinWatson]

У меня поиск не работает :( Браузер Chrome.

[DaleMartinWatson]

О, заработал!

[Eddy_Em]

Забавно. Только поиск не работает.

[antyrat]

Круто. Мне еще понравилась реализация карты рунета в виде черного квадрата. rukv.ru

[irriss]

да, видел, интересно

[Voenniy]

Странная реализация.
Сайт habrahabr.ru не найден

Но яндекс нашел, да.

[Ocelot]

Цитата из описания:

Затем сайты начинают перемещаться под действием приложенных сил и через некоторое время останавливаются — силы притяжения стали равны силам отталкивания, система достигла динамического равновесия.

Это вполне статическое равновесие. Динамическое было бы, если бы сайты продолжали двигаться, но их распределение в среднем оставалось постоянным.

[irriss]

Спасибо, поправлю. Конечно же статическое

[Nomad1]

Классно, но очень не хватает перехода на сайт по клику

[irriss]

спасибо, много чего не хватает. Это, несомненно, самая востребованная фича

[Halt]

Было бы неплохо еще давать подсказку или принудительно отображать кликабельный урл при наведении на кружок.

А вообще, сама концепция карты интересна в том плане, что позволяет искать родственные ресурсы. Скажем, если нравится наприемер хабр или оверклокеры то прогулявшись по окресностям можно найти сайты которые с большой вероятностью будут интересны.

[Morozov]

Очень интересно. Жаль поиск слег. По Украине очень много сайтов отмечены не тем цветом, например:
ukrinform.ua — синий
mob.ua — красный
cv.ua — красный

[Morozov]

Еще длинные названия не влазят на круги. Было бы удобно Всплывающие подсказки при помощи Title в теге map.

[MaRio]

меня очень смущает вот этот логотип new.positivecommunications.ru/wp-content/uploads/2012/06/Logo1.jpg (на positivecommunications.ru/ )

[irriss]

Почему он вас смущает? Проект некоммерческий, никакой материальной выгоды нет, одни расходы к сожалению. Эта компания помогла мне, когда я пришел с прототипом на 1000 сайтов и сейчас оказывает информационную поддержку. То что сайт есть и работает в немалой степени заслуга Positive PR

[MaRio]

Логотип отличный, но они зачем-то пытаются уместить 4724×2362 пикселей в 249×125 пикселей

[gaploid]

Я вот знал что у многих чиновников почта на меил ру, но судя по этой карте похоже у них у всех почта на меил ру:)

[gaploid]

Картинка не присоеденилась:( вот ссылка img.leprosorium.com/1517635

[limon_spb]

Интересно, почему wordpress.com на отшибе таком?
(слева вверху его можно найти голубым кружком, если у кого поиск не работает)

[irriss]

Я думаю сайты такие как go.com и wordpress.com вдалеке, потому что они не несут семантической нагрузки. Т.е. посещаемость большая но отовсюду

[Komzpa]

А почему был использован движок Google Maps? Тот же openlayers.org позволил бы сходу давать постоянные ссылки на места на карте.

[irriss]

я не знал про него, спасибо, посмотрю

[CyrruS]

Это охуенно.
Спасибо.

[vanxant]

И все же надо было европу поднять «на север», а чинанет на её место. Было бы логичнее с точки зрения географии.

[irriss]

неможно ничего поднимать и география здесь особенная. Они так сами расположились

[Athari]

Гыгыгы, вокруг фейсбука вертится всё: GitHub, jQuery, deviantART, Drupal, ASP, ASUS, Joomla, CodePlex, CentOS, RedHat, phpBB, Epson, IANA, HP… Это ж чёрная дыра какая-то.

[Jedi_Knight]

А на гиперсфере слабо такое сделать?

[xtile]

можете привести пример подобной визуализации?

[Jedi_Knight]

В таком контекте — не видел ещё.
Я и сам не знаю как это сделать, но можно попробовать :)

www.roguetemple.com/z/hyper.php — вот такое видел.

[irriss]

а зачем?

[Jedi_Knight]

С Евклидовой метрикой мало объектов помещается в шар.

[Aloner]

А почему wordpress.com оказался таким одиноким? Возле него только две микроскопические блохи.

[Shustrik]

Почему поиск не работает?

[Dimchansky]

Исходные данные были взяты у Алексы

Не могли бы уточнить, кто/что это и дать ссылку?

[ork_ne]

www.alexa.com/

[irriss]

Извиняюсь, конечно надо было ссылку сделать alexa.com

[Dimchansky]

Спасибо, ничего страшного.
Но не поздно это сделать сейчас (в статье). :)
Не планируете рассказать об алгоритме, его оптимизациях более подробно?

[cronfy]

Очень интересная визуализация. А какой минимальный должен быть рейтинг/трафик у сайта, чтобы попасть на карту?

Кстати, не все сайты подписаны. Например, справа от гугла есть красная козявочка parsian-film.net. А выше него козявочка еще меньше, и нет подписи.

[Fragster]

счас вообще ни для чего не работает :(

[vinnipuhin]

Ребята! Самое важное тут:

[41terMann]

Замечательный проект!
Кстати, было бы интересно посмотреть на эту карту в динамике… Скажем с шагом, периодичностью в пару месяцев. С другой стороны, подобное исследование динамики может показать о стационарном состоянии системы, при отсутствии изменений в пределах нескольких лет.

[leventov]

А их и не будет практически

[41terMann]

Ну не скажите, откуда вам знать? Сейчас появляется много новых интересных проектов, которые со временем перетянут на себя часть аудитории, и карта изменится. Анализ динамических изменений — не менее интересная тема для размышлений, и сравнений с другими природными системами.

[DmitryBabokin]

Было бы здорово, если можно было бы ввести несколько сайтов, которые ты посещаешь, и они бы одновременно подсвечивались (или соединялись в созвездие линиями). Можно было бы наглядно посмотреть на свой «ареал обитания» на этой карте.

[leventov]

Очень круто!
Есть 2 минуса:
1) Данные Алексы о пользовательских потоках могут заметно отличаться от реальных, потому что львиная доля среза Алексы — это жителей США. Например, если жители США часто «переходят» с thesun.co.uk на gov.ru и обратно, это вовсе не означает, что так поступает большинство посетителей gov.ru, которые живут, очевидно, в России.
2) Двумерное пространство ограничивает информативность. Судя по всему, хорошо выявляется макроструктура (страны + порно) и микроструктура — группы непосредственно соседствующих сайтов. «Средний» уровень соседства вряд ли о что-то означает.

[spycom]

That is really awesome, but internet is not 2D! let's think how we can add some dimensions…

[AlexanderG]

Как-то раз присутствовал при обсуждении подобной задачи, но для бизнеса: нарисовать карту отношений компаний и холдингов, чем больше взаимный оборот, тем ближе. Пришли к тому, что для нормальной визуализации потребовалось бы четыре измерения…

[Yakiv_Gluck]

Если не вдаваться в практическую сторону, сама идея и её исполнение силами одного человека… завораживает. Спасибо вам и тем, кто хоть как-то помог.

Хотел, кстати, тоже написать, что сразу же начал грезить о таком в 3D. Правда, я сходу не пойму, как тут можно глубину использовать.

[Stas911]

А gephy не смотрели? Он вроде тоже так умеет рисовать

[webhamster]

Большой респект создателю этого проекта. Все сделано на уровне — и идея, и техническая реализация.

Много получил удовольствия от просмотра и от того, что значимость и связи одних вещей объективно оказались несколько другими, что себе представлял, хотя и ожидаемыми.

[phillzz]

Если прикрутить ещё и поиск по кейвордам, то будет айс.

[Cynic_spb]

Мне еще показалось интересным, что Спортс.ру как-то совсем далеко от чемпионата и соккера.
Выходит у них разная аудитория не только по субъективным ощущениям.

Прикольно наблюдать как с чемпионатом соседствует фратрия, ибо всегда казалось, что чемпионат слишком мясной. Теперь этому есть официальное подтверждение.

[spacediver]

Не хватает всплывающей подсказки с названием сайта по наведению курсора на малый кружочек.

[mr_jok]

ещё вариант — www.rukv.ru/ (Чёрный квадрат Рунета)

[pletinsky]

Иран на удивление большой. На уровне крупнейших европейских стран.

[Santehnik]

Забавно! Форум по мобильной связи в окружении банков и почт. Сразу палит что народ на сайте очень активно торгует :) а вот «мир транспортников» практически отсутствует, есть только парочка крупнейших сайтов, и те не сильно рядом :(

[yans]

Отличная карта, с удовольствием донатнул.
Хотелось бы двух вещиц — чуть более ускоренной прорисовки карты и более свежей картинки 2012ого года.

[irriss]

Спасибо! CloudFront старается как может. В новой, свежей версии все будет лучше

[XMLshop]

irriss, блестящая работа. Респекты и всяческия уважения.

[irriss]

Спасибо!