Кто кого читает в ЖЖ — анализ пересечения аудиторий топовых блоггеров

[@RomanL]

Краулеры и обработка — Perl. База — MySQL. Запускалось все на стареньком домашнем компьютере PIV 3Ghz, 3GB RAM.

Пересечения для ТОП-10 (матрица) на готовой базе считаются где-то около минуты. Основное время на извлечение списков из базы. Но так как индексы висят в памяти (где-то 750 метров) это время тоже незначительно.

[@sneg55]

спасибо интересное исследование.

[@Stalker_RED]

скандалы, интриги, расследования!
табр — торт!
не думали запустить это как SaaS?

[@astec]

Да, надо делать freemium сервис.

[@RomanL]

А зачем? Вы думаете найдется много гиков кому интересна такая статистика? :) Максимум что можно сделать (и я это, может быть сделаю) — рекомендательный сервис «кого еще зафрендить».

[@astec]

Ну я не профессионал маркетинга, уверен быть не могу, но думаю интерес возможен.

Если сделать для простых пользователей чтобы они могли смотреть инфу по себе и своим друзьям и могли публиковать в ЖЖ, то так можно бесплатно пиариться.

А маркетологи возможно захотят делать какие-то срезы по ключевым словам например. Скажем я хочу узнать кто топовый блоггеры по тебе BMW и какая у них аудитория — за это и деньги могут заплатить.

Думайте о том какие проблемы вы можете решить. Мне кажется тут есть куда копать.

[@RomanL]

Вы представляете какие ресурсы нужны чтобы выделить «топового блоггера по теме BMW»? :)

[@astec]

Я, честно говоря, не совсем. Наверное это скорее задача для Яндекса.

И всё такие если серьёзно подойти то что-то полезное я думаю можно сделать. Вопрос конечно окупаемости как всегда.

[@alexfg]

Рекомендательный сервис «кого еще зафрендить» — это очень интересная и правильная мысль.

[@pvp]

В свое время один жежист делал нечто подобное, правда, не в рекламных целях:
muzyka-sfer.livejournal.com/514.html
muzyka-sfer.livejournal.com/1093.html
muzyka-sfer.livejournal.com/1350.html
А можно на ваших данных сделать что-то подобное? Ну, то есть, что-то вроде карты графа в ЖЖ, определить, есть ли большие изолированные кластеры, степень связности, и т.п?

[@RomanL]

Я видел эти исследования и не ставил себе задачи повторить их. Но можно попробовать проанализировать граф в этом ключе. Боюсь только что размерность задачи сильно вырастает.

[@densilvio]

великолепная статья.
Было прекрасно если бы появился веб-сервис, который мог бы делать такую статистическую обработку для произвольных журналов.

[@RomanL]

Такие сервисы есть, но делать обработку в режиме онлайн — очень ресурсоемко. Поддерживать актуальную базу блогов — тоже та еще задачка (кстати, даже Яндекс.Блоги не очень хорошо с ней справляются на мой взгляд).

[@astec]

Я бы посмотрел в сторону Google AppEngine и возможно Amazon EC2.

[@MaxKoshkin]

Браво. А если немного расширить труд — так можно и маркетологам продавать.
Ну, тем, которые разумные.

[@RomanL]

Расширить до ТОП-50 — не проблема (ну кроме построения карт — это весьма долгий процесс), где только разумных маркетологов взять :)))

[@trurl123]

Исследование трудоемкое и сложное, но для себя лично никакой полезной информации не нашел.

[@eugenius_nsk]

Вы, несомненно, потратили силы и время на написание этого комментария, но для себя лично я в нём никакой полезной информации не нашел.

Это я к чему — если не интересно, ну так и зачем комментировать?

[@rubyrabbit]

А можно узнать о количественном соотношении кластеров?
Чтобы оценить, например, соотношение аполитичных и активных блогеров.

Спасибо за тему! Очень интересно.
Успехов.

[@RomanL]

В тексте есть указание количества читателей, которые сгруппированы в тот или иной кластер. Или вы про что?

[@rubyrabbit]

Собрал из текста:

0. кластер Алексея Навального: 33 тыс.
1. кластер политически активных: 16,5 тыс.
2. аполитичный кластер: почти 19 тыс.
4. творческая интеллигенция: 54,5 тыс.
6. без ярко выраженных пристрастий: 8 тыс.

Хотелось бы узнать вашу качественную характеристику и количественную оценку кластеров 3 и 5 ))

И прав ли я, интерпретируя разбиение, что кластер 0 как бы входит в кластер 1, то есть число политически активных примерно 40 тыс.?
Ну и чтобы вычислить процент от общей аудитории надо делить на 168 тыс. или сколько?

Спасибо.

[@RomanL]

Ответил чуть ниже — так уж получилось…

[@RomanL]

Кластеры 0 и 1 можно объединить «по смыслу», но они в принципе независимые.
Кластер 3 (аудитория zyalt, drugoi и немного tema, sergeydolya) — 15,5 тыс.
Кластер 5 (sergeydolya, drugoi, tema, tebe_interesno и др.) — почти 22 тыс.
Качественно оценить их затрудняюсь :)

Но еще раз напоминаю — тут сильно все зависит от разбивки на кластеры. Сделать их число не 7 а 9 — и уже картинка будет другой.

[@rubyrabbit]

Спасибо.

[@webzest]

Наверно, СУПу стоит задуматься и взять под свой контроль продажу рекламы в блогах. Тогда проблему обработки статистики возьмут на себя их спецы и их сервера.

[@RomanL]

СУП под контроль ботов взять никак не может :)

[@webzest]

Да у них методы какие-то… как у одной знаменитой партии. Вроде, «мы стараемся», а результат не доставляет…
А статистика-то нужная, её бы в онлайн рассчитывать — так ведь железо нужно.

[@Altzgamer]

Занятно. Когда вы оперируете словом «человек», вы имеете ввиду ЖЖ-аккаунты, ведь так?

Кстати, пару месяцев назад вышло похожее исследование в Беркмане (Гарвард):
cyber.law.harvard.edu/publications/2010/Public_Discourse_Russian_Blogosphere

[@semenoffalex]

Я участвовал в этом «исследовании». Могу много интересного о нём рассказать.

[@Altzgamer]

расскажите!

[@RomanL]

Расскажите. Интересно очень.

[@RomanL]

Разумеется человек. Ну или бот — я не делал фильтрацию :)

Спасибо за ссылку — обязательно почитаю.