Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 59
А чем и как парсили? Сам думал такое сделать, но лень победила(
Питон, BeautifulSoup для работы с html, предварительно всё скачал, тоже питоновским скриптом.
Скачали все посты? Можно узнать, сколько они весят?
Кстати, можно ещё юзеров посмотреть типа у кого больше всего постов, комментариев и т. д.
Кстати, можно ещё юзеров посмотреть типа у кого больше всего постов, комментариев и т. д.
Я скачивал по тупому. Создал этот пост, посмотрел на его номер — №191268, и пробежал по всем линкам с 1го по 191268, соответственно все посты, которые выдают 404ю ошибку и все посты, к которым закрыт доступ (в виде html с соответствующим сообщением об ошибке) тоже были скачаны.
в общей сложности получилось гигабайт пятнадцать, подозреваю, что без всего этого мусора было бы сильно меньше.
в общей сложности получилось гигабайт пятнадцать, подозреваю, что без всего этого мусора было бы сильно меньше.
ваш ответ, а также другие посты, ради написания которых тоже скачивали весь интернет хабр, наталкивает на мысль что ТМ пора уже выкладывать дамп метаданных постов, чтобы люди мучили этот файл, а не качали все страницы целиком.
Возможно, как бонус, вам стоит такой файл выложить, последователям останется его просто дополнить.
Возможно, как бонус, вам стоит такой файл выложить, последователям останется его просто дополнить.
С микохабра скачать, наверное, было бы компактнее
А что мешает просто в избранное добавить? Не, вы не подумайте чего, я не против рейтинга, просто странный какой-то призыв )
Идея неплохая, но реализация в виде постоянно обновляемого поста никуда не годится. Было бы круче сделать нечто вроде онлайн-сервиса, который бы имел собственную автоматически обновляемую копию метаданных постов и позволял строить различного рода отчеты и выборки с помощью конструктора или языка запросов. А «лучшее» было бы частным случаем одной из таких выборок.
Эти статьи вовсе не «хорошие». Они интересовали кого-то и когда-то, а со временем оно почти все превращается в информационный мусор. Большая часть статей сверху уже вообще не актуальны и не интересны просто потому, что их время ушло.
Многие из «полезных» я тоже добавил в избранное, они действительно хороши. А остальные разделы представляют (по крайней мере для меня) историческую ценность — по ним можно видеть, что происходило на этом ресурсе <шутка> во времена, когда он был торт </шутка>, что нравится и что не нравится обитателям Хабра.
Тогда и делайте свой хороший хабраиндекс, и его будут плюсовать :)
Да я всего лишь пост хотел написать, а не делать индексы :)
Мне интересней потом, когда руки дойдут, с частотными словарями повозиться и сделать что-то вроде этого — habrahabr.ru/post/188678/#habracut, только посоветовавшись предварительно с кем-нибудь, кто в отличие от меня, что-нибудь понимает в статистике :)
Впрочем, если кто-нибудь что-нибудь такое делать соберётся, все скрипты приведу в порядок и отдам.
Мне интересней потом, когда руки дойдут, с частотными словарями повозиться и сделать что-то вроде этого — habrahabr.ru/post/188678/#habracut, только посоветовавшись предварительно с кем-нибудь, кто в отличие от меня, что-нибудь понимает в статистике :)
Впрочем, если кто-нибудь что-нибудь такое делать соберётся, все скрипты приведу в порядок и отдам.
Добавил в избранное пост о постах, которые добавили в избранное.
О да мой хабракамп попал в список самых комментируемых.
Пепяка порадовала!
Это Шедевр!
Это Шедевр!
Да уж…
Счас меня заберут мусора тоже забавный)
А у меня уже не открывается: «автор перенёс в черновики» со всеми вытекающими.
Интересно, почему? Неужто читатели этого поста увидели антирейтинг некропостов, прошли по ссылке и решили ещё добавить автору пинков, чтобы не повадно было? Если так, то это как-то глупо. Все эти рейтинги-кармы — они ведь по сути обратная связь, показывающая востребованность какого-то контента. Кто-то мог несколько лет назад запостить какую-то глупость, потом словить пинков и осознать свою ошибку, но оставить пост в публичном доступе как назидание потомкам. Теперь у него уже новая жизнь, и минусы за старые грехи — контрпродуктивно и обидно.
Или более интересная версия: авторы поста испытали острый стыд, перечитывая свои творения былых лет. Если так, то я лично обращаюсь к таким авторам: пожалуйста, верните свои посты в публичный доступ. Вы уже стали частью хабраистории, пускай может и не в том виде, в котором вам бы хотелось там оказаться. Тем не менее, история не терпит морализма, для неё важно всё значимое, независимо от того, было оно при жизни «хорошим» или «плохим». А ваши посты значимы минимум потому, что отражают степень терпимости (а точнее нетерпимости) хабрасообщества и лучше любых формальных правил Хабра покажут новичкам, какие темы и/или какую манеру обращения к читателям лучше не использовать.
Интересно, почему? Неужто читатели этого поста увидели антирейтинг некропостов, прошли по ссылке и решили ещё добавить автору пинков, чтобы не повадно было? Если так, то это как-то глупо. Все эти рейтинги-кармы — они ведь по сути обратная связь, показывающая востребованность какого-то контента. Кто-то мог несколько лет назад запостить какую-то глупость, потом словить пинков и осознать свою ошибку, но оставить пост в публичном доступе как назидание потомкам. Теперь у него уже новая жизнь, и минусы за старые грехи — контрпродуктивно и обидно.
Или более интересная версия: авторы поста испытали острый стыд, перечитывая свои творения былых лет. Если так, то я лично обращаюсь к таким авторам: пожалуйста, верните свои посты в публичный доступ. Вы уже стали частью хабраистории, пускай может и не в том виде, в котором вам бы хотелось там оказаться. Тем не менее, история не терпит морализма, для неё важно всё значимое, независимо от того, было оно при жизни «хорошим» или «плохим». А ваши посты значимы минимум потому, что отражают степень терпимости (а точнее нетерпимости) хабрасообщества и лучше любых формальных правил Хабра покажут новичкам, какие темы и/или какую манеру обращения к читателям лучше не использовать.
Я тоже думал про вариант с кармой. Но потом мне andorro показал, что это не так (разговор тут, в комментариях). Посты убрала администрация. Впрочем, всё по прежнему легко найти, например здесь — web.archive.org
Ну вот ChemodaH выше упомянул тему про мусоров, которую я тоже пытался прочитать. Увы, the Wayback Machine does not have this URL. Значит администрация Хабра подчистила всё буквально в последние часы. Вопрос, зачем они это делают, остаётся открытым…
Да, непонятно абсолютно. Вот следующие в рейтинге, для тех, кто хотел полюбоваться на что-нибудь очень отрицательное:
Сайт запущен / Хабрахабр
Осом Пчиц / Хабрахабр
WTF? / Хабрахабр
Парковка / Хабрахабр
Тулбар Одноклассников / Блог компании Метабар / Хабрахабр
Как зарождалась сотовая связь / Хабрахабр
Почему стоит выбрать аренду сервера, а не его покупку / Блог компании SarTelekom / Хабрахабр
А мужики-то не знают… / Хабрахабр
hi all / Хабрахабр
Как вы относитесь к сексу на пляже? / Хабрахабр
Starcode. Кому AJAX сайтов? / Хабрахабр
Инвайты на Google Wave / Хабрахабр
Windows 7 — говно! / Хабрахабр
JVC PICSIO — КАРМАННАЯ ВИДЕОКАМЕРА С ВОЗМОЖНОСТЬЮ ИНТЕРАКТИВНЫХ РАЗВЛЕЧЕНИЙ, ПРОСТЫМ УПРАВЛЕНИЕМ И ВЫГРУЗКОЙ ВИДЕО ВЫСОКОГО РАЗРЕШЕНИЯ / Блог компании JVC / Хабрахабр
Пора линять / Хабрахабр
Привет! Меня зовут Артем… / Хабрахабр
А мужики-то не знают… / Хабрахабр
В канун Дня милиции в Москве короновано сразу 10 воров в законе / Хабрахабр
Вконтакте не доступен / Хабрахабр
Аватарка: меняем, не меняем? / Хабрахабр
Сайт запущен / Хабрахабр
Осом Пчиц / Хабрахабр
WTF? / Хабрахабр
Парковка / Хабрахабр
Тулбар Одноклассников / Блог компании Метабар / Хабрахабр
Как зарождалась сотовая связь / Хабрахабр
Почему стоит выбрать аренду сервера, а не его покупку / Блог компании SarTelekom / Хабрахабр
А мужики-то не знают… / Хабрахабр
hi all / Хабрахабр
Как вы относитесь к сексу на пляже? / Хабрахабр
Starcode. Кому AJAX сайтов? / Хабрахабр
Инвайты на Google Wave / Хабрахабр
Windows 7 — говно! / Хабрахабр
JVC PICSIO — КАРМАННАЯ ВИДЕОКАМЕРА С ВОЗМОЖНОСТЬЮ ИНТЕРАКТИВНЫХ РАЗВЛЕЧЕНИЙ, ПРОСТЫМ УПРАВЛЕНИЕМ И ВЫГРУЗКОЙ ВИДЕО ВЫСОКОГО РАЗРЕШЕНИЯ / Блог компании JVC / Хабрахабр
Пора линять / Хабрахабр
Привет! Меня зовут Артем… / Хабрахабр
А мужики-то не знают… / Хабрахабр
В канун Дня милиции в Москве короновано сразу 10 воров в законе / Хабрахабр
Вконтакте не доступен / Хабрахабр
Аватарка: меняем, не меняем? / Хабрахабр
Поэтому я сохраняю веб-страницы понравившихся статей сразу после их появления в ленте.
Ещё можно добавить рейтинг «лучших постов в корпоративные блоги».
Спасибо за подборку рейтингов. Удивил пропущенный недавно (в декабре 2012) пост про Скайп («Галерея безобразных скайп-аватар») и его стиль.
По последнему рейтингу. Я тоже давно заметил важность наблюдения 2 оценок комментариев и статей и давно вывожу с помощью скрипта инфографическое представление оценки (Диаграмма процентовки «за и против» на canvas). И заметно, что там, где происходит борьба мнений, там обсуждения получаются живее. Но для статей это не всегда так — борьба около нуля — это обычно спорные статьи, а если плюсов к минусам — 2 к 1 или 3 к 1 — то имеется живое обсуждение и борьба мнений по достаточно интересной теме. Поэтому важна не только борьба, но и склонение её к плюсам.
Обращусь ко всем читателям по более практическому вопросу:
Как вам идея о том, что будет создаваться онлайн-классификатор хабро-статей наподобие 3 известных сейчас дайджестов, только в онлайне, со свежей классификацией?:
Дайджест интересных материалов из мира веб-разработки
Дайджест интересных новостей и материалов из мира PHP (собирает та же самая компания)
Интерфейсный дайджест jvetrau
Основная проблема, ради чего нужен такой — это то, что имеющиеся ленты смешиваают всё вместе, и только живые люди (ну, может быть, фильтры по ключевым словам немного) могут помочь разделить потоки новостей, разработок, обзоров железа и скандальных новостей по разным потокам. Нужны как раз эти люди, которые добровольно классифицировали бы статьи по типам и тем самым дайджест формировался бы автоматически. Важно лишь отобрать авторитетных экспертов.
Реализацию вижу через скрипт. Читатель-эксперт (не обязательно даже зарегистрированный), читая ленту, отмечает в ней статьи по типам. Этим самым он помогает и себе, и другим, удаляя ненужные в данный момент типы статей из своего поля зрения. Эти оценки транслируются на сервер, а другие читатели, читая ленту, получают тем же скриптом с сервера актуальную классификацию. У кого нет скрипта, могут зайти на страницу и увидеть актуальный усреднённый по экспертам классификатор.
На какое-нибудь засорение классификатора ответ простой: классификации, сильно отличающиеся от средних, во первых, не учитываются в онлайне, во-вторых, постоянно некоррелирующий эксперт отключается от любых автоматических голосований. Для совсем уж ортодоксов сойдёт вариант постоянного круга экспертов или имеющих самый высокий рейтинг неотклоняемости. Для личного списка эксперта собственные оценки имеют высокий рейтинг.
Кстати, если туда добавлять в онлайне ссылки типа таких, что из дайджестов, с классификацией, возродится забытый формат топиков-ссылок.
Категорий, которым нужна классификация, видится достаточно много, но не очень много:
* Собственные разработки авторов
* Переводы о разработках
* Новости обновлений версий
* Сделай сам (по железу и электронике)
* факты об организации своего бизнеса
----------на этом заканчивается идеальный Хабр, начинаются оффтопики----------
* Беллетристика об IT (то, что почитать можно, а использовать нельзя — типа как Билайн прокладывал сотовую связь в Камбодже)
* художественные сочинения
* беллетристика об офисах и бизнесах компаний
* сведения о компаниях, людях, продуктах
* исторические свеедения
* обзоры железа в плане новинок, а не редких полезных статей, кроме эпохальных обзоров
* новости кроме обновлений версий
* скандальные новости по законам
* скандальные новости по некомпетентности крупных компаний + по мошенничеству мелких + то и другое
Дальше работа с ними такая: если надо прочитать действительно ценное, смотрят на верхнюю часть списка. Если есть желание и время ознакомиться дальше, смотрят дальше. И для себя (если есть скрипт) корректируют список.
По последнему рейтингу. Я тоже давно заметил важность наблюдения 2 оценок комментариев и статей и давно вывожу с помощью скрипта инфографическое представление оценки (Диаграмма процентовки «за и против» на canvas). И заметно, что там, где происходит борьба мнений, там обсуждения получаются живее. Но для статей это не всегда так — борьба около нуля — это обычно спорные статьи, а если плюсов к минусам — 2 к 1 или 3 к 1 — то имеется живое обсуждение и борьба мнений по достаточно интересной теме. Поэтому важна не только борьба, но и склонение её к плюсам.
Обращусь ко всем читателям по более практическому вопросу:
Как вам идея о том, что будет создаваться онлайн-классификатор хабро-статей наподобие 3 известных сейчас дайджестов, только в онлайне, со свежей классификацией?:
Дайджест интересных материалов из мира веб-разработки
Дайджест интересных новостей и материалов из мира PHP (собирает та же самая компания)
Интерфейсный дайджест jvetrau
Основная проблема, ради чего нужен такой — это то, что имеющиеся ленты смешиваают всё вместе, и только живые люди (ну, может быть, фильтры по ключевым словам немного) могут помочь разделить потоки новостей, разработок, обзоров железа и скандальных новостей по разным потокам. Нужны как раз эти люди, которые добровольно классифицировали бы статьи по типам и тем самым дайджест формировался бы автоматически. Важно лишь отобрать авторитетных экспертов.
Реализацию вижу через скрипт. Читатель-эксперт (не обязательно даже зарегистрированный), читая ленту, отмечает в ней статьи по типам. Этим самым он помогает и себе, и другим, удаляя ненужные в данный момент типы статей из своего поля зрения. Эти оценки транслируются на сервер, а другие читатели, читая ленту, получают тем же скриптом с сервера актуальную классификацию. У кого нет скрипта, могут зайти на страницу и увидеть актуальный усреднённый по экспертам классификатор.
На какое-нибудь засорение классификатора ответ простой: классификации, сильно отличающиеся от средних, во первых, не учитываются в онлайне, во-вторых, постоянно некоррелирующий эксперт отключается от любых автоматических голосований. Для совсем уж ортодоксов сойдёт вариант постоянного круга экспертов или имеющих самый высокий рейтинг неотклоняемости. Для личного списка эксперта собственные оценки имеют высокий рейтинг.
Кстати, если туда добавлять в онлайне ссылки типа таких, что из дайджестов, с классификацией, возродится забытый формат топиков-ссылок.
Категорий, которым нужна классификация, видится достаточно много, но не очень много:
* Собственные разработки авторов
* Переводы о разработках
* Новости обновлений версий
* Сделай сам (по железу и электронике)
* факты об организации своего бизнеса
----------на этом заканчивается идеальный Хабр, начинаются оффтопики----------
* Беллетристика об IT (то, что почитать можно, а использовать нельзя — типа как Билайн прокладывал сотовую связь в Камбодже)
* художественные сочинения
* беллетристика об офисах и бизнесах компаний
* сведения о компаниях, людях, продуктах
* исторические свеедения
* обзоры железа в плане новинок, а не редких полезных статей, кроме эпохальных обзоров
* новости кроме обновлений версий
* скандальные новости по законам
* скандальные новости по некомпетентности крупных компаний + по мошенничеству мелких + то и другое
Дальше работа с ними такая: если надо прочитать действительно ценное, смотрят на верхнюю часть списка. Если есть желание и время ознакомиться дальше, смотрят дальше. И для себя (если есть скрипт) корректируют список.
Еще интересным был бы рейтинг людей в таких разрезах: количество статей, сумма баллов всех статей, количество комментариев, сумма баллов всех комментариев.
Интегральные оценки: сумма баллов всех статей / карма и т.д.
Зависимость оценки статьи от размера, то же самое с комментариями :)
Интегральные оценки: сумма баллов всех статей / карма и т.д.
Зависимость оценки статьи от размера, то же самое с комментариями :)
Спасибо! Сейчас разгребусь с завалом на работе и подготовлю продолжение поста, в личку тоже много всяких идей прислали.
Насчёт зависимости оценки от размера — habrahabr.ru/company/tm/blog/39689/ :)
Насчёт зависимости оценки от размера — habrahabr.ru/company/tm/blog/39689/ :)
Ну хоть один мой пост есть в подборке. Жизнь прожита не зря.
Требую открыть к просмотру статьи из антирейтинга!
Требуете у кого? Их авторы позакрывали. Подозреваю, что из за того, что пришла толпа по ссылке и нехорошо поступила с кармой. Не думал, что будет такой эффект. Мне самому тоже пара минусов от обиженных прилетела :)
У меня оно всё есть скачанное, но как-то, по-моему, не очень этично это выкладывать без согласия авторов. Самые настырные всё равно отыщут в кэшах поисковиков и прочих архивах.
У меня оно всё есть скачанное, но как-то, по-моему, не очень этично это выкладывать без согласия авторов. Самые настырные всё равно отыщут в кэшах поисковиков и прочих архивах.
Спасибо за «Жизнь разработчика»
Сделайте аналитику по комментариям и пользователям. Данные у вас уже есть.
7) Восемь троллей — вымысел или реальность?
На данный момент TOP-10 Троллей Хабра у меня получился следующий:
1. egorinsk -419.8
2. Freelance -407
3. Himari -300
4. IlVin -142
5. Nakilon -137
6. System32 -126
7. otov4its -115
8. juneuniversum -113
9. smmurf -103.1
10. dangelweb -103
P.S.Искал с помощью поисковой системы запросом: «site:http://habrahabr.ru/users/ troll.png карма -».
не, это не о том. есть такая легенда на Хабре — www.google.co.il/search?client=ubuntu&channel=fs&q=%D1%85%D0%B0%D0%B1%D1%80+%D1%82%D1%80%D0%BE%D0%BB%D0%BB%D0%B8&ie=utf-8&oe=utf-8&gws_rd=cr&ei=dA4eUtDiBISBhAeZkYD4Bg#channel=fs&fp=aca530a8f883a719&q=%D1%85%D0%B0%D0%B1%D1%80+%D0%B2%D0%BE%D1%81%D0%B5%D0%BC%D1%8C+%D1%82%D1%80%D0%BE%D0%BB%D0%BB%D0%B5%D0%B9
Это было не трудно.
Тут небось половина в «троллях» за выражение своего мнения публично (профили не смотрел, сужу по себе), не боясь стадного инстинкта.
Текущая система «кармы» заставляет писать только комментарии которые будут не отрицательными. тем самым затыкая рот некоторым людям.
Я уж не говорю про то что аудитрия ресурса сильно изменилась, наполнилась людьми с потребительскими инстинктами, которые хаб от свитча отличить не могут, каменты читать иногда противно из-за тупизны их авторов.
Текущая система «кармы» заставляет писать только комментарии которые будут не отрицательными. тем самым затыкая рот некоторым людям.
Я уж не говорю про то что аудитрия ресурса сильно изменилась, наполнилась людьми с потребительскими инстинктами, которые хаб от свитча отличить не могут, каменты читать иногда противно из-за тупизны их авторов.
Чтобы не пропускать топовые посты: habrafilter.ru — rss топовых постов по рейтингу или добавлениям в избранное
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Посты-рекордсмены