Хабр RSS без ката при помощи Yahoo! Pipes

[Davidov]

Наблюдается некоторая нестабильность. Иногда, например, неправильные данные получает xmliconv.

Возможно, Y!P не очень хорошо кеширует.

[Davidov]

Pipe ожил. Наверное, RSS тоже скоро обновится.
Мда, не очень всё это надёжно :(
Единственное, что утешает, так это то, что RSS-ридеры, как правило, спокойно относятся к подобного рода сбоям. И если хотя бы один раз из пяти запросов всё будет хорошо, то лента обновится :)

[scr]

Я проблему с UTF-8 решил с помощью FeedBurner - любой фид, пропущенный через него замечательно обрабатывается Y!P.

[M_K]

Как создать топик?! Ответьте в личку пожалуйста. И не минусуйте пожалуйста. Спасибо за понимание.

[rapida]

а FAQ почитать - никак ?

[nps]

Когда же люди научатся читать помощь, в которую даже направляют при регистрации?
Озвучьте анонс топика, если нужен кармакредит.

[Mendel]

А мне можно озвучить? Я и правила читал, и вообще хороший :)
Тупо хочу пропиарить свой сервис.. с одной стороны делал не для денег а для людей и потому вбухивать бюджет в рекламу лень, а с другой стороны аудитория то нужна :) В общем сервис очень хороший, так что все быстренько давайте мне кармы :) Шучу кончно, можно не все, можно только человек 10.. 5 на топик, и 5 на тех кто мне за вольнодумство и оффтоп сейчас в минус настреляет.. ах да, сервис - istio.com ... и граматику проверяет, и копии в нете ищет и вообще разве только не вышивает :)

[rapida]

у меня хоть и анлим, но мне нравится, что агрегатор режет новости по двум причинам.
1) это заставляет автора всегда умещать главное в первом абзаце.
2) это экономит траф, и снижает нагрузку на сервер

вообщем, каждому свое.

[powerman]

И всё бы хорошо, если бы при нажатии "читать дальше" периодически не получать 404. То ли автор скрыл топик, то ли переместил его в блог к которому читатель не подключен, то ли автора забанили — читателю это до лампочки! Это "удаление" статей реально раздражает. А описанный в топике метод позволяет с этим бороться, что есть гут.

[logost]

да, я встречаюсь с 404 всё чаще и чаще :(

[androidista]

"Хабрахабр основан в июне 2006 года. Издателем проекта является компания «Тематические Медиа»."
http://habrahabr.ru/info/about/
Поправьте пост, пожалуйста.

[Davidov]

А что именно вы имеете в виду? Вместо футурико написано «Тематические Медиа»?

[iff]

хм, только недавно делал нечто подобное на php и pcre, а rss таскал с помощью simplepie
посмотрим, как этот пайп будет делать то же самое

[logost]

т.к. читаю весь хабр, а не только захабреную часть, то создал вот такой пайп:
полный RSS поток со всеми хабратопиками

[doremi]

А почему название этого блога без восклицательного знака в конце?

[juks]

Странная причинно-следственная связь. Эта штука в числе тех, которые не соблюдают правила

[Davidov]

А в чём именно проблема? Y!P не ставит User-Agent? Судя по скорости работы, не более 5 конектов в секунду. Помимо этого, похоже, у них есть кеширование. К RSS обращение происходит только один раз. Ссылки на все материалы сохраняются.

[juks]

Пара десятков запросов в секунду приходит

[Davidov]

Поставил на пути запросов свой скрипт, который не даёт делать запросы чаще, чем раз в 0,2 секунды.

[Arhivator]

Можно еще воспользоваться feedburner'ом для создания красивой ссылки ;)

[bruha]

аналог Google Reader + Better GReader (расширение Firefox) со включенным Preview item?

[fima]

вот неплохой ридер : http://in-web.kz/?p=437
закачал, поставил. все просто... прекрасен, что не только подписывается, но и ищет что надо... если ленты, то собирает их, если картинки, то картинки... если видео или аудио, то собирает и прокручивает. не надо напрягаться и делать лишних телодвижений... по ходу там еще радио... каналов наверное с 50. при чем на любой вкус.
сейчас создатели хотят сделать, чтоб через него чатовые комнаты создавались. не совсем представляю как, хотя форма связи есть через него...
и теперь у меня вопрос: не прощупывается ли тут рука китайского коммунизма? это они любят навернуть в телефон все, кроме плазменного меча джиДая. да и то наверное есть уже.

[Insane]

Спасибо за идею, давно хотел себе подобный фид. У меня возникает проблема: встроенные в полученную страницу видеоролики исчезают из фида, нет ли у вас идей, как это исправить?

[Murz]

Что-то сервис william.cswiz.org в последнее время часто лежит. Есть ли ему какие-нибудь бесплатные альтернативы?

[Davidov]

Честно говоря, не знаю. Я к этой теме не возвращался.

[Murz]

Вчера весь вечер ковырялся чтобы заставить это всё работать (правда на другом сайте), но так и не получилось, а почему — непонятно.
Сначала думал что конвертер кодировки лежит, но нет — через wget с него всё хорошо и правильно скачивалось.
Затыкается на шаге Loop+Fetch page — через debug туда ничего не доходит и, соответственно, данные дальше тоже не идут.

[Murz]

О, а сегодня с утра мои вчерашние труды вдруг сами чудесным образом заработали! Значит глючил не я, а яха =)

[Davidov]

У меня есть подозрение, что хабр иногда что-то не то отдаёт яху.

Я пытался разобраться, но у меня не получилось.

[kns]

Спасибо большое за этот топик, жаль, что увидел его только сейчас.

Т.к. уже многое поменялось, решил сделать свой пайп. Но…
Вылезает ошибка:

This Pipe ran successfully but encountered some problems:
warning error fetching http://habrahabr.ru/blogs/arbeit/64473/ (503 Service Unavailable)
warning error fetching http://habrahabr.ru/blogs/games/64482/ (503 Service Unavailable)
warning error fetching http://habrahabr.ru/blogs/games/64490/ (503 Service Unavailable)
warning error fetching http://habrahabr.ru/blogs/the_future_is_here/64520/ (503 Service Unavailable)

Это такая защита хабра или я просто неудачно выбрал время для тестирования?

[Davidov]

Боюсь, защита хабра. Хотя, м.б. не повезло со временем. Кстати, как сказано выше, Y!P посылает очень много запросов (если не предпринимать специальных действий).