Фильтруем rss Хабра через Yahoo.Pipes

[Ex3NDR]

красиво сделано =)

[d3m1gd]

Спасибо =)

[jeje]

Pipes, один из самых интересных и замечательных продуктов от yahoo

[Yeah]

Я себе год назад по похожему принципу сделал трубу для отслеживания блогов по Zend Framework. Труба открытая. Кто хочет, может использовать тут: pipes.yahoo.com/pipes/pipe.info?_id=aiTMhREL3hG5aJHA0j6skA

[anthonio]

> в левом канале отрезается все, что не нужно, а в правом остается только то, что нужно
На этой фразе я впал в ступор… :(

[aderyabin]

Картинки красивые! По ним и так все ясно! Так что можно тексты не читать!

[aavezel]

Я в регекспах воспользовался ".*(?i:", для того чтобы не зависеть от регистра…

[xijaro]

у меня отказывается принимать регистро-независимые шаблоны в V2 :(
может быть для нее есть какие-то свои хитрости?

[aavezel]

Странно у меня работает…

[allmoney]

Работает только для английского языка похоже… :(

[Davidov]

Когда я делал pipe для rss хабра в прошлый раз, администрация сообщила мне, что y!p слишком часто делает запросы. Будьте осторожны.

[d3m1gd]

В этом пайпе rss берется не с хабра, а с feedburner'a, поэтому y!p тут не при чем. Если брать напрямую с хабра, то y!p выдает ошибку о недоступности сервиса.

[alias]

Для составления и проверки регекспов могу посоветовать простой и удобный сервис.

[VIST]

Получилась такая себе Хабралента под конкретного человека…

Спасибо за изложенный материал.

[Glow]

Отдельное спасибо за гайд по регулярным выражениям.

[ivanrt]

Интересно, хабр использует pubsubhubbub. Думаю может на appengine что-то такое сделать…

[Terion]

за ссылку на гайд по регекспу спасибо ))))

[S_talker]

И все-таки интересно, почему YP не понимает RSS с хабра.

Мне пришлось обойти это следующим образом:
1) Скрипт не моем домашнем сервере периодически тянет 3 ленты с хабра (главную, хабраленту, и хабраленту 3.0) в DropBox-папку
2) YP берет эти ленты, соединяет их и удаляет дубликаты

Если бы хабр генерил такие ленты, которые понимает YP, можно было бы обойтись без первого шага.

[Mirror]

Pipes v2 почему-то JSON импортирует неправильно (а может, и не только JSON). И ещё важный момент: если аккаунт перевести на v2, скорей всего все старые трубы (или большинство) работать перестанут.

[MicVit]

Да, YP — замечательная штука.
Вот только из-за тормознутости порой просто невозможно было пользоваться…
Если v2 действительно не такой, то это здорово.
Кто уже попробовал, чувствуется разница?

[d3m1gd]

Пайп из статьи писался под V1. Тогда действительно были и тормоза, и глюки, и подвисания. Когда перевел на V2 ощущения от работы с пайпом заметно приятнее стали. Ни разу не вис, не тормозил, время реакции увеличилось.

[MicVit]

Да. Вот из-за этих глюков и подвисаний забросил я его. Теперь будет повод при случае опять попробовать.

Неслабый у вас фильтр получился…
А как насчет Хабраленты? Сильно хуже?

[d3m1gd]

Насколько я понимаю, Хабралентой могут пользоваться только зарегестрированные пользователи, а пайп работает для всех

[Andrew_Lvov]

Кстати, тут ещё вопрос рекламы на Хабре. Как я понимаю, Яндекс и другие платят за ведения блога на Хабре деньги. Читая Хабр через пайпс, пользователи обрезают денежный поток для сайта. Или я не прав?

[d3m1gd]

В любом случае rss хабра доступна публично, значит ее можно использовать в rss читалках, во многих из которых есть свои фильтры. Кроме того, следя за новостями через rss вы не получаете большой дозы рекламы на сайте через различные баннеры, что тоже (как мне кажется) должно приносить ощутимый доход. Ну и чего уже говорить про различные AdBlock'еры, которые вообще сводят к нулю получение рекламной информации с сайтов.

На сайтах, где данный вопрос критичен (блокировка рекламы), пользователей со включенным блокиратором предупреждают об этом и просят его выключить.

[mac2000]

вопрос — а в yahoo pippes можно реализать выдирание полного содержимого статьи? (с помощью того же regex)

[d3m1gd]

Теоретически — да. Есть модули, которые позволяют скачивать страницу целиком, однако я сам этого не делал. Используя поиск можно найти кучу гениальных примеров и реализаций

[mac2000]

судя по всему не получится,
только что смотрел что умеет pipes, там есть fetch page — как раз для этих целей, но хабр возвращает ответ «502: Service unavailable» :(

[Kaputmaher]

Спасибо! Ваш пост был отфильтрован с помощью Yahoo.Pipes.

[WGH]

А я для подобных целей использую Google App Engine. Несколько сложнее поначалу, но возможности гораздо шире. Тоже бесплатно, естественно.

[USeTi]

У YP есть один недостаток — он разбивает ленту по страницам.
Т.е. если в ленте больше 100 записей — он вернет только 100 остальные придется забирать по ссылке вида [pipe_url]&page=2 и т.д.