Pull to refresh

Трубопровод избавит вас от дублей в ленте

Habr
Sandbox
Super Mario, the great pipeliner

Привет.

Недавно andorro писал о мерзких дублях постов, которые с некоторой вероятностью появятся в ленте если подписаться на Хабр и GT. Есть отличный способ решить эту проблему, используя rss и yahoo, а за одно — подписаться на пересекающиеся хабы.

Yahoo Pipes


Pipes is a powerful composition tool to aggregate, manipulate, and mashup content from around the web.

Pipes это такой сервис, который получает что-то на входе, делает что-то с этим внутри себя и отдаёт то что получилось. На вход можно пустить csv, rss xml или даже dsdjl другого pipe. На выход можно получить rss, json, email или виджет.

Например, можно получить rss лету канала в Tumblr, регуляркой заменить во всех img ссылку на маленькую картинку ссылкой на большую и вернуть полученный rss.

Строим трубопровод


Регистрируемся на Yahoo (если нужно), заходим на http://pipes.yahoo.com/ и открываем конструктор.

Screenshot 1 Конструктор

Слева список блоков, в центре собственно конструктор, внизу отладчик. Для каждого блока есть описание и пример использования. Вариантов много, но нам нужен Fetch Feed.

Добавим его и, для примера, добавим в него хабы Windows и Ноутбуки с GT и ещё Разработка с Хабра.

Screenshot  2 Fetch Feed

В логе видно, что данные получаются. Теперь можно их отсортировать по дате (блок Sort).

Screenshot  3 Sort

После сортировки стало видно, что посты из хабов Windows и Ноутбуки вполне себе повторяются. Это легко решается фильтрацией по заголовкам (блок Unique).

Screenshot  4 Unique

Соединяем выход блока Unique, сохраняем и можно запускать.

Screenshot  5 Готово

Надеюсь, этот рецепт будет вам полезен.

Yahoo Pipes
Демо из примера
Tags:rssyahoo pipes
Hubs: Habr
Total votes 26: ↑23 and ↓3+20
Views4.4K

Top of the last 24 hours