Сервис Feed43 теперь говорит по-русски

    Итак, свершилось. Сервис Feed43, создателем которого я являюсь, переведен на русский язык. В связи с этим хочется подробнее рассказать о самом сервисе, а также привести пример создания с помощью него RSS-канала, мониторящего хабракарму.

    Зачем нужен Feed43?

    Наш сервис дает возможность вам самим создавать RSS-каналы из любых веб-страниц. Фактически, Feed43 предоставляет универсальный API на основе RSS к любому сайту, любой странице и даже любой части страницы.
    • Хотите читать новости с сайтов, не предоставляющих RSS?
    • Хотите предоставлять разнообразные RSS-потоки для читателей вашего собственного сайта/блога, не заморачиваясь при этом с программированием?
    • Хотите отслеживать список самых кассовых фильмов, количество полученных Россией олимпийских медалей, популярные записи в блогах?
    Все это теперь возможно.

    Аналоги / конкуренты

    Dapper, Yahoo Pipes, Feedity, FeedYes

    Основные преимущества Feed43 перед конкурентами
    1. Гибкая возможность настройки внешнего вида канала на основе аналогов регулярных выражений
    2. Удобный интерфейс настройки каналов
    3. Для создания каналов не требуется регистрация. Сервисом можно пользоваться полностью анонимно
    4. Теперь и русскоязычный интерфейс

    Создание RSS-канала с помощью Feed43

    Ниже я покажу, как создавать каналы с помощью Feed43. Я взял простейший пример — мониторинг кармы (простой он потому, что использует официальное API сайта, выдающее удобный для парсинга XML).

    Итак, на сайте жмем кнопку «Создать новый канал» и видим первый шаг мастера создания каналов. Вводим туда адрес habrahabr.ru/api/profile/afan, нажимаем «Обновить» и получаем следующую картину:

    9.78 КБ

    Итак, XML получен, теперь надо настроить шаблон для извлечения нужной нам информации. В нашем случае шаблон будут очень простым:

    <karma>{%}</karma>{*}<rating>{%}</rating>

    {%} означает любую последовательность символов, которую нужно извлечь; аналог в регулярных выражениях: (.*?)
    {*} означает любую последовательность символов, которую нужно пропустить; аналог в регулярных выражениях: .*?


    Нажимаем «Извлечь» и видим следующее:

    9.42 КБ

    Итак, мы получили два параметра {%1} и {%2}, которые мы теперь можем вставить в тело новости. Заполняем свойства канала и нажимаем «Посмотреть»:

    20.42 КБ

    Дело за малым: даем каналу более удобоваримое имя и получаем ссылку на готовый канал:

    11.03 КБ

    Все. Мы получили канал http://feed43.com/habrahabr-api-afan.xml, который можем использовать в любом RSS-ридере. Вот так этот канал будет отображаться в Google Reader:

    8.86 КБ

    Теперь, как только текст канала изменится, Google Reader отобразит это как новую отдельную запись.

    Вы можете сделать похожий канал для себя, указав вместо "afan" свое имя пользователя.

    Вот такой сервис. Комментарии и пожелания всячески приветствуются (можно оставлять их здесь или через форму обратной связи на сайте. Если кому-то интересна техническая сторона проекта, то могу написать об этом подробнее.
    Поделиться публикацией

    Комментарии 87

      +4
      Сообщество злобных сплогеров выражают вам благодарность =)
        +1
        Подобное использование сервиса является технически возможным. Но как-то уж повелось, что наши пользователи (из тех что публикуют RSS-потоки на своих сайтах) — законопослушные люди, в основном владельцы небольших персональных сайтов, некоммерческих и общественных организаций. В общем, нам наши клиенты очень нравятся, и мы сами готовы выразить им всяческую благодарность. :)
        –10
        спам продвинулся на главную страницу? видимо не всех ботов забанили
        (ща будут минусовать мну)
          +1
          Я человек незлобный, минусовать никого не буду. Причем тут спам и боты? Будьте проще.
            –14
            просто куча плюсов к топику и 2 каммента — как-то странно…
              +5
              А чего тут говорить — тут пользоваться надо. :)
            –7
            Какой спам?
            Не знаю как боты, но '-' я тебе уже поставил.
              –8
              держи тоже =))
                –5
                лови.

                Кармацепочка!
                • НЛО прилетело и опубликовало эту надпись здесь
            +3
            а что, очень здорово! спасибо
              0
              молодцы.=) Спасибо!
                +1
                Идея неплохая! Правда не каждый сможет канал себе создать, без основ как минимум html
                В остальном все удобно, спасибо автору!
                • НЛО прилетело и опубликовало эту надпись здесь
                    +2
                    Да, тут имеет место быть компромис между сложностью создания канала и качеством результата. Другие похожие сервисы, например FeedYes, создают канал практически в один клик, просто выгребая с исходной страницы все ссылки (и давая возможность их неким образом отфильтровать). Но удобство пользования таким каналом стремится к нулю. Feed43 позволяет сделать действительно удобный канал, с полноценным и удобно отформатированным контентом, но, кончено, придется немного размять мозги…
                    +1
                    Прикольно, интересно почему 43? :)
                      +1
                      Идея была обыграть цепочку «Feed43 => feed-four-three => feed-for-free». Но теперь это уже неважно, главное, что имя получилось короткое и — надеюсь — запоминающееся.
                        0
                        f43 =)
                          0
                          Уже занято несколько лет как. Сейчас наверно уже все комбинации из трех-четырех букв и цифр захватили…
                            0
                            А скоро еще и на всех языках.
                              0
                              кстати, нет ) четырехсимвольные еще можно выловить
                          +1
                          Ну, явно же должно быть 42!
                            0
                            Feed-for-two = > «Канал на двоих»?
                              0
                              читайте Дуглас Адамса :)
                                +1
                                Скорее всего dasty имел в виду ответ.
                            +1
                            ах это ваааааааше, тогда сделайте, пожалуйста так, чтобы при ошибках эти самые ошибки не валились в фиды а тихо в девнулл
                              0
                              Сделать-то можно, но как вы тогда узнаете, что это ошибка, а не просто отсутствие новостей?
                                0
                                Можно сделать такое поведение опциональным, конечно. Записал к себе в список «на подумать».
                                  0
                                  ну лично у меня там висит один bash.org(англоязычный который) и он не так уж и часто обновляется, а от таймаутов в фиде мне никак не легче, всёравно лично я с этим ничего не сделаю
                                  так что да, галку «включить ошибки в фид» было бы неплохо
                                    0
                                    Кстати, буквально пару дней назад допустимый таймаут при парсинге был увеличен, так что если сейчас будут подобные сообщения, пишите, буду смотреть.
                                      0
                                      таймаут был один раз, кроме него ещё есть
                                      ERROR: One of search patterns is too heavy or malformed. See help for more information.
                                      и
                                      ERROR: Source page is empty, try to reload

                                      до этого полгода работало как часы, я так понимаю в связи с повысившейся нагрузкой началось?
                                        0
                                        Нагрузка повышалась, мы недавно переехали на выделенный сервер. Сейчас нагрузка в норме (и плюс таймаут увеличен), так что первая ошибка должна уйти. Насчет второй интереснее. Как только она у вас еще раз проявится, стучитесь, попробуем ее за хвост поймать.
                              +1
                              А можно как-нибудь добавить поддержку cookies для сайтов, где нужна авторизация?
                              В uTorrent например можно указать такой адрес фида: lostfilm.tv/rssdd.xml: COOKIE: uid=31337; pass=9c3e51111e7e5ed9df35c33fb35b4f0f
                              Мне кажется тут тоже можно как-то организовать…
                                +1
                                Не люблю я особо рассказывать про радужные планы, но планируется добавить поддержку POST-запросов (а редиректы и приходящие с сайта куки поддерживаются уже сейчас), так что можно будет сымитировать процедуру отправки формы (логина/пароля) и открытие запароленной страницы. Видимо, поле для ввода кук надо будет добавить явно.
                                  0
                                  А теперь смените passkey на lostfilm'е, а то скоро заметите что статистика неправильно считается :-)
                                    0
                                    Я и UID и PASS поменял, когда писал, просто сделал хэш похожим на хэш, что бы не показаалось, что это пароль в открытом виде)
                                  –4
                                  Прикрутите еще авторизацию, через curl например. И период обновления
                                    0
                                    Про авторизацию написал чуть выше.

                                    Насчет периода обновления: Feed43 работает как прокси, и запрашивает страницу в тот момент, когда вы запрашиваете URL RSS-канала. По своей инициативе он никуда (и ни с какой периодичностью) не лезет. Подробнее о принципе действия можно почитать в наших Вопросах и ответах
                                    0
                                    Хм, работает! Прикручивание RSS к башоргу заняло не больше пяти минут.
                                    Теперь можно всегда быть в курсе свежайших и актуальнейших новостей. :)

                                    feed43.com/1034041858482750.xml
                                      +1
                                      О_о а вот это чем плохо: [RSS]?
                                        0
                                        у баша ведь есть рсс
                                          0
                                          Да не нужен мне RSS с баша, просто это первое, что пришло в голову. :)

                                          Второе, что пришло в голову — прикрутить RSS на «Публичные лекции на Полит.ру»
                                          Прикрутил.

                                          feed43.com/2028056887611015.xml

                                          И сразу после этого, конечно начал искать, и обнаружил, что и там есть незаметная ссылочка на RSS.

                                          Но, во-первых, «дизайнеры» её так хорошо спрятали, что я о ней до сих пор даже не подозревал.

                                          А во-вторых, нажав на кнопку, я попал в засаду: она подписывает совсем на другую страницу — на новости вместо публичных лекций. :)
                                            0
                                            сорри…
                                            в файрфоксе видно сразу есть фид у страницы или нет
                                              0
                                              Спасибо, теперь до меня дошло, что это за кнопка. :) В Опере, кстати, её тоже видно, на том же месте — в строке адреса.

                                              Меня сбивало с толку то, что она её появление не связано однозначно с наличием ссылки на RSS на странице. Вот на polit.ru, например, этой кнопки не видно ни в Опере, ни в Файрфоксе, хотя ссылка есть.

                                              На моей страничке greesha.ru эту кнопку тоже ни опера, ни файрфокс не показывают. Хотя ссылка на RSS присутствует, и сам канал проверен на feedvalidator.org. Видимо, браузеры принимают решение о показе кнопки исходя из каких-то особенностей самой ссылки.

                                              Я больше привык к Опере, кстати, Файрфокс запускаю только в случае крайней необходимости — например, когда нужно зайти на страничку под разными эккаунтами.

                                              А IE не запускаю никогда. Вообще. Мне можно, я не веб-дизайнер. :)
                                                +1
                                                Есть такая штука как RSS autodiscovery. Это специальный линк внутри HTML (по аналогии с явной ссылкой на favicon.ico). Когда он есть, браузер отображает свою кнопку-иконку в поле адреса или еще где. Нет такой ссылки — нет иконки. Ссылок, кстати, может быть несколько (на разные каналы), тогда при нажатии на эту кнопку в браузере вы увидите ниспадающее меню с перечнем RSS-каналов.
                                                  0
                                                  Спасибо! Обязательно прикручу.

                                                  (Век живи — век учись)
                                        0
                                        Письмо с подтверждением регистрации надо бы тоже перевести на русский.
                                          0
                                          Обязательно переведем. Еще справочная информация переведена не до конца — как раз этим сейчас занимаюсь.
                                            0
                                            Давно регистрировался (система даже мой емайл помнит), а вот пароль я забыл. Не нашел системы восстановления и зарегистрировался по новой.

                                            Можно напоминание более явно сделать?
                                          0
                                          чуть-чуть разметочку посложнее и уже не достаётся. :(
                                          По мне проще было бы вытаскивать контент используя css3-style шаблоны.
                                            +1
                                            Существуют, кончено, случаи, когда с наскоку написать шаблон не получается, но обычно все не так плохо. Давайте попробуем вместе. Какую страницу и какой контент на ней хочется мониторить?
                                              0
                                              Вот страничка. cyxapeff.imhonet.ru/rates/all/
                                              Хочется вытаскивать как минимум «Название» (русское и если есть английское), оценку, дату когда читал\смотрел (если указана). Если сможете сделать такой шаблон — памятник поставлю :)
                                                +2
                                                Вот, например: feed43.com/imhonet-cyxapeff-rates.xml
                                                  0
                                                  ну немного переделать конечно надо. Но спасибо большое. :)
                                                    0
                                                    Открываете feed43.com/feed.html? name=imhonet-cyxapeff-rates и переделываете так, как душе угодно. Не забудьте потом на канал пароль поставить — он сейчас открытый.
                                            0
                                            Спасибо, полезно
                                              0
                                              А с какой периодичностью возможен мониторинг страницы?
                                              Лента Яндекса или Google Reader пингуются, когда обновление в канале?
                                                0
                                                Читалки новостей (Лента Яндекса и Google Reader в нашем случае) запрашивают фид с определенной периодичностью (раз в 15 минут или раз в час — неважно). Feed43 загружает в этот момент контент с сайта, парсит, выдает фид читалке и кеширует этот канал на 6 часов. Т.е. в течение этого времени при последующих обращениях он будет выдавать уже сгенерированный RSS. Через 6 часов, в момент очередного запросе канала любым клиентом, он опять полезет за указанной страницей. Для платных каналов время кеширования 1 час.
                                                  0
                                                  У dapper'а кеш всего 10 минут :)
                                                    +1
                                                    Dapper за это венчурными деньгами расплачивается, а я за выделенный сервер для Feed43 по $120/месяц из своего собственного кармана плачу. :)
                                                0
                                                отличный сервис! сам за 3 минуты разобрался, что к чему
                                                  0
                                                  Огромное спасибо за сервис! Сам ещё пару лет назад думал создать ровно такой же — чтобы делать RSS для сайтов, которые его не предоставляют, — но поленился. Пойду плюсовать карму :)!
                                                    0
                                                    Спасибо за удобный сервис. Уже сделал пару каналов
                                                      0
                                                      спасибо. давно пользуюсь вашим сервисом.
                                                      какое-то время назад возникла проблема, при использовании совместо с ридерами от newsgator (netnewswire и feedeamon) — проблема заключалась в том, что вы их (newsgator) заблокировали за очень частое обращение к вам. пришлось создавать для каждого фида фид на feedburnerе и проблема как бы исчерпалась.
                                                        0
                                                        Хорошо, посмотрю, спасибо что сказали. Я стараюсь помещать все подобные публичные сервисы в белый список, но они периодически меняют IP.
                                                          0
                                                          я даже писал в feedback формочку, но так и осталось без ответа.
                                                          но в любом случае спасибо.
                                                        0
                                                        Извините за глупый вопрос, запись про «-- Delivered by Feed43 service» опциональная или обязательная?
                                                          +1
                                                          Без подписи-за денежку. Видел где-то на сайте расценки
                                                            0
                                                            Спасибо, еще не во все разобрался.
                                                            +2
                                                            Обязательная для бесплатных каналов. У платных такой саморекламы нет. Вот здесь подробнее: feed43.com/upgrade.html
                                                              0
                                                              Благодарю за подсказку.
                                                            +1
                                                            техника построения очень напоминает WatzNew — которой пользуюсь до сих пор — но это никак не минус, а скорее плюс. Избавлюсь от лишнего ярлыка в трее.
                                                            Отлично.
                                                              +1
                                                              WatzNew тоже я написал (только тс-с-с!). Давно это было…

                                                              Если вы являетесь платным пользователем WatzNew, напишите мне через форму обратной связи на сайте Feed43.com имя пользователя и email, указанный при регистрации, и я выдам вам год платной подписки на Feed43.
                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                              0
                                                              вот если бы он еще и полную новость мог вытаскивать… а короткую был генерировал бы обрезанием полной… цены бы ему не было
                                                                0
                                                                В RSS нет понятия «краткой» и «полной» новости. В каждой новости (item) есть поле description, где может идти все что угодно. Кто-то помещает туда только анонсы новостей, кто-то выкладывает туда полные статьи. Вы можете создавать с помощью Feed43 RSS c полным текстом новостей при условии что они расположены на одной странице.
                                                                  0
                                                                  Да, согласен. чуть не прав (про экспорт аля «яндекс rss», там и короткая и полная экспортируются) подумал.

                                                                  ну тогда вместо описания, дергать так же по шаблону полную новость (опционально)
                                                                0
                                                                А у сайта есть список популярных открытых трянсляций сайтов? Чтобы и посмотреть что-то интересное, и не мучаться с созданием трансляции, если таковая уже существует.
                                                                  0
                                                                  Такую возможность планируется добавить (как на самом сайте при создании канала, так и в виде публичного API для поиска каналов)
                                                                  0
                                                                  Спасибо. Прекрасный сервис. Решил несколько старых задач.
                                                                    0
                                                                    Действительно то, что мне нужно — сервис, кастомизируемый под себя! Afan, Спасибо! Уж я найду этому применение!))
                                                                      0
                                                                      Вот создал ленту Новостей спорт-экспресса feed43.com/sport-express_news.xml. Тут же напарсило 13 новостей в рсс. Потом долго не было обновлений, ну, думаю, лента ведь бесплатная, наверное кэшируется раз в несколько часов (6 часов как оказалось). Прошла ночь, а точнее часов 12. В ленте появилось только две новости, хотя на сайте они появляются раз в 5-10-15 минут.
                                                                        0
                                                                        Тут надо смотреть свойства канала. Возможная причина — поисковый шаблон настроен так, что выгребает не все новости. проверить это легко — зайдите в редактор канала и посчитайте количество найденных новостей и сравните их с количеством, видимым на сайте. Если количество расходится, то надо подправить шаблон.

                                                                        Должно быть так: выгребли все новости со страницы, прошло 6 часов, при очередном обновлении выгребли опять все новости (а в ридере отобразятся новыми только те, которых не было в канале в прошлый раз; при очень частом обновлении исходной страницы новыми могут быть все). Если какие-то новости не были подхвачены Feed43 из-за кэширования (т.е. полностью появились и успели уйти со страницы за 6 часов), то таких новостей в ленте не будет. В случае со Спорт-Экспрессом это можно решить, создав несколько отдельных каналов по разным рубрикам. Тогда частота появления новостей в рубрике будет не такой большой.
                                                                        –4
                                                                        yahoo pipes еще никто не отменял
                                                                          +1
                                                                          сообщество social media маркетологов и веб аналитиков выражает Вам свой глубокий глубокий респект!
                                                                            0
                                                                            Вот так сюрприз — оказывается, feed43 написал русский :)
                                                                            Я почему-то все время думал, что это проект какой-то буржуйской команды. Где-то год назад его увидел и мысленно поапплодировал идее и реализации. И пользователю полезно и масса входящих ссылок совершенно бесплатно. :)

                                                                            Если позволите, вопрос немного офтоп-направленности. На каком сервере сейчас работает проект и как сильно его грузит?
                                                                              0
                                                                              Сейчас Feed43 сидит на выделенном сервере вот такой конфигурации:
                                                                              * AMD 4200x2 Dual-Core CPU
                                                                              * 1200 GB Premium Bandwidth
                                                                              * 1 GB Ram Memory
                                                                              * 250 GB Sata Drive

                                                                              Загрузка CPU примерно 25-30%. Трафик порядка 2Гб в день.

                                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                            Самое читаемое