Комментарии 97
RSS - еще одна забытая технология )
Его зарезали потому что нет фидбека от юзеров, ты читаешь новости - но никто не знает какие прочитал, какие пропустил, какие вообще бот просматривает.
Нет фидбека - нельзя посчитать рекламный охват.
Нельзя посчитать охват - нечего предьявить рекламодателям, это как кричать в пустоту за деньги.
Нет рекламодателей - никому это неинтересно.
Но может быть и вернут его когда-нибудь: по ТВ тоже неизвестно сколько конкретно людей посмотрит рекламу, есть только рейтинги передач, однако реклама продается.
У хабра всё ещё есть RSS
Его зарезали потому что нет фидбека от юзеров, ты читаешь новости - но никто не знает какие прочитал, какие пропустил, какие вообще бот просматривает.
Какие новости прочитал вполне знают, так как в RSS только аннотацию, а не весь текст новости. Полный текст доступен на сайте после перехода на сайт
(перешел в эту новость из RSS)
есть rss2full, с хабром справляется.
снижение охвата. Так вы зашли на сайт, посмотрели 10 заголовков статей , 3 страницы и 24 рекламы, а по ссылке вы зашли на статью, посмотрели ее, хорошо если 8 реклам, и ушли. Или вообще не зашли, если не цепляет.
Ценность рекламной площадки падает.
Какие новости прочитал вполне знают, так как в RSS только аннотацию, а не весь текст новости. Полный текст доступен на сайте после перехода на сайт
для них это выглядит как "переход по ссылке", но теоретически они могут в урл вставлять параметры для отслеживания
ps. тоже перешел из RSS
Да, в том-то и проблема. RSS удобен для пользователей, но его должны внедрять издатели, которым он, как раз, портит все показатели. Это как если бы фейсбук блокировал всю рекламу - она пользователю мешает же.
Его зарезали
Кто зарезал? У меня пара десятков активных каналов в feedly, всё обновляется.
Если у вас пара десятков канало в Feedly, это еще не означает, что технология сама по себе популярна и активно используется.
А вообще, все меньше и меньше сайтов и блогов поддерживают RSS фиды и с каждым годом находить ленты становится все сложнее.
Есть сайты, которые генерят рсс. К примеру вот: https://politepol.com/en/faq
технология действительно уже непопулярна у пользователей, но сам RSS едва ли исчез. Все сайты, RSS которых я хотел бы добавить, его содержали. RSS - все еще главный источник моего ежедневного чтива
Лет 15 назад их было бы пару десятков тысяч разных, чуть ли не каждый сайт, особенно новостной, размещал.
все можно, картинку вставляешь и трекаешь. фид загружаешь - значит тема интересна. web rss (которые перенаправляют в почту) еще тебе и рекламу лепят. Конечно с браузера проще собрать сложную аналитику, типа как курсором водил. Главная проблема rss - эта лента заканчивается, а лента inst или fb не заканчивается никогда ;) мне rss нравится именно за порядок: я знаю что я ничего не пропущу и могу досмотреть до конца позже.
По ТВ всем всё известно уже давно. На важных рынках когда-то компании вроде Nielsen ставили людям ТВ-приставки (которые и фиксировали всю статистику), сейчас ваш клиент ip-tv всё знает, а СмартТВ сделает посекундные снимки экрана (конечно же анонимно и безопасно) да и отправит производителю.
Напомнило инфоцыган диетологов и нутрицилогов. Они тоже говорят что надо только ПРАВИЛЬНОЕ, ЗДОРОВОЕ, ПОЛЕЗНОЕ. Они не говорят: хорош жрать листать ленты, это убивает мозг количеством, а не качеством.
/Продолжил листать дальше/
После слов «На сцене появляется… RSS» хотел пошутить про зуммеров и год разработки RSS, но в оригинале «Enter: RSS»
А зачем это все сайтам?
Они теряют просмотры, посещения, показы рекламы и деньги. А получают ничего.
если preview интересное -- они получают переход
если у них нет RSS, они теряют аудиторию, которая ценит свое время
И получают всю остальную аудиторию. И не один просмотр, а листание ленты и несколько просмотров. Обмен выглядит выгодным.
Мне кажется, аудитории уже не пересекаются. Если бы на Хабре не было RSS, вряд ли бы я читал его регулярно: заходил бы только с выдачи поисковика, и всё.
Вы нет, а кто-то другой стал бы. Каждый конкретный посетитель не важен. Считать что никто не станет явно ошибочно. RSS мертв и люди заходят на сайты.
RSS мертв и люди заходят на сайты.
Тут, кстати, интересен вопрос, кто виноват в том, что браузеры перестали показывать знак о том, что страница RSS имеет. Ну ладно, встроенный клиент для RSS не получился и его выпилили. А индикацию наличия почему не оставили?
Я поставил расширение и всё вернулось: https://addons.mozilla.org/en-US/firefox/addon/want-my-rss/
Что касается последних UI-решений в браузерах, не счесть, сколько олдфагами было написано возмущённых призывов перестать ломать браузеры. Но видимо пришло новое поколение менеджеров и они всё переделывают под своё видение.
Я поставил расширение
Да нет, это понятно, что можно вернуть. Но это только для тех, кто уже знает, что оно такое бывает. Смысл в том, что сигнализация 'из коробки' подсказывает и тем, кто не знает. Ну или напоминает тем, кто знает. Вон, у меня Edge демонстрирует, что у хабра какое-то приложение есть, но не показывает, что тут где-то RSS есть. А что это так?
Наверное, ориентируются на основную массу пользователей.
То есть, мотивация создателей браузера не в том, чтобы "мы разместим иконку RSS, чтобы пропиарить RSS среди пользователей", а в том, чтобы "сделаем настройки по умолчанию такими, чтобы большинству не пришлось кастомизировать браузер, а можно было сразу пользоваться".
То есть, когда-то большинство ставило RSS-кнопку, и её включили в стандартную поставку. Сейчас же большинство будет удалять RSS-кнопку (те, кто настраивает интерфейс под себя и убирает с панелей всё, чем не пользуется), вот её и убрали заранее.
Наверное, ориентируются на основную массу пользователей.
Ни верю ни разу про такой образ мыслей. Вон, та самая иконка о наличии приложений в Edge даже не знаю, как убирается. Или там же регулярно что-то про какие-то купоны выскакивает. Или у того же Firefox Pocket, помнится, был - тут пользователей вообще, кажется, не спросили.
RSS мертв и люди заходят на сайты
В этом смысле и контентные сайты мертвы. И что теперь, бросать сайт и открывать группу в VK?
У любого контентного сайта есть группа в ВК. Перепостами в несколько мест давно уже все занимаются. Соцсеточки обязательны для любого контентного сайта. Дешевый источник лидов.
Что не так?
Конечно, не так. Следуя вашей логике, читатель будет потреблять рекламу платформы, а не сайта, делать меньше просмотров на сайте, а это упущенная прибыль.
Как завлечь посетителя к себе на сайт это проблема сайта. В целом все как обычно. Постим в ВК заголовки в том числе в меру кликбейтные, приглашаем пообщаться в комментариях и все такое. Проблема давно решена.
Чем это отличается от RSS?
Всем. ВК привлекает аудиторию. Это его основная задача. RSS наоборот отталкивает аудиторию. Механизмов привлечения там нет.
RSS - инструмент удержания, а не привлечения.
Я зашёл на сайт, почитал, понравилось. И у меня две возможности: добавить в свой RSS, чтобы получать обновления и читать дальше, или периодически вспоминать об этом сайте, заходить проверять обновления вручную. Конечно, 2-й вариант проигрывает, потому что сайтов много, с чего бы мне их все помнить.
А никому не нужен пользователь который будет не заходя на сайт и не смотря рекламу потреблять контент. За этот контент деньги платили, окупать его как?
я наткнулся на относительно малоизвестную сегодня старую бесплатную и опенсорсную технологию
Вот в этот момент почувствовал себя старым, осознав, что кто-то только открыл эту технологию "из прошлого", случайно на нее наткнувшись, в то время как во времена моей вроде бы еще не такой далекой юности эта технология была в самом расцвете :)
(тяжело вздыхая и чествуя себя совсем-совсем старым) А было еще и nntp... Не обязательно даже с пересылкой контента с сервера на сервер.
Скажем, любому форумно-статейному сайту вида Хабра можно nntp сервер/шлюз держать - и читателям не нужно будет мучаться со странным представлением дерева комментариев.
Эх, я помню те прекрасные времена, когда в корп сети РЖД были "ньюса" (именно так называл это народ), Outlook Express, win98-xp... Трафик минимальный, удобство, и всë локально сохранялось, если посмотрел уже. Поиск по содержанию ещë.
В интернете тоже кстати было это, но в середине 2000х это уже был конец эпохи.
Вначале они закрывают yahoo pipes (очень скучаю по ним), google rss reader (шок и переползание на feedly), а теперь через 15 лет кто-то открывает для себя rss
Ну то есть, настраивать фильтрацию на сайте ему влом:
Хотя на некоторых сайтах есть опции фильтрации или сортировки, настраивать их каждый раз при посещении каждого сабреддита просто нереально.
Но настраивать ту же самую фильтрацию в RSS уже не влом:
поэтому можно получать RSS-фид через посредника, а также выполнять с ним дополнительные действия, например, фильтрацию.
Где логика, а?
Люди недооценивают как много полезных сайтов содержат RSS фиды. Среди неочевидных - атомы на страничках статусов различных сервисов (AWS, Github, Docker, Slack), Github/Gitlab коммиты/теги/релизы, Youtube каналы. Блоги это самый тривиальный и скучный вариант использования.
Очень странно. Я еще решил пересмотреть сериал Lost и вернуться на Лепрозорий. И тут еще RSS внезапно забытая технология. Верните мой 2009-й. Помню RSS ридерами все пользовались только недавно, даже в адресной строке Firefox была иконка RSS. Время сломалось как-то и последние 15 лет прошли слишком быстро.
До появления Facebook и прочих источников у меня было много лент в RSS-читалке. Потом как-то угас интерес и к FB, и к прочим. Недавно заглянул в Feedly (после закрытия Google Reader ничего лучшего не нашлось). Там осталось 6 источников, из них два интересные, остальное хлам.
RSS в наше время перетек в основной способ распространения подкастов, например. Что-то другое — ну, есть еще энтузиасты с блогами на WP, но…
Мы за пол часа до "ленту читает ИИ и выдает только главное тезисно", а тут стюардессу откопали.
Плюсую. Сам мечтаю что ИИ сможет парсить любой источник новостей и фильтровать индивидуально предпочтениям пользователя. Из видео роликов чтобы брал титры и суммаризацию делал (чтобы было понятно стоит тратить своё время на просмотр или нет), или же распознавание речи использовал если нет субтитров. Возможно уже есть подобный сервис, не гуглил.
Поддерживаю. Меня настолько задрали умные алгоритмы ютуба и прочих соцсетей, что заморочился, выдрал с подсказками ChatGPT все подписки с ютуба, с соцсетей, там где rss поддерживался. Поставил в браузере расширение FeedBro, закинул туда все эти источники rss и настроил под себя правила, которые удаляли спам и рекламу. И ЗАЖИЛ! Теперь всё под моим контролем, все источники новостей в одном месте. Зафиксировал закладку с лентой FeedBro. Из минусов то, что в новостях из телеграм каналов нельзя сразу в ленте видео запустить, приходится кликать и переходить на сам пост в телеграме, благо редирект из браузера в Телеграм не сильно напрягает. Так же отвалились недавно rss подписки ВК, после их редизайна, похерили RSS. И почти незаметный минус это то, что FeedBro не умеет ленту показывать сразу же после запуска браузера, изза ограничений API браузера видимо, приходится F5 нажимать один раз, привык.
Класс, как будто я статью писал! Той же темой занимаюсь, только я сделала бота. Название писать не буду :) Я отобрал основные источники, у которых есть рсс, там где сложно - забил, слишком много времени отнимает это. Повестка всё равно видна. Зачем тратить время на 20, когда 80 дает почти все ответы..
Есть еще yarr https://github.com/nkanaev/yarr
Хорошая штука. Легкий. Ничего лишнего. Подтягивает полные новости.
Я и так отказался от соцсетей. Но RSS не хочу. Хочу что-то более современное и актуальное
Полгода назад в этом же хаброблоге https://habr.com/ru/companies/ruvds/articles/833322/ и даже авторская. А тут вдруг ррраз и перевод восторгов неофита о давно забытых технологиях предков :D
Про RSS я конечно знаю, но как через него подписаться не только на ютюб, но на инстаграм юзеров (включая закрытых) и телеграм каналы?
В такой постановке - наверное никак. Если поставить вопрос по другому - как получать новости в какой то области - науке/индустрии/просто в каком то городе и т.п. - можно поискать соотвествующие feed'ы.
Написать демон-шлюз(если еще никто не написал), который вместо тебя будет ходить в телеграмм и инстаграм и выдавать RSS ленту?
Я читаю VK и TG через RSS. 800+ каналов. Живём-живём.
Читаю половину контента через RSS уже лет 15 и прекращать не планирую.
не понял. зумеры открыли для себя rss?
Лучше QuiteRSS так и не нашёл
RSS пользуюсь очень давно, а вот с INOREADER ушел совсем недавно на вот это решение:
https://github.com/HenryQW/Awesome-TTRSS
После небольшой обработки напильником работает ничуть не хуже.
=)
обьясните тупорезу, который пытался ответить себе последние 20 лет , чем RSS реально лучше твиттера? в твиттере есть лента только моих подписок. Да, реклама каждые n-постов, но пролистывается. Подписаться легко на кого хочешь, чтобы не говорили про RSS. Новости не пропускаю.
Если подписаться только на RSS канал youtube, то я пропущу реально полезные рекомендации его алгоритмов. Youtube мне выдает со временем более качественный контент на интересные мне темы
потому что в твиттере только те источники информации, что постят в твиттере
а rss можно собирать ото всюду, где есть такая возможность (или есть посредник) и главное, оно официально машиночитаемо, что позволяет делать больше фильтраций и оптимизаций, чем то что предлагает конкретный сервис
Плюс читать rss можно в разных программах на выбор, хоть в браузере. И регистрироваться для этого нигде не надо.
Во первых, не уверен что в твиттере есть, скажем, НТА Приволжье, где попадаются актуальные локальные новости, во вторых, не представляю как там читать, скажем, Реймонда Чена (если он там вообще есть) - в RSS ленте все статьи сразу показываются полностью.
Я бы вообще вернулся к телеконференциям usenet .
Почему? Объясняю.
Допустим я занимаюсь продажей запчастей для легкового автомобиля мерседес,
именно продажей запчастей а не тюнингом допустим.
И я подписываюсь на соответствующую телеконференцию.
автомобили.легковые.мерседес.запчасти.торговля
Теперь если я желаю продать бензонасос от мерса, то просто пишу
ПРОДАЮ БЕНЗОНАСОС МЕРСЕДЕС МАРКА ЦЕНА КОНТАКТЫ
и все , повторяю все кто подписан на соответствующую конференцию видят моё
объявление.
Что происходит сейчас :
Давайте попробуем разобраться на примере покупки того же бензонасоса от
того же мерса.
Первым делом ПОИСКОВИК, далее кликаем на ссылки , много ссылок кликаем
Ага, вот что то похожее. А вот здесь бывает непруха, контактные данные
продавца скрыты. Что бы их увидеть надо зарегистрироваться, на забыть
записать на обязательно желтом листочке данные регистрации. Листочек
конечно же вскорости потеряется. Надо ещё подтвердить регистрацию (обычно через
почту). Особо умные сайты ещё добавляют и через SMS.
О сколько руко-мышко-движений. И всё ради того, что бы узнать стоимость и
локацию этого самого бензонасоса.
Можно бы и ФИДО оживить )
Я бы вообще вернулся к телеконференциям usenet .
Оно издохло - спам их убил.
Теперь если я желаю продать бензонасос от мерса, то просто пишу
...
Давайте попробуем разобраться на примере покупки того же бензонасоса оттого же мерса.
Только нужную группу и сервер придется найти. Потом выкачать архив и уже по нему найти то, что хочешь купить, просмотрев (самостоятельно, без поисковиков?) миллион сообщений. Потом связываться или ходить на сайт продавца, чтобы выяснять, актуально ли еще предложение по продаже.
Так что какой-то неубедительный пример.
Пару нет назад тоже дошёл до осознания проблемы перегрузки информацией из новостей и запилил себе нейросетевой фильтр, который читает RSS фиды и постит мне в Телеграм, что потенциально мне понравится.
К сожалению мое решение не скейлится - пришлось руками разметить около 4000 новостей, прежде чем он начал приемлемо работать.
Для публичного продукта надо подходы типа коллаборативной фильтрации использовать.
опишите технические подробности решения? как размечали? чем именно фильтруете? какой софт/библиотеки использовали?
Использовал предобученную модель от Сбера https://huggingface.co/ai-forever/ruBert-base в режиме классификатора.
Использовал библиотеки pytorch и transformers для файн-тюнинга.
Первичный датасет разметил при помощи Doccano, потом система вошла в закрытый цикл и стала учиться на лайках/дислайках, которые я ставил в Телеграме.
Обучение на GPU на ноутбуке. Инференс на CPU на файлопомойке от Synology в докере.
Схема работы получается примерно такая.
По таймеру система просыпается, скачивает новости с RSS каналов, прогоняет через нейросетевой классификатор, и если вероятность полученная от классификатора выше порогового значения, то присылает мне ссылку в Телегу.
Там я могу полайкать-дислайкать - эта инфа ложится обратно в базу новостей и используется для дальнейшей обучения.
Переобучение запускал руками время от времени. Перестал это делать когда датасет разросся до примерно 20 тыс. Работает больше года так.
что являлось входом в llm-ку? ты формировал текст из заголовка? тегов? источника? вся статья? ты подаешь статью и требуешь от модели один символ ответа (типа да/нет по первой букве или какой там токен), добавлял системный промпт? до текста статьи? после статьи? какую библиотеку и алгоритм файнтюна использовал? peft? блокировались ли какие-либо слои для обучения? может есть готовый notebook или пример кода?
Текст для классификации формировал из заголовка и той части текста статьи, который был доступен в RSS (в некоторых фидах только заголовок).
Код писал пользуясь этим примером. https://huggingface.co/docs/transformers/en/training
Первый пайплайн собрать довольно быстро. Больше времени писал сбор и хранение данных. Ну и потом игрался с подбором параметров обучения.
Из моих отличий. Датасет сильно несбалансированный по классам. Пришлось добавить Sample Weights.
У видяхи всего 8 GB Ram, влезал батч максимум на 6 сэмплов. Использовал Gradient Accumulation (слава богу transformers это умеет из коробки, просто параметр включить), подобрал оптимальный батч 384 сэмпла.
Обучение проводил в два этапа. На первом этапе учил только слои классификатора и замораживал все остальное.
На втором этапе размораживал слоит трансформера, но оставлял замороженными эмбеддинги токенов. И уменьшал шаг обучения.
Смотрел по тензорборду на метрики и выбирал модель, которая нравилась мне по метрикам.
Ввёл кастомную метрику качества, сколько процентов статей мне придется просмотреть по порядку, если их отсортировать по скору от нейросетки, прежде чем я найду 90% от всех интересных статей.
Спасибо за развернутый комментарий... в итоге вы остались довольны результатом, или душа требует улучшений и дообучения модели?
Ввёл кастомную метрику качества, сколько процентов статей мне придется просмотреть по порядку, если их отсортировать по скору от нейросетки, прежде чем я найду 90% от всех интересных статей.
Rакая интересная метрика
Из того что хотелось бы поменять, наверное только подход к дообучению. Т.е. не учить на том, что модель разметила. А то получается что из всего набора новостей она отбирает процентов 10%, с явным смещением в сторону науки и техники, и они же потом с моими лайками-дислайками добавляются в датасет, из за чего там со временем растет пропорция таких новостей и распределение начинает отличатся от изначального, когда я руками размечал все подряд.
Видимо надо, чтобы она подкидывала случайные новости в телеграм и именно их добавлять в датасет. Обычная проблема Exploration vs Exploitation.
Как на Хабре прочитать ленту далее 50 страниц? Бесит это ограничение.
Если на сайте вдруг нет RSS - не нужен значит сайт этот. Вот и Хабр читаю только переходя с RSS.
На дзене есть пара интересных каналов, но нет RSS, или я не нашёл его. Поэтому не читаю. Но, может, есть способ прикрутить туда?
Почему нам всем стоит отказаться от соцсетей в пользу RSS