Comments 87
Но почти нет интерфейса к теме, за которой я на самом деле слежу.
Напомню, что целая куча платформ в какой-то момент обратилась к гуглу с гневным: "Матерью твоей клянусь, я тебя засужу!" - из-за того, что гугл ловко собирал важный контент с сайта, а рекламу не собирал.
То есть, если вы попробуете сделать массовый инструмент, который "эксфильтрирует" тематические данные с нескольких площадок, то это будет нарушением бизнес-логики площадок, так как нагрузку они понесли, а рекламу не показали - урон, понимаешь ли. Именно поэтому тот же реддит вывесил прайс-лист на доступ нейросетевых ботов-сканнеров к своим формумам, например. "Плати!"
мне кажется, что условному дубайскому Павлу в целом равнодушно, что кто-то скрапит его телеграм каналы)
а в целом момент такой есть, конечно, просто я о себе думаю как о конечном пользователе, а мне бы что-то такое хотелось бы
Вообще такая услуга есть - вполне можно найти аналитика-вольного копейщика или же контору, которая аналитикой занимается, за деньгу немалую будут вам всё организованно и структурировано собирать. Если говорить об инструментах, то, наверное "Талисман" от ИСП РАН - они грозились чем-то таким, для разведки и аналитики в соцсетях, чтобы всю подноготную псиопов вытаскивать, но сколько это стоит, не берусь судить.
Условный дубайский Павел, получающий доход от показа рекламы на своей площадке, очень даже против, чтобы кто-то скрейпил его контент.
В этом вся суть, монетизация порешала
Так разве ж это попытка не платить? Пусть введут относительно недорогую подписку на каждой платформе и отдают данные для личного пользования в удобном для обработки виде (естественно, в объемах личного потребления, а не “скачаю ка я весь сайт”).
за последние 15 лет мы построили кучу отличных интерфейсов к платформам — и почти не построили интерфейс к собственным интересам.
Ну, платформу можно продать - поэтому она развивается + большинству не нужно отслеживать свои интересы, им хочется развлекаться.
Поэтому именно "инструмент для отслеживания интересов" - а) вещь нишевая, б) противоречащая интересам платформ, которые будут её противодействовать (кто-нибудь помнит RSS?) в) за которую мало кто будет платить.
Как вывод - никто делать такой инструмент в публичном пространстве не будет, а в частном можно будет собрать себе что-нибудь из опенсорса.
Форумы, площадки... Вот ФИДО это да! Там еще все были под своими настоящими именами и за нарушение правил эхи в бан можно было отлететь очень быстро...
Вы получали три RO в руанекдот?
Еще и с домашними телефонами по которым можно было легко найти адрес проживания.
Или в жбан.
И надо отдать должное: мусора в сети было значительно меньше чем сейчас, а плотненько почитать вечером тематические эхи выходило в 100-200 кБ.
Выкиньте из этой страницы весь ненужный JS, боковую панель c рекламой, трекеры, все эти "войти через", рекламные интеграции, переделайте меню на базовый CSS, выкиньте десятки библиотек притащеных ради одной-двух функций - и получите страницу в 10-15 килобайт. Количество материала останется тем же самым, объем упадет в несколько раз.
Главная страница тут - 17 мегабайт, главная страница опеннета - 160 килобайт (включая кэш). Разница почти в 100 раз.
Минусы этой концепции уже описали выше.
Если всё-таки нужно решение, то
Берёшь ИИшечку
Пишешь развёрнутый промт
Получаешь агрегатор
Скармливаешь ему интересующие ссылки
Получаешь тематическую ленту
....
Профит?
О подобном задумывался Dan Abramov, рекомендую почитать его статью Open Social
Все вертится вокруг денег. Придумайие как это монетизировать успешно и все резко поменяется в сторону тем.
за последние 15 лет мы построили кучу отличных интерфейсов к платформам — и почти не построили интерфейс к собственным интересам.
"Интерфейс к собственным интересам" построен и вовсю функционирует.
Только он существует не в виде очередного приложения "Мои Темы" , а в виде условного "протокола" ... назовем его LLMSS (Large Language Model Summary Service).
Да, те самые ИИшки с чатами и агентами. И поисковики/ агрегаторы/ саммаризаторы на базе них типа Perplexity.
Платформа это про деньги и привлечение аудитории. Авторы кушать хотят, авторам аудитория нужна. Как в вашем случае вы собираетесь решать эти проблемы?
Вы написали 10 статей для Хабра.
Если не секрет, сколько прямых денег за их публикацию вы заработали, как автор?
Мне кажется, это ТМ кушать хотят. А большинство авторов тут заработало примерно ни-<бип>-я (за исключением авторов в корпоративные блоги, но это несколько иное).
Ну и на всякий случай, как автор своих статей, я тоже приведу статистику:
1) заработано 0 рублей от Тематические Медия за публикации
2) получен приветственный бонус в 1000 фантиков, когда я вписался в программу поощрения авторов (ППА). Надо выйти, кстати. Вывести эту 1000 фантиков тоже нельзя.
3) заработано сколько-то рублей за публикации в корпоративные блоги, но там деньги выписывали компании, которым я писал, а не ТМ.
Нет, но поэтому 10 за много лет. На таких авторах ресурсу не прожить. А в корпоративных блогах, которые тут превалируют, я так понимаю платят нормально.
Ну так там и платит не Хабр (ТМ), а владельцы блогов.
Не уловил мысль. Владельцы брендов в целом готовы платить за контент где угодно (при условии легальности, юрисдикции и всего такого формального). Но там должна быть интересная им аудитория. Сделать еще одну пятнадцатую площадку можно. Но зачем?
Да, видимо моя вина.
Смотрите. Это Reddit запрещает парсить сайт, а не модератор сабреддита, который принадлежит бренду или группе людей.
Это ТМ могут прикрыть парсинг Хабра, но никак не админы 1 000 корпоративных блогов.
Это Паша Дуров сделал так, что даже публичные чаты и каналы не читаются без регистрации, а не владельцы этих чатов и каналов (речь про публичные).
Это Илон Маск сделал так, что отображается один пост в браузере, а дальше нужно приложение, а не владелец условного канала @ NASA
И так далее.
Полностью согласен.
Но если вы сделаете площадку которую можно парсить с нее тут же все стащат на 100500 нейрослопных помоек. И аудитория размоется.
Статистики у брендов тоже не будет и они перестанут платить за контент у вас. Копии статистику им не отдадут и аудитория будет непонятна. Со всех сторон выгоднее заплатить за контент там где все понятно.
Как жить в итоге непонятно.
все стащат на 100500 нейрослопных помоек. И аудитория размоется.
Некоторое время тому назад были популярны клоны StackOverflow. Они брали целиком базу вопросов и ответов, переводили на 50+ языков.
Если пользователь в Гугле/Яндексе/<поисковик по вкусу> спрашивал на родном языке (не английском) какую-то проблему, то ему выпадал такой вот сайт, переведенный с помощью Google Translate или каким-то другим машинным переводчиком.
Да, поисковой трафик размывался. Но фокус в чем - в этих машинных клонах не было живых людей, и задавать там вопрос теряло смысл. Плюс, если человек хотя бы раз видел оригинал, он понимал куда идти за оригинальным текстом.
Этот псевдобизнес убили нейросети, которые правдоподобно ответят на любой вопрос =)
Сегодня ситуация становится еще интереснее. Значимая часть новых UGC платформ просто не индексируется. Человек просто не придет из Гугла, потому что поисковик никогда не индексировал эту тему. В таком случае стоны о потере трафика мне становятся неясны - он туда никогда и не вёл (в случае Discord/Telegram).
Этот псевдобизнес убили нейросети, которые правдоподобно ответят на любой вопрос =)
А вот тут не согласен. Их бизнес убила конечность модели. Вопросы на которые можно ответить без недельного исследования узким специалистом кончились. А читать в RO режиме можно любую копию. Графики посещаемости SO со мной согласны.
Сегодня ситуация становится еще интереснее. Значимая часть новых UGC платформ просто не индексируется
Верно и обратное. Контент с них не утекает. Пользователи не утекают. Вливаем бабло вагонами чтобы был и контент и пользователи и вуаля. У нас самодостаточная замкнутая экосистема.
С учетом нейросетей важность неутекания повысилась до небес. Кто к вам пойдет если любая ллм весь ваш контент проиндексировала?
Ставлю на то что закрытость будет только повышаться в ближайшие годы.
для некоторых профессииональных тем контента в паблике и вообще не было никогда, потому что там до приходя всяких ллм были две сильно бОльших напасти - копирасты (автопром, радиосвязь) и халявщики, которые любую утекшую мульку сразу же бежали монетизироавть в паблик, и в итоге торжественно закрывали ее для всех, потому что выходило обновление прошивки/железки/итд. ллм тут так, седьмая вода на киселе.
Верно и обратное. Контент с них не утекает. Пользователи не утекают. Вливаем бабло вагонами чтобы был и контент и пользователи и вуаля.
Бабло вагонами надо где-то взять. В рекламной модели монетезации она берется из прибыли от продажи того товара, что рекламировать на площадке пытаешься. Что требует много пользователей. Которых без индексации будет меньше.
Помним же давнюю битву Гугл vs Новостные сайты. Когда Гугл делал "вам не нравится, что я с вас новости беру? Ну хорошо, не буду. И отправлять на вас пользователей - тоже. Ну просто потому что не знаю, что у вас есть то что человек искать пытается". И что из это получилось (новостным сайтам, кажется, не понравилось).
И где эти новостные сайты теперь? А где они будут через пару лет? Гугл заявил что ссылки исчезнут скоро.
А вот закрытая от поиска экосистема Фейсбука печатает деньги. И не менее закрытый Телегам пробился и зарабатывает.
Это уже следующая статия - когда вообще вся рекламная модель монетизации понемногу съеживается и дохнет. Как раз по причине того, что просто нагонять посетителей уже не получается что так что эдак.
Как раз по этому закрытые экосистемы одна за другой платные подписки вводят.
Она уже наступает. Не вижу оснований не доверять официальным заявления Гугла.
И значит надо думать как жить дальше. Закрытая экосистема, с или без подписки по ходу дела видно будет, выглядит самым очевидным решением. Других я решения я не вижу, но допускаю что они есть.
Можно и открытая. Но с оплатой 'деньги вперед'. Т.е. "Вот соберется столько-то донатов - будет статья/книга/очередная глава". А куда оно дальше пойдет - не очень и важно, потому что деньги уже получил.
Т.е. прямое и недвухсмысленное голосование рублем и оплата работы по созданию контента.
Пока оно не работает, потому что бесплатные (на самом деле существующие за деньги рекламодателей) площадки позволяют занимать позицию "да не очень-то и хотелось, кто-то другой напишет и за бесплатно выложит".
Но вот если большая часть "кто-то другой" писать тоже перестанет - пользователям придется научиться платить.
Авторы кушать хотят
Ну так пускай на работу устроятся? /s
Что то я суть проблемы совсем не уловил, альтабаться что ли тяжело или колокольчик настроить?
Сбор инфы то навайбкодить можно, а вот какую-то активность проявлять уже все равно придется куда-то идти и справшивать
Постановка проблемы у автора вполне разумная, но статья заканчивается ровно там, где начинается самое интересное.
Главный вопрос уже не в том, почему никто не придумал единый интерфейс для отслеживания темы, а в том, как собрать такой сервис из источников, которые этому сопротивляются, сохранить понятную связь каждого утверждения с первоисточником и не превратить результат в очередной нейросетевой пересказ.
Ну и, думаю, общение играет не последнюю роль, а как собрать N источников в единое поле общение — я пока тоже не понимаю.
Аккурат где-то в 2012 умер RSS. Как и отдельные сайты. Все и всё переползало в соц.сети и агрегаторы...
Лично у меня нет такого, что мне надо постоянно отслеживать 100500 ресурсов. Есть основной мессенджер, в моём случае телеграм, для важной информации, его я отслеживаю постоянно, а всё остальное - вторично. Я захожу на определённый ресурс за чётким и единственным форматом информации. К примеру, стим - для игр и внутриигрового общения. Дискорд - для более социального взаимодействия, но в рамках игровой тематики. Хабр - для статей и досуга. Ютуб - для получения какой-то информации из разряда роликов от индусов. На каком-нибудь stack overflow я скорее буду искать обсуждение какого-то вопроса с кодом, а вот уже готовый пример решения в другом месте. Нет такого, чтобы я что-то искал сразу везде-везде. Для каждой цели найдётся единственное место.
Я всё же выделяю очень важным фактором формат информации. В таком случае у меня не возникает проблемы расползания информации по всему интернету. Скорее, для меня произошло разделение по форме.
Когда интересы выходят за рамки 1-2 сервисов, а их к тому же много, начинаешь путаться в источниках информации. Надо ограничить расползание и не создавать одну большую кучу. На одном сервисе не должно находится сразу всё. Я разделил одну кучу на много маленьких по признаку формата и цели. Если мне нужно что-то узнать, я иду в одно место, не сразу в 10 разных.
за последние 15 лет мы построили кучу отличных интерфейсов к платформам — и почти не построили интерфейс к собственным интересам.
Ну не прям "мы", скорее "они"... все эти платформы построены на ресурсы вполне себе конкретных групп и эти группы хотят извлекать из них максимум выгоды.
В целом проблема понятна, тоже сталкивался с ситуациями когда приходилось прыгать по ресурсам разбираясь в одной и той же теме, но сама идея кажется утопичной. Владелец не только собирает деньги с рекламы, что уже само по себе очень серьезный мотив, но также решает что размещать, кому и когда это показывать, что и на каких условиях интегрировать с другими сервисами, управлять трафиком и т.д. Сомневаюсь что хоть кто-то готов отказаться от таких "привилегий"
В добавок к этому сервисы находятся в разных юрисдикциях и размещают материалы руководствуясь разными правилами, тот кто возьмется за "суммаризацию" всех источников, также будет вынужден нести ответственность за модерацию и выполнять требования юрисдикции в которой находится
Мне нравились старые форумы. Там была и систематизированная информация в виде FAQ, и возможность задать свой уникальный вопрос, и вырастала система доверия к источнику (репутация пользователя внутри форума).
Но как вернуть... Изменилась сама психология. То есть, сами форумы никуда не исчезли - потребность в них общаться снизилась. Даже у бывалых завсегдатаев, что уж тут говорить о безбожной молодёжи, презревшей заветы предков (прямая отсылка к "древнешумерскому" изречению) ))
Увы, но форумы очень изменились...
теперь это некие клубы завсегдатаев с темами в несколько томов на сотни страниц с невозможностью выделить существенное среди болтовни завсегдатаев...
И гарантированным посылом "в поиск" почти на любой вопрос...
Ну, такими-то форумы всегда были )) Помню, как дрожащими пальцами начинал тему на одном из таких форумов. До сих пор. Со временем сам стал завсегдатаем, а потом и ушёл - из-за однообразия тем и лиц. Тем не менее, если искать специализированную информацию - один из лучших ресурсов в принципе. Уж точно лучше, чем тридцать специализированных страниц.
Мысль в том, что форум как агрегатор мнений (со всеми присущими любому мнению оговорками) и аргументированных дискуссий - как мне кажется безальтернативен.
Но вымер как формат дискуссии, да.
И гарантированным посылом "в поиск" почти на любой вопрос...
Вспоминается старая шутка из начала 00х, про отличия иностранных и российских форумов:
- На иностранном формуе ты задаешь вопрос и получаешь ответ
- На российском форуме ты задаешь вопрос и получаешь подробное, детально аргументированное и детализированное объяснение, какой же ты му..ак.
За эти 15 лет я несколько раз натыкался на разные "агрегаторы интересов", но ни один из них не превратился во что-то масштабное.
Мультимессенджеры уже сущестувуют и спокойно развиваются. Первое что гуглится: https://www.beeper.com/
А вот сделать несколько соц сетей в один интерфейс - если бы он был бы реально удобен - адаптивен под вкусы пользователя, то это следующий стартапп единорог.
Сложность в том что телега помечает стороннии клиенты, а интегрировать некоторые соц сети будет очень сложно, сделать адаптивный функционал - чтобы были функции как в тг и дискорде одновременно - вообще беда.
Очередная статья "как все раньше было хорошо". В очередной раз собрала людей, пишущих "даа, вот раньше-то было!". И в очередной раз никто ничего руками делать не будет. Повздыхают, поохают и все. Все-таки не мешки ворочать.
Но почти нет интерфейса к теме, за которой я на самом деле слежу.
Любой ИИ чат? Разве он не про интерфейс к любой теме?
Я бы сделал так - плагин для веб браузера, или свой веб браузер на основе какого-то движка вроде Chromium Embedded Framework. контент передаю для анализа локальной LLM которая работает по преднастроеным правилам - собирать информацию по моим интересам.
Для платформ это будет выглядеть как моя личная активность, и рекламу покажет,
и проверку на робота у меня запросит - и я ее успешно пройду (вручную).
Но после прохождения, читать сам, конечно же не буду,
прочитаю отчет от LLM - есть ли там что-то важное по моей теме.
Ну а вообще, если переделывать интернет, то надо отказываться от существующих схем монетизации, и вероятно, от самой идеи монетизации.
Вполне возможно существование интернет-структур финансируемых сообществами.
Капец, я думал сейчас тут будет про то что все блокируют и что с этим делать, а у тут какие-то детские проблемы...
Мне тоже не нравится во что превратился современный интернет. Но по каким принципам построить новый, чтобы жадные или недалёкие люди, корпорации и правительства не превратили систему опять в говно? Желательно чтобы там не было вёрстки, зачем она нужна, если важна сама информация? Ещё хотелось бы, чтобы не было эксплуатирующих платформ как сейчас, когда информация по факту не принадлежит создавшему её пользователю. Но в тоже время нужны механизмы поиска и агрегации данных, оценки пользователей, товаров и услуг, гаранты сделок. Нечего и мечтать о полной приватности -- не дадут, да и как получить свободу, но не анархию? Возможно решения проблемы и нет, но нужно пытаться думать. Не получается по одному, стоит объединяться в творческие группы. Ну а те, кто не видит никаких проблем, кого всё устраивает, что ж... плевать на них. Формируйте идеи, как минимум, это полезно для развития навыков мышления.
"Есть такая Идея!!!"
Но за несколько лет попыток её "продвижения" я прочёл много одобрений от потенциальных потребителей, но Очень много возражений от тех, кто мог бы помочь в её рализации
сейчас будут ссылки на html и pdf, что бы не тянуть сюда кучу разного текста..
Начну с популярных вопросов и ответов на них (может от этого будет меньше тапок, но много минусов... но для экономии! )
https://www.walks.ru/text/NW_faq.pdf
а теперь сначала - занимался я лет 25 назад своим небольшим проектиком, но он вырос и потребности выросли и из потребности обрабатывать разнородные информационные материалы возникла причудливая структура данных позволяющая в достаточно произвольной форме объединять и пересекать различные источники информации и состоящая из носителя смысла – Темы и базовых элементов – информационных материалов.Создано много Вики-подобных энциклопедий и они продолжают пополняться и расширяться новыми, но у них почти всех есть общий недостаток - основа на статьи. У меня идея организации информации на тематической основе, на смыслах. В этом случае совершенно нет ограничений в том материале который "раскрывает" тему (смысл) — это могут быть статьи, изображения, книги, видео и аудио записи, 3D миры, интерактивные программы и любые другие средства хранения и передачи информации, которые могут быть придуманы.Подробнее о проекте «Коллекционер»
https://www.walks.ru/text/kri.html
Пример реализации некоторых идей о каталогизации разнородной информации
http://www.walks.ru/wm_dr/
На этом принципе можно сделать соцсеть почти нового типа
https://www.walks.ru/text/soc_net.html
и даже Новый “интернет” со смыслом и пользой
Представьте себе интернет без навязчивой рекламы, порнографии, нецензурщины, оскорблений, мошенников, доказательств "плоской Земли" и "вечного двигателя", но с тщательно собранной, качественной информацией о всех сторонах человеческой жизни.Десятки доказательств "теоремы Пифагора", сотню версий исполнения музыкальных хитов на разных языках, несколько рецептов решения "задачки коммивояжера", посмотреть несколько киноверсий "Войны и мира" и пообщаться с "коллегами" по домашнему ремонту или любимой коллекции...Задать интересующий тебя вопрос и не быть отправленным "в поиск"...
Уже много лет занят его "придумыванием". Не именно его, просто рассказывая свои идеи по работе и информацией я слышал: "ты опять придумал Вики, Цеттелькастен, Интернет, Semantic web"...
Но, проблема в том, что каталог различной информации «Коллекционер» в глобальном масштабе это несколько другой уровень работы с информацией, это не попытка впихнуть в мета-теги какой-то "смысл" или описать его используя "Формальный язык придуманый для построения онтологий" для того, что бы как-то "объяснить машине смысл"... а попытка создания информационной структуры на основе смыслов.
Почти тот самый осмысленный «Semantic web» который придумал много лет назад Тим Бернерс-Ли, известный как создатель «Всемирной паутины».
https://www.walks.ru/text/New_Web_5p.pdf
Вот!
Если получится без нападок и тапок, то очень бы хотел пообсуждать эти идеи!
ПС у меня есть некоторые понимания того, как подобные проекты могут появиться гораздо за меньшие суммы, чем можно предположить, как они могут наполняться и развиваться... А ещё у меня есть разные "экспертные" мнения и самое крутое от МинЦифры - "это всё уже реализовано по частям и никому не нужно, а если вы против - то можете подать на нас в суд!"
Через пару дней надо будет в мессенджере созвониться и голосом пообщаться. Предлагаю, если кому интересно порассуждать -- напишите автору в личку и он всех соберёт. Инициатива наказуема :-)
вы пытаетесь сделать ровно такой же контроль и цензуру как было до этого
вообще-то я пытаюсь сделать нечто иное, а то что Вас возмутило - некая побочка... Но чем Вас это не устраивает?
Ведь существует Википедия и много других информационных ресурсов с очень жестокой и даже тоталитарной цензурой - и я не слышал массовых протестов в их адрес. И даже наоборот - кто-то из российских IT гигантов влил в Вики очень приличное количество денег.
Как бы поточнее понять - что именно в этих идеях так возмущает?
Их нереальность?
Можно и пообсуждать!
Почему бы и нет?
Но не выставлять как безусловную истину, а "круглую Землю" - как всемирный заговор.
И ведь даже больше - в предлагаемом варианте на каждую тему может быть много различных рассказов и не только на разных языках, но и с разным уровнем подачи материала - для детей, подростков, студентов, специалистов, профессоров и даже для просто любопытствующих... а еще могут быть и разной доверенности материалы, с отметками типа - "Классический подход", "требует доказательств", "частное мнение", "мифы и сказки", "заблуждения и ошибки", "реклама", "ложь"
RSS живее всех живых. именно через него я и попал сюда.
Когда-то давно, когда деревья были молодыми, вместо переизобретения интернета - мы талантливо подписывались на RSS-feeds =)
С помощью ИИ-агентов настраивать себе персональную "красную папочку"
И тут ребята Вы забыли про важный момент: общение человечка с человеком. Там помимо обмена информацией есть еще и обмен эмоциями. Люди созданы для людей именно поэтому Вы появились на свет. Я к тому, что автор написал гипнозом некие общие слова, а что ему конкретно нужно - нет. Вот и пишет каждый тут про свое, потому что критериев-то нет.
Аналогичные выводы и ощущенияю Поисковики и чат-гпт дали удобство нахождения инфы, но любая тема, помимо основной информации, включает в себя что-то, что оборачивает нужную инфорамцию для её понимания-усвоения. Те же форумы (когда-то сидел на дефоруме, дропзоне, тарантулас) были местом для увлеченных людей, общение с которыми не ограничивалось изучаемой темой, обсуждались взгляды на жизнь, специфические сопутствующие малозначащие темы, местные шутки. В любом сообществе были интузиасты, которые своим примером мотивировали глубже погружаться, разбираться, возможность какой-то местный авторитет или признание заслужить-заработать. Атомизированное сообщество формировалось из-за сложности поиска подходящего форума, нужно ж было найти Людей с которыми ты на одной волне. Формировалась стая, социальная структура-скелет, на которую уже накладывались знания. Т.е. знание не было изолированным, оно формировалось на социальной структуре.
Ощущение, что для изучения и понимания нужна избыточность, чтоб инфорамация встроилась в картину мира - этот мир должен быть.
Современный мониторинг помогает быстрее найти направление, но без понимания Linux и базовых инструментов на уровне ядра всё равно никуда.
Нам пора пересобирать интернет