Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 106
Закреплённые комментарии
Хабр, канеш, крутое сообщество.
Собрал идеи из комментариев, пока получился такой список:
1. Семантическая память прогнозов
2. Весовое ранжирование агентов
3. Байесовский пересчёт вероятностей
4. Эвристические правила и модификаторы
5. LLM Council — мультимодельные дебаты
На подумать (пока не понимаю до конца как реализовать):
6. Эмоциональные поля СМИ. Самый амбициозный слой. Требует времени на накопление данных, но MVP (50–100 источников, базовый sentiment, z-score аномалии) можно запустить параллельно с другими шагами.
Спасибо, что вы есть!
Апдейт: три уже в проде - весовое ранжирование агентов, семантическая память (RAG по своим же прогнозам) и LLM Council. Четыре кружки кофе, два стакана португальского портвейна, пора спать. Завтра продолжу строить свой карманный Palantir.
Апдейт 2: Всё, что было в списке почти реализовано (кроме эмоциональных полей). Финальный счёт:
Семантическая память прогнозов
Весовое ранжирование агентов
Байесовский пересчёт. Агенты теперь не выдают "я думаю 65%", а оценивают likelihood ratio: "эта новость в 3 раза вероятнее, если гипотеза верна". Формула Байеса делает остальное. Каждое обновление - с полным audit trail: prior ->LR -> posterior.
Эвристические правила. Пять детерминированных проверок между Seldon и БД: сверхуверенность (P>90%), якорение на 50%, разброс мнений аналитиков, крупная коррекция Скептика, несоответствие текста и горизонта. Пока только алерты, не автокоррекция, потому что для модификаторов нужна статистика, а прогнозов ещё мало. И нет ни одного, который бы сбылся, не сбылся (истек, короч).
LLM Council
Эмоциональные поля СМИ отложены
Плюс бонусом:
Pipeline Audit Log: каждое предложение аналитика записывается: одобрено или нет, почему, что сказал Скептик. Полная прозрачность на
/pipeline.Детекция медиа-предвзятости: Скептик теперь активно ищет три вида искажений в новостном потоке: availability bias (медиа кричат, а реальные показатели спокойны), selection bias (одна сторона в 10× больше эфирного времени), narrative momentum (тема уже протухла, а статьи по инерции идут).
Почему эмоциональные поля отложены: Это по сути отдельный продукт. NER (Это когда из текста "Президент Макрон встретился с Си Цзиньпином в Пекине для обсуждения торговых санкций" извлекаются: Макрон - персона, Си - персона, Пекин - локация, Франция - страна, Китай - страна) + сентимент экстракшн на каждую публикацию, хранилище временных рядов, z-score аномалии. И главное, нужны месяцы накопления данных, прежде чем временные ряды начнут что-то показывать. РОЙ не раньше чем через 3-6 месяцев после запуска. Пока приоритет - накопить решенные прогнозы и раскачать калибровку того, что уже работает.
Почему эвристики - только алерты: Автоматическая коррекция вероятностей требует калибровочных кривых ("когда система давала 70%, реальность наступала в X% случаев"). Для этого нужны сотни истекших прогнозов. На десятках точек данных модификатор будет добавлять шум, а не точность.
План: алерты сейчас -> калибровочные кривые через 3-6 месяцев -> автокоррекция через 6-12.
Если что, я сделал канал в ТГ, туда буду постить новости и решенные прогнозы. Сюда тоже буду, так что подписываться не обязательно. Это просто для того ,что вдруг, кому-то удобнее в ТГ, чем здесь.
А пока пойду думать как подешевле и эффективнее сделать анализ 5000 военных конфликтов
Апдейт 3:
Мы тут коллективно задавались вопросом, почему нет прогнозов про интересующий нас регион. Оказалось, что я просто накосячил :D
Текущие 7 аналитиков, плюс скептик с Селдоном смотрели глобально и не обращали внимания на локальные движухи отдельно взятых стран. Они видели новости, сообщений, но по большей части игнорировали их.
Это ошибка, потому что локальные движухи могут сильно сказаться на всем регионе, континенте и даже глобально на всем человечестве.
Теперь в ансамбле 8 аналитиков. Добавил Political Analyst - специализация на внутренней политике государств.
Новый агент анализирует через 5 линз: динамика внутренней политики (элитные расколы, преемственность и все такое), информационный контроль (блокировки, цензура), принуждение, социальное давление (скрытое недовольство vs. публичная лояльность), исторические циклы аналогичных политических образований.
Из интересного:
Я на шару написал в UCDP, попросил у них доступ к их данным и они мне дали, какие милаши!
Теперь я занят выгрузкой, сортировкой и структуризацией всех военных конфликтов человечества от 1991 года и до наших дней. (по оценкам - 14 часов)
Следующий этап - прогнать тестово один конфликт через несколько ризонинг моделей ( Opus, GPT, Gemini, Deepseek R1), чтобы понять отличие анализа каждой из моделей.
Глобально нужно сделать комплексный анализ каждого конфликта, понять его первопричины, триггеры, этапы, точку наивысшей эскалации, каскадные последствия, причины завершения и другие замечательные вещи).
Проблема в том, что стоимость того же Opus на весь прогон - 800 баксов, а Deepseek - 80.
Надеюсь, что Deepseek не подведет :D
После этого RAG очень сильно обогатиться. Сейчас у меня всего 16 хорошо структурированных и проанализированных исторических конфликта, а будет около 5000!
Если кто-нибудь может подсказать, где можно найти такую же базу, только с техногенными катастрофами, глобальными потрясениями, пандемиями, политическими кризисами - буду несказанно благодарен
Апдейт:
Выгрузка и сортировка закончены. Впереди тест моделей и обогащение RAG на 5000 военных конфликтов человечества.
Можно с вики взять. Например, техногенные катастрофы: https://ru.wikipedia.org/wiki/Категория:Техногенные_катастрофы
Это очень интересно! Особенно система объективной оценки сбытия прогнозов, поскольку раздавать прогнозы толпы желающих, а вот анализировать, насколько они сбылись...
Так же интересно, это на вашем железе работает или используется API (и какие, и интересно было бы сравнить LLM еще и по этому критерию - кто из них делает более сбывающиеся прогнозы, имея одинаковые исходные данные?)
Если бы вы запустили здесь еженедельную выжимку ИТ-новостей, прогнозов и сбываемость предыдущих, то было бы интересно...
Да, объективная оценка, это как раз то, на что я трачу больше всего времени, подкручивая механизмы.
Пока что мне удалось прогнать через исторические события. Ну т.е я брал рандомные новости 2020 года, посты в ТГ и другие источники, прогонял через систему и потом проверял, как они (агенты) оценивают сбывшиеся и не сбывшиеся прогнозы. Результат предсказаний был в целом интересный - 62% среднесрочных (до трех месяцев) и 81% краткосрочных (до 1 месяца) сбылись! При этом старт был хуже - 23% среднесрочных и 52% краткосрочных только сбылись. Но дальнейшие докрутки с помощью автоматической обратной связи подняли этот процент вот до таких значений.
Но это считай синтетика и у ЛЛМ есть уже датасет об этих событиях. даже если ей говоришь, что прям новые новости, она просто видит, что такое уже было и экстраполирует. (ну я так думаю)
Поэтому любопытно посмотреть что будет дальше, в неизвестности на реальных данных в прямом эфире.
Все модели через API
Deepseek, OpenAi, Claude, Gemini.
Пока что нет результатов, только два дня работает. Ближайший прогноз:
Формальное соглашение о прекращении огня в конфликте с Ираном не будет достигнуто в ближайшие 15 дней
истекает через 13 дней. Модели очень уверены - 95%) Вот и узнаем скоро
Исторический прогон тут бесполезен, в процессе обучения модели видели все эти данные в том или ином виде. Мне кажется в вашей схеме нужен LLM Council, когда у вас не 1 аналитик на 1 тему, а несколько одинаковых аналитиков на разных моделях обсуждающие между собой 1 новость, по моим опытам, так они хорошо дополняют и исправляют друг друга. Ну и в отчете обязательно должны быть ссылки на источники, тогда меньше галлюцинаций (в рамках одной и той же модели это не работает, модель "верит" своим бредовым ссылка не проверяя их). Тогда ваш скептик может больше уделить внимание анализу финальных оценок, а не перепроверке методологии и данных.
Приятно написанная статья, спасибо.
Но у вашей системы на самом деле нет обратной связи, поэтому это просто запросы к нейросети с разными промтами.
Для полноценной прогнозной системы нужно использовать математические модели вероятностей, эвристические алгоритмы, семантические базы и ранжирование, и тому подобный инструментарий.
Но вопрос, хочет ли автор так глубоко копать, делая свой аналог Palantir :) может, это и не планируется, тогда извините за душноту:)
В любом случае, сейчас сайт выглядит прикольно:)
Мулы портят все прогнозы.
1-я и 2-я мировые войны были вызваны неравномерностью в промышленном и экономическом развитии основных стран, ростом внутренних и внешних противоречий и борьбой за рынки сбыта и источники сырья - всё это можно проследить. А затем выяснить действуют ли эти факторы сейчас и ведут и они также неумолимо к 3-й Мировой войне? Или этого в новых условиях при робото-технической революции можно избежать? Что может выдать ИИ в своём прогнозе?
Вот как раз это я и хочу выяснить - возможно ли сделать такие предсказания на 50-100-1000 лет вперед)
Это элементарно сделать и можно проследить закономерности всей человеческой истории. Когда-то это пытался сделать математик Анатолий Фоменко, который через ЭВМ пропустил все сведения, которые он мог собрать об исторических событиях. Он пропустил этот материал через ЭВМ и машина выдала ему интересный материал на 2 тыс. страниц печатного текста, который он неправильно интерпретировал и себя этим компрометировал, будучи любителем в "истории". Его оппоненты были полные ослы, когда приписывали ему то, что выдала ему машина. Фоменко внёс много фейкового материала, особенно по части древней наидревнейшей истории. Но материал его - даже при этом недостатке - весьма ценный. Я сам когда-то занимался этим вопросом и просчитал будущее страны до 2187, г. и это бросил, потому что меня в это время уже не будет. Паре друзей Фоменко я объяснил тогда, в чём заключались ошибки Фоменко и они приглашали меня к себе в гости и говорили, что предоставят мне 2000 тыс. страниц его материалов, которые выдала ему машина. Но мне было не до этого, а потом Фоменко уже делал "бизнес" со своих измышлений и я отказался от посещения его. История всех крупных стран (реально - "социальных организмов") очень легко просчитывается (а именно - все стадии, которые повторяют себя в разных "социальных организмах") - на уровне десигнатов и денотатов. Сейчас вы бы могли шутя это выполнить, если вам показать принцип и если у вас есть время получать необходимую информацию.
Это элементарно сделать и можно проследить закономерности всей человеческой истории.
Если это "элементарно", что же вы упускаете свой шанс получить Нобелевку? Или тайное знание не тайным быть не может? Фоменко, по вашему мнению, неправильно интерпретировал. Раз вы это утверждаете, значит, знаете, как правильно. Собственно, вы это явно утверждаете и уже
просчитал будущее страны до 2187, г.
А почему не человечества? Как вы так аккуратно выпилили страну и сделали всё только для неё?
и это бросил, потому что меня в это время уже не будет.
Воистину весомый взрослый аргумент. Не интересуюсь вашим возрастом, верю на слово. Социальные организмы пока что будут пребывать в полной неопределённости. Но верю, их время придёт.
omxela, Я могу вам предоставить такую возможность ("шанс") - получить эту затруханую "Нобелевку". И, кстати, уже лет 20 заграницей, да и у нас занимаются такими исчислениями. Да, я знаю, как правильно объяснить материал, полученный им от машины, и его друзья приглашали меня и к себе, и к нему с предоставлением мне 2 тыс. страниц печатного текста. И судьбу человечества я тоже просчитал, но уже по другому основанию и другим способом. Вам это зачем??? Интернет наполнен такими материалами. Меня интересовало это в конце 1970-х годов и выходили события, которые произошли у нас в 1984-1991 г., а точнее - 1991 год. Аналогично я рассчитал тогда и то, что происходит в США и что там будет дальше. Так что меня ход теперешних событий, естественно, вообще не интересует. Я на "ты" "со столетиями" и "тысячелетиями" - страсти человеческие меня не интересуют, когда всё это знаешь. Ход вещей не подвластен чьей-либо воле и люди в русле предопределённого хода вещей могут куролесить как угодно, но при выходе за эти рамки включается уже та сила, которая определяет развитие. Человек возник не по собственной воле и ход его развития не определяется людьми так, как им может казаться. Что касается Анатолия Фоменко, то он получил ход вещей (на основе того, что он собрал) в виде десигната, а мог бы копнуть глубже и получить более ценную информацию в денотате. Ценность имеет его самая первая книжка с этими материалами, всё остальное - его фантастические интерпретации.
математик Анатолий Фоменко, который через ЭВМ пропустил все сведения, которые он мог собрать об исторических событиях.
Расскажите, что значит "пропустил через ЭВМ сведения"? Поделитесь, как айтишник айтишнику.
Ну, "пропустил через ЭВМ" не все, вообще, исторические события, а конкретно историю Рима от даты легендарного основания до правления последнего императора (Ромула Августа)
PS в каковых исследованиях его активно поддерживал, та-дам!, партком МГУ
Ну так что значит пропустил? Оцифровал учебник?
Что значит партком поддерживал, в чем поддержка выражалась?
Значит он пытался подогнать даты правления "начальников" Рима из 3х, что-ли "линий", или 2х, не помню уже.
Через партком "пробивал" выделение машинного времени и выделение квот бумаги на печатание препринтов своих "теорий".
Почитайте его опусы той поры, если сумеете достать, очень забавно). Это было в районе 1980 года.
пытался подогнать даты правления
Гороскоп штоле?
randomsimplenumber, найдите и откройте самую первую книгу А.Фоменко, где он выложил материал, выданный ему ЭВМ, и дайте свою "интерпретацию" тому, что дала машина. Какие проблемы? Если бы вам машина выдала соответствующие результаты, справились бы Вы с их толкованием? Фоменко 11 раз выступал перед Президиумом АН СССР, прося указать на ошибки в его интерпретациях и что-то там ни от кого ничего не получил.
Гороскоп - математически точное (можно и на компьютере считать конечно) сопоставление одних наблюдаемых процессов (движение планет) с другими, тоже наблюдаемыми. Вероятность совпадения - феноменальная, не ниже 50%. Не понимаю скептицизма.
Зы: я читал когда то. Что монголо татарского ига не было, что Батый - второе (первое?) имя Александра Невского.. Занимательно, правда.
И, кстати, как сейчас помню, отрицал дендрохронологию вообще. Нет такой и всё. Потому что бюсты несуществовавших императоров изготавливали средневековые монахи-переписчики, а вот дендрохронолию как подделать?
Он, увидев на античной и средневековой линиях ("графиках") одинаковые "блоки", не понял причину этого, и просто свёл античные свидетельства или данные к средневековью - самый простой и примитивный способ интерпретации Я его другу объяснил причину этого и ошибочность вывода Фоменко. Он не понимал, что всё обстояло глубже. Он мыслил в рамках непосредственного, наивного, наглядно-образного мышления, а должен был мыслить в рамках десигнатов - более глубокой формы мышления..
Ну и в рамках "дендрохронологии" мы имеем год, когда деревья срубили и когда они взросли????
Что касается кивка Фоменко на "средневековых монахов-переписчиков", то на этом зиждутся и "аргументы" отечественных "историков":
В сотнях редакциях Ипатьевской летописи рассказывается о походах дружины русского князя по избавлению похищенной его дочери к Чёрному морю и помещённой жрицей в подземный монастырь - в летописи это датируется временем "незадолго до Троянской войны", т.е. до 1156-1136 гг. до н.э. - эти данные "историками" голословно объявляются "сочинёнными летописцами", хотя редакции Ипатьевской летописи, а их несколько сотен, находились в разных монастырях, отделённых друг от друга до 500 км. В другом источнике говорится о городе Словенске, основанном "в 3099 году от сотворения мира", а это ни много ни мало 2409 год до н.э. Но эти "историки" голословно, не приводя никаких доказательств, говорят, что это "сочинили монахи-писцы". Ну и чем измышления Фоменко хуже???
Фоменко использовал не только "учебники", "энциклопедии", а и первоисточники - всё, что попадалось в его поле зрения. А вообще "использовать учебники" считается "признаком дурного тона". Фоменко, судя по всему, был "всеяден".
Не только - с Рима. Он полез и в фейковую "первобытную историю" и тоже обрабатывал то, что выдаётся за "науку".Но основной материал связан уже с цивилизациями.
Остановите поток. Просто поясните, что значит "пропустил через ЭВМ".
Достаньте его первую книжку по хронологии, где выданы с графиками и блоками его материалы. Именно эта книжка - с результатами, выданными машиной, имеет ценность. Там всё достаточно подробно описано. Остальное можете не читать. Я же проводил свои исчисления раньше и составлял графики путём формализации материала. Фоменко собирал свои исторические материалы с подросткового возраста и записывал их на простыне, так как они занимали всё больше и больше места. И только потом своё увлечение использовал, применяя ЭВМ.
1-я и 2-я мировые войны были вызваны
1 мировая - делили наследство Османской империи и ничего другого.
2 В2В - наверное идеология наложенная на рефлексию.
Почему войны начинаются? Маньяк во главе говорит всем, что мы плохо живём потому, что соседи у нас самое ценное забрали и нас не уважают. Сейчас совсем немного повоюем и у нас всё наладится - до обеда войну закончим.
А войну только начни, так за следующие сотни лет не закончишь.
Идея шикарная и перспективная, прям класс, буду следить. Но на карте проекта сейчас только три региона - Иран, США, Китай. А нас всех, понятное дело, интересует другой конфликт. Скажите, он отсутствует в проекте из-за того, что не те источники новостей подключены, или потому что о нем перестали писать после Ирана?
Я вот сам пока не могу понять :D
Больше всего источников там как раз из интересного нам региона - 30 ТГ каналов только от всех, кого я только нашел. Новости (обоих лагерей). Очень много входящей информации, но прогнозов почти нет. А те, что есть, не проходят фильтр уверенности. За два дня прошел только один прогноз, но был зарублен скептиком как фантастика (не буду писать, а то на срок наговорю себе)
Ну, и, возможно, поскольку сво движется как-то вяло, то и прогнозы вялые, в вероятность 45-55% попадают.
Кстати, проект логи раскрывает, где можно увидеть проанализированные новости / отсеянные прогнозы / причину отсеивания?
А что там прогнозировать, там уже сколько месяцев ничего особо нет. Реалистично там нечего предсказывать, кроме как сколько кому за сколько км вероятно отойдет. Все остальное в основном шум
На текущем этапе Россия готова закончить СВО (не войну) если Украина отдаст часть территории, но Европа готова финансировать боевые действия еще пару лет, так что единственное неизвестное - это будет ли Трамп продавливать сдачу или плюнет застряв в Иране. Хотите я тоже сделаю "предсказание" на ближайший срок? В апреле-мае Китай начнет свое СВО в Тайване, с вероятностью 45-55% :)
с вероятностью 45-55%
Хм, блондинка и динозавр ;)
Могу дать прогноз с точностью 90% Китай на Тайвань не полезет в ближайший год.
@in6lack а вот и повод прикрутить еще и тотализатор)
Хаха))
А так, если задуматься, чем ваша система принципиально отличается от Polymarket?) Ну кроме того, что LLM-агенты явно осведомлённее людей и лучше могут рассуждать логически (сам не верю, что это пишу!)
Насколько я понял их концепцию (правда я сильно не погружался в Polymarket), у них люди делают ставки на тот или иной исход. Там как бы работает мудрость толпы, можно сказать. Со всеми сопутствующими плюсами и минусами.
А мне любопытно, могут ли ЛЛМ сами наванговать что-то. Без прямых манипуляций. Полимаркет, кстати, один из источников у меня :D Как сканнер настроения толпы.
Если заработает, то потом постараюсь прикрутить туда детектор разных манипуляций. Блин, надо эту идея записать :D
Ну и бред же.
Нда уж, Иван@in6lack, появились прогнозы по России, почитали, спасибо. Можно их теперь отключить? )
Кстати, в обзоре прогнозов https://seldonvault.io/forecasts отсутствует фильтр по региону Россия, было бы славно добавить, спасибо
Система запущена вчера, прогнозы генерируются каждый день, Brier Score копится. Через полгода будет достаточно данных, чтобы ответить на этот вопрос.
А почему не сделать бэктест на последние 2-3 месяца как это делается в трейдинге для оценки эффективности стратегии?
Большинство моделей обучены на более поздних данных чем 2-3 месяца назад и кажется это должно позволить сделать бэктест. Данные истории в каналах есть, произошедшее тоже есть, можно сразу оценить точность прогнозов и использовать результаты бэктеста для оптимизации инструкций моделям.
Я сделал, в начале были интересные результаты. Сначала на голом тесте процент краткосрочных успешных был всего 52%. Однако через несколько прогонов и обратной связи, следующие прогнозы уже получились больше 80% успешных.
Но я скептически отношусь к этому результату, потому что мне кажется, что их датасет уже включает правильный ответ и они его "знают", поэтому очень хочу именно форвард тест.
Кстати трейдинговый я тож как то сделал и он сейчас тоже в форвард тесте третий месяц. Пока плюсует с винрейтом 61%. Когда потестирую на реальных деньгах пару месяцев, напишу пост про это
Я думал про такой проект, но моя идея была другой. Это должно быть что-то вроде Медиалогии на стероидах.
Смысл в том, что анализируются не события - потому что это то, что уже произошло, а публикации в СМИ, c учетом описания про кого публикация и какая эмоция в публикации.
То есть СВО предшествует нарастающий вал публикаций об Украине с эмоциями ненависть.
Ведь публикации могут быть как отражающими мнение, так и результатом PR подготовки к чему-то, но в любом случае они отражают либо существующие эмоции, либо навязывают эмоции, выгодные элитам.
При этом еще можно квалифицировать объекты публикаций - как страны, так и людей и категории - вроде "недвижимость", "золото", а также строить веса СМИ.
Иными словами - анализировать не события, а эмоциональные поля в разных государствах, и искать события следующие из полей.
Но под такой проект надо уже иметь собственный кластер и вообще это реальная диссертация, причем докторская )
Да, эту идею я заложил в один из аналитиков, хочу потестировать, но пока не понимаю до конца, как мне понять правильно или нет
анализировать не события, а эмоциональные поля в разных государствах
Что-то такое я делал - https://moscowi.ru/showPoliticRusNewsPage по экономике, политике, технологиям. Да, такое работает, по крайней мере последние конфликты модель показала через минуты после начала.
Сэлдон работал с галактическими масштабами, в рамках одной планеты черные лебеди носятся стаями, слишком много непредсказуемого. Тот же упомянутый вами COVID.
Хабр, канеш, крутое сообщество.
Собрал идеи из комментариев, пока получился такой список:
1. Семантическая память прогнозов
2. Весовое ранжирование агентов
3. Байесовский пересчёт вероятностей
4. Эвристические правила и модификаторы
5. LLM Council — мультимодельные дебаты
На подумать (пока не понимаю до конца как реализовать):
6. Эмоциональные поля СМИ. Самый амбициозный слой. Требует времени на накопление данных, но MVP (50–100 источников, базовый sentiment, z-score аномалии) можно запустить параллельно с другими шагами.
Спасибо, что вы есть!
Апдейт: три уже в проде - весовое ранжирование агентов, семантическая память (RAG по своим же прогнозам) и LLM Council. Четыре кружки кофе, два стакана португальского портвейна, пора спать. Завтра продолжу строить свой карманный Palantir.
Апдейт 2: Всё, что было в списке почти реализовано (кроме эмоциональных полей). Финальный счёт:
Семантическая память прогнозов
Весовое ранжирование агентов
Байесовский пересчёт. Агенты теперь не выдают "я думаю 65%", а оценивают likelihood ratio: "эта новость в 3 раза вероятнее, если гипотеза верна". Формула Байеса делает остальное. Каждое обновление - с полным audit trail: prior ->LR -> posterior.
Эвристические правила. Пять детерминированных проверок между Seldon и БД: сверхуверенность (P>90%), якорение на 50%, разброс мнений аналитиков, крупная коррекция Скептика, несоответствие текста и горизонта. Пока только алерты, не автокоррекция, потому что для модификаторов нужна статистика, а прогнозов ещё мало. И нет ни одного, который бы сбылся, не сбылся (истек, короч).
LLM Council
Эмоциональные поля СМИ отложены
Плюс бонусом:
Pipeline Audit Log: каждое предложение аналитика записывается: одобрено или нет, почему, что сказал Скептик. Полная прозрачность на
/pipeline.Детекция медиа-предвзятости: Скептик теперь активно ищет три вида искажений в новостном потоке: availability bias (медиа кричат, а реальные показатели спокойны), selection bias (одна сторона в 10× больше эфирного времени), narrative momentum (тема уже протухла, а статьи по инерции идут).
Почему эмоциональные поля отложены: Это по сути отдельный продукт. NER (Это когда из текста "Президент Макрон встретился с Си Цзиньпином в Пекине для обсуждения торговых санкций" извлекаются: Макрон - персона, Си - персона, Пекин - локация, Франция - страна, Китай - страна) + сентимент экстракшн на каждую публикацию, хранилище временных рядов, z-score аномалии. И главное, нужны месяцы накопления данных, прежде чем временные ряды начнут что-то показывать. РОЙ не раньше чем через 3-6 месяцев после запуска. Пока приоритет - накопить решенные прогнозы и раскачать калибровку того, что уже работает.
Почему эвристики - только алерты: Автоматическая коррекция вероятностей требует калибровочных кривых ("когда система давала 70%, реальность наступала в X% случаев"). Для этого нужны сотни истекших прогнозов. На десятках точек данных модификатор будет добавлять шум, а не точность.
План: алерты сейчас -> калибровочные кривые через 3-6 месяцев -> автокоррекция через 6-12.
Если что, я сделал канал в ТГ, туда буду постить новости и решенные прогнозы. Сюда тоже буду, так что подписываться не обязательно. Это просто для того ,что вдруг, кому-то удобнее в ТГ, чем здесь.
А пока пойду думать как подешевле и эффективнее сделать анализ 5000 военных конфликтов
Апдейт 3:
Мы тут коллективно задавались вопросом, почему нет прогнозов про интересующий нас регион. Оказалось, что я просто накосячил :D
Текущие 7 аналитиков, плюс скептик с Селдоном смотрели глобально и не обращали внимания на локальные движухи отдельно взятых стран. Они видели новости, сообщений, но по большей части игнорировали их.
Это ошибка, потому что локальные движухи могут сильно сказаться на всем регионе, континенте и даже глобально на всем человечестве.
Теперь в ансамбле 8 аналитиков. Добавил Political Analyst - специализация на внутренней политике государств.
Новый агент анализирует через 5 линз: динамика внутренней политики (элитные расколы, преемственность и все такое), информационный контроль (блокировки, цензура), принуждение, социальное давление (скрытое недовольство vs. публичная лояльность), исторические циклы аналогичных политических образований.
Я как-то обдумывал идею умной новостной ленты, возможно что-то тут будет полезно.
Нужен блок разметки, который на каждую новость вешает теги, категории и другую метаинформацию (плюс под ваш сценарий персоны, страны, регионы, ...). Блок привязки который ищет по маркерам связанные новости и добавляет ссылки между ними в общий граф в базе знаний. Несколько источников пишут про одну и ту же новость немного по разному (хотя кто-то просто перепечатывает), поэтому нужен блок который схлопывает данные из нескольких источников в один общий полноценный отчет (который проходит разные проверки, чистку от воды, субъективных оценок, политической предвзятости и т.д.). У одной и той же новости могут со времнем появляться дополнения, так что нужно что-то вроде цепочки (первоначальный слив/слухи - первое упоминание - подтверждение - развитие - разрешение/результат - пост эффект). Плюс по источникам со временем могут выявляться определенные тенденции: кто первый сливает, у кого более проверенная информация на данную тему. Постепенно по разным тематикам будет нарастать рейтинг источника (по скорости, актуальности, значимости, точности). Рейтинг динамический, поэтому лучше зашивать текущие значения прямо в метаинформацию по новости (а при повторном анализе учитывать исторический и актуальный рейтинг). Ваши специализированные аналитики будут прикреплять свою метаинформацию (оценки) к каждой новости в базе знаний. Со временем сбывшиеся/неверные прогнозы можно дополнительно помечать в этой базе, типа пост-анализ/пост-мортем предсказаний с саммари (почему верно/неверно предсказано, какие данные надо было учесть, обратный поиск пропущенных сигналов по графу и т.д). Также можно делать пост-анализ для процессинга сигналов, при разделении сигнал/шум какие-то новости первоначально могут в моменте выглядеть неважными, незначительными, несвязанными, но ретроспективно являются ранними сигналами, но мне кажется тут лучше добавить отдельный блок который обучается находить именно такие крупицы информации заранее.
Крутая идея, особенно с рейтингом источников. Сейчас все в куче и всех одинаковый вес и ЛЛМ даже в режиме жесткого спора будут путаться кому можно доверять, а кому нет.
Будет следующей на очереди. Все сразу наверное не осилю, но вес добавить вроде как не сложно
Сделал частично) Буду смотреть ближайшие дни что там получится.
Кластеризация сигналов — похожие новости из разных источников группируются через cosine similarity эмбеддингов. Reuters + BBC + ТАСС про одно событие → один кластер с
source_count: 3. Меньше шума, меньше токенов.Рейтинги источников — каждому СМИ автоматически присваивается оценка надёжности по секторам на основе исторических Brier Score.
Цепочки событий — кластеры из разных дней связываются в временные сюжетные линии. Отслеживается стадия: слух → обсуждение → подтверждение → эскалация → разрешение. Система знает, что сегодняшние санкции — это продолжение вчерашней истории.
Немного из обидного:
Мне очень хотелось присобачить к анализу Google Gemini 3.1, потому что он выдает интересные прогнозы, у него сильный ризонинг, он относительно недорог и самый быстрый из всех. Но по какой-то неведомой причине Google перебанил все мои прокси. Видимо Сергей Брин и его кореш считают, что это наиболее эффективный способ остановить процесс, над которым я не властен.
Интересный проект, реализация тоже, стек самопроверки прогнозов и выявления ошибок в логике - должен быть. С удовольствием буду следить. Только мне, как не специалисту в ллм, кажется что все же они не умеют рассуждать и анализировать, в привычном нам смысле, они выдают наиболее вероятные и одобренные ответы, поэтому будут работать только в рамках известных парадигм (хотя что меняется в человеческом мире кроме декораций)) Успехов!
Спасибо, внес в закладки, понаблюдаю.
Это очень крутой проект. Конечно, не совсем канон. Ведь Селдон использовал именно специальный мат аппарат. Но всё равно, этот аналитический проект крутой и амбициозный. Будем следить за успехами.👍
Спасибо за ваш продукт. Я под большим впечатлением! Особенно понравилась карта - с точки зрения рядового пользователя, удобно открыть карту и выбрать интересующий регион. Не совсем понятны различия между вкладкой Дайджест и Обзор - как будто они дублируют друг друга. Возможно различия будут заметнее после накопленного контекста событий, посмотрим.
При чтении прогнозов как будто не хватило сноски например "золото продолжит рост с вероятностью (value)%
А в целом буду продолжать следить за вашим проектом.
Надо ещё учитывать проблемы с источниками.
На пример, по нынешней войне с Ираном, сми на много охотнее пишут об атаках Ирана, но реже пишут об ударах США и Израиля. Тут работает классическая предвзятость сми. Они предпочитают больше писать о сенсационных событиях. Атаки США и Израиля воспринимаются как более обыденные, и потому скучнее и менее интересны для СМИ. А Атаки Ирана больше будоражат. Потому получается что СМИ склонны чаще писать об атаках Ирана, а на атаки США и Израиля смотрят больше как на скучную обыденность. В итоге, складывается иллюзия будто бы Иран бьёт больше и выглядит успешнее в СМИ.
Можно ещё вспомнить проблему с эвристикой доступности, когда СМИ освещают какую-то проблему не пропорционально много, и кажется будто бы эта проблема стала эпидемной. Но статистика показывает что эта проблема постепенно падает. На пример, преступления падают, но из СМИ кажется будто бы их становится всё больше и больше.
По хорошему, аналитической системе надо учитывать эти проблемы с недостатком объективности СМИ. Конкретно в этих примерах, помогло бы не просто смотреть на отдельные новости, но и в более глубокие аналитические материалы, в научные исследования, в статистику. Чтобы "Селдон" держал в "голове" более общую и объективную картину, а не просто отдельные разрозненные новости.
Есть ещё целый ряд когнитивных искажений, которые по хорошему, надо бы учитывать такой системе. И наверняка есть не мало книг по качественной журналистике и аналитике. Принципы из этих книг будут особенно полезны.
Когда точность прогноз станет норм, то можно прикрутить возможность делать ставки против ИИ и будет почти отечественный https://polymarket.com/
Автор, пардон за то, что пишу сюда, по причине того, что недавно зарегистрировался и не могу оставлять комментарии на более ранние статьи.
Но я собрался тебя ругать за вот этот твой пост.
Градус дилетанства, упоранства , трансгуманизма и мракобесия, да и просто откровенной зумерской бредовой глупости в нем , просто зашкаливает. И что самое смешное, ты критикуешь многих за антропоморфизм, когда сам именно это и дклаешь как возносишь примитивную языковую модель до уровня человека проводя безосновательные, ложные и откровеннно лживые параллели.
Начнем с того, что
Мы привыкли называть подобное Эффектом Манделы или массовым искажением восприятия. Но давайте отбросим социологию и взглянем на ситуацию как на чисто технический процесс обработки данных.
Нет не давайте, в том то и дело, что данный эффект сугубо социальное явление и не имеет отношения ни к памяти ни уж тем более к реконсолидации. Пример, откровенно притянут за уши.
Ты пишешь,
Но при сравнении человеческой памяти и трансформеров становится не по себе, ведь ошибаются они абсолютно одинаково и используют одни и те же принципы сжатия информации.
Это утверждение наглая откровенная ложь и является тем самым антропоморфизмом.
1) принципы сжатия информации они используют не просто разные а вообе принципиально ни чем вообще не похожие. Биологическая нейронная сеть вообще не использует принципы сжатия информации. такой функции по определению не существует в нервной системе. Сжатие информации возникает как побочный эффект развития нервной системы. Которое протекает с активным синаптогенезом и синаптическим прунингом. То есть система имеет необратимость. Если простыми словами, это означает что один синапс взрослого состояния. несет в себе информацию целой сети нейронов и множества миллионов синапсов работавших на ранних этапах развития большинство из которых ныне уже отсутствуют в системе физически. Поэтому получается рост информационной емкости без увеличения или даже при снижении вычислительных мощностей. (что в нейросетевой модели впринципе невозможно априори) Это происходит именно за счет вырождения предшествующих синапсов и смене их поколения за поколениями, подобно людям в социуме. ( мы ведь рождаемся нам не надо заново проходить эволюцию от палки копалки и колеса до воздушных шаров паровых машин и так далее. Культурный код кпится а носители становятсяудобрением. их не нужно поддерживать живыми. Вот тоже самое и в нервной стстеме с синапсами. Разумеется в нейросетевой моджели ничего подобного нет и а помине. Еси там такое провернуть то все в момент заруинится.
2) Ошибаются они тоже не одинаково. КАк самособой разумеющееся вытекающее из 1го пункта. В чем можно убеитьсяниже.
Та пишешь
Если представить, что мозг является компьютером, то он хранит не сами файлы (события), а только хеши и веса связей между ними. Когда мы вспоминаем событие, мозг запускает генеративный процесс. Он собирает сцену заново из разрозненных фрагментов: запах, звук, эмоция.
1) в мозге нет ни каких весов, вообще нет ни чего похожего даже. вообще даже на сотую долю процента там нет ни чего что можно было бы с натягом натянуть как сову на глобус что хоть как то бы метафорически было бы похоже на синаптические веса в нейросетевой модели.
Эти мифы зародились на заре активной модына кибернетику, в 50-60х и далее. Когда даже о нейротрансмиттерах то не было ни чего известно. максимум что было и описывалось, это чтонейромедиатор нужен для (перескка) импульса с одного окончания на другое. Вся нейробиология описывалась исключительно в электрофизиологических параметрах. Именно от сюда и берет начало идемя ФИКС. т.е. миф, про то что в мозге между нейронами веса синапсов.
Краткий экскурс: 26 основных типов нейромидиаторов и более 600 нейропептидов. И все это в разных составах и пропорциях может встречатся в одном синапсе по разному в разных пузырьках везикулах, одновременно при одном и том же импульсе. Вот эти частые упоминания про серотонинергические нейроны или ГАМК. это все про большые нервные пучки где сигннализация происходит не просто как нейротрансмиттер а именно как нейрогормон и впрыскивается залпом в межклеточное пространство сразу в большую площадь нейронов для глобальной регуляции.А основная межнейронная коммуникация осуществляется именно посредством мультитрансмиссии. А нынче еще какието щелевые контакты по типу адгезивных комплексов открыли .
2) Да. когда мы вспоминаем событие мы заново реконструируем его но не из обрывков а у же из многократно сгенерированных обобщений и новых актуальныхвходных данных. И именно отсюда и возникают ошибки. Из реального многократного забываенния и замещения новыми данными понятиями и смысловыми ассоциацциями к которым мы приписываем это событие в разные периоды жизни. А не все то, что ты насочинял.
И здесь вступает в дело процесс реконсолидации. Если каких-то данных не хватает для цельной картины, мозг интерполирует их, беря паттерны из соседних кластеров
В мозге нет шаблона кокой должна быть целаякартина чтобы оценить где нехватает и какие дыры надо залатать. Мы постоянно забываем комплексно все что с нами происходило и замещаем это новым входным информационным потоком. Только асоциации косвенные признаки и прочие якоря позволяют нам точно или не очень реконструиповать память. В мозге нет ни каких " соседних КЛАСТЕРОВ" (надо же такую херню придумаь?)
Реконсолидация это процесс ....условно... попытка возбновить состояние мозга на тот момент времени, когда происходило то или иное событие, но так как кофигурация системы уже поменялась , множесто синапсов из того периода уже отсутствуют в системе физически а параллельно так же имеется множество новой информации, то мы просто производим (апгрейд) памяти тго или иного события. Все это в совокупности приводит к постоянной фальсификации нашей памяти. Вообще всей памяти в норме. Это не ошибка. А тк работает память. А уже из этой работы глядясо стороны мы можем фиксировать или нет, реальные ошибки.
Большие языковые модели (LLM) наследуют эту биологическую уязвимость.
Это снова полностью ложное заявление или же наглое вранье.
Или вообще статью писало LLM
Во первых это ни разу не уязвимсть а преимущество. так как это побочный эффект развития НС который позволяет в феерическую энергоэффективность и рост информационной емкости без пропорционального увеличения вычислительных мощностей,
А во вторых модель ни чнго подобного даже близко не наследует.
Когда мы спрашиваем: «Кто написал "Муму"?», модель не делает запрос к базе. Она предсказывает следующий токен. После последовательности векторов
[Кто, написал, Муму]вектор[Тургенев]имеет вероятность 99%.
Однако эта вероятность собрана из базы и обучена на базе и построена по примитивному принципу статистического усреднения. Поэтому она не делает ошибок. эти ошибки являюисяестественным артефактом работы можели. Именно потому, что она не имеет вообще ни чего общего с биологической нейронной сетью и не умеет думать. Не умее решать нестандартные задачи. Если в обучении не было уделено достаточно внимания той или иной вероятности послдовательности симфолов. то она ни когда не сможет додуматься в чем она не права. ОНа так и будет утверждать что в слове "террариум" 2 буквы р например. и будет полностью утверждать что она права. Потому что это ни какая не ошибка. Это ее обычная работа. просто в обучении подобного сочетания последовательностей симфолов не было.
И да, это не баг. это это БАГИЩЕЕЕ целая фундаментальная деффектная проблема трансгуманистов спекулянтов которые не имея вообще ни какого понимания и биологического обазвания решили назвать этот примитивный алгоритм (НЕЙРОСЕТЬЮ) когда там от нейро нет вообще ни чего.
Именно этот шум мы называем креативностью.
А вот этот перл собственно и стригерил меня , и вынудил накатать ответ, то ли сопливому зумеру трансгуманисту, то ли намеренно обманывающему и вводящему в аблуждение людей в публичном пространстве с целью антропоморфировать примитивный ай ти продукт.
Этот шум вообще ни разу не креативность. И ни одна можель нейросети что генерация избражений или видео. вообще впринципе не способна ни на творчество ни на креативность.
Просто по определению.
Если это изображение то там прям попиксельное разбиение и заново сборка. ни какого творчества тут нет и в помине. что заложено то и генерит. На чем обучали то и выдает. только раздербанивание и компиляция из пикселей нового цнлого дает иллюзию у зкумеров неадекватных, что жто якобы творчество.
Еси же это тект , то там вообще невооруженным глазом втдно что феерический бред , который невозможно читать. ты просто вчитываться не моджешь каждое предложение завершеннаямвмль нет общей нити повествования и между строчного смысла. сухой и гладкий бред.
О каком творчестве тут можно говорить?
Творчетво и креативность это генерация принципиального новья. даже если оно уже дето известно. Это все равно синтез.
Простой пример.
перед тобой 2 системы.
1)нейросетеваямодель обученная на огромной базе(БИГДАТА) просто фееречески огпомная база квадрилионы переменных
2) естественная нервная система с принципом вырождения. всего навсего 1 млн. переменных. НО, (10% состава непрерывно растворяется в системе и тут же примерно чтолько же 10% генерируетсяв ней de novo/
Какая из этих систем будет более адаптивная?
вопрос риторический. определенно 2я
Да. первая обладает пистинеиогромным репертуаром и имеет множество решений на все случаи. НО она завершенная. Конечная. Она финальная. И этим все сказано. она может выдать ли что что в нее заложено. пусть и очень много разного. Однако вторая может выдать то чего еще не было ни в первой ни во второй причем сразу. и расширить таким образом репертуар первой.
А все потому что она А) нзавершенная и Б) необратимая. Именно эти два ключевых пункта отличают естественную чистему от искусственной.
Неужто ты ,автор, уверовал в разумный замысел*??
Что ты подразумеваешь когда хочешь убедить неокрепшие умы аудитории в том что ошибки нейросетевых языковызх моделей якобы аналоичны ошибкам человеческого мышления? Не хочешь ли ты таким образом намекнуть что нас людей человеков оказывается боженька сотворил искусственно и все завеомо везде пропимсал и расписал наперед на все случаи развития разных сценариев и прообучал модель прогнав по всем параметрам во всех пространственных положениях?? Как правил большинство айтишников креационисты. отсюда и их линейный примитивный древний тип мышления.
Способность модели (и человека) придумать несуществующее — это основа творчества, метафор и гипотез. Если зажать параметры в тиски строгой фактологии, мы получим идеальный телефонный справочник, но потеряем искру.
НЕт. основа творчества это реальная физическая генерация вырожденного состава компонентов системы. А то что поисходит в модели это вообще ни разу не творчество и даже рядом не лежало. Это лишь жалкая пародия и даже далеко не качественная имитация
Твоя гипотеза полна ошибок заблуждений и банальной религиозной антропоморфной веры. веры в рзумный замысел.
Ошибки LLM представляют собой не баг софта, а встроенную особенность архитектуры любых нейронных сетей. Мы не можем полностью устранить галлюцинации и сохранить при этом способность к обобщению или творчеству.
Поэтому, когда в следующий раз модель припишет Эйнштейну цитату, которую тот никогда не говорил, не спешите ее ругать. В этот момент она максимально похожа на человека, так как проявила фантазию там, где ей не хватило весов.
ТЕкст это не информация и ни когда не содержал в себе ни какой нформации. Текст. это код. который запускает генерацию информации у нас в голове.
Поэтому+> ошибки языковой модели- это неизбежный и априорный артефакт примитивного и тупого алгоритма обратного распространения ошибки и примитивной прямоуголной архитектуры "матрицы ячеек" с весовыми коэффициентами, помноженную на многослойность Которая вообще не имеет ни чего общего с биологической нейронной сетью вот вообще принципиально разные и ни чем вообще даже на 1 сотую долю процента не похожи.
Поэтому когда в следующий раз модель припишет Эйнштейну цитату которую он не говоил, ругайте всех айтишников и прочих ИИ одноклеточных трансгуманистов которые имеют наглость называть это (нейро) да еще и так нагло обманывать в пуличном пространстве про сходство принципов допущения ошибок.
Рекомендую все же задуматься, почему вам площадка ограничивает комментирование под той статьей. Брызги слюной аж через монитор ощущаются. У вас комментарий размером со статью, что мешало его так и оформить и избавится от премодерации комментариев предусмотренным для этого механизмом? Заодно бы остыли и хотя бы обратили внимание на красные подчеркивания практически под каждым словом от спеллчекера в браузере.
Вот опять же , снова мы видим шумерский подход. Не разобравшись надо сочинить очередной файл.
Написал же сразу в самом начале.
Что вновь зарегистрированные пользователи не имеют возможности комментировать старые публикации. Та публикация старая. Эту могу , а ту нет.
Это не модерации первого комментария.
Если у вас ощущаются брызги слюной, то я рекомендовал бы вм обратиться к психиатру. Потому что в этой критике совершенно нет никаких гневных мотивов, только суровая ирония.
Причина по которой я не захотел и не стану оформлять в отдельную статью ,объясняется элементарно. Я хотел сделать замечание автору лично. И на публичное по знание не претендую.
Потому что даже с моим бэкграундом в нейробиологии не считаю себя достаточно просвещенным чтобы публично выражать свое мнение.
В отличие от большинства вот таких авторов , (самые опасные люди на планете. ) которые вооружившись эффектом Даннинга Крюгера , решили что они понимают о чем говорят и выражают это мнение.
Эффект Манделы за чем то приписывать.
Все что я вижу в том посте это желание выдать желаемое за действительное. Антопоморфировать алгоритм. А так же эффект вирусного пиара нейросетей .
Т.е. Социальный пузырь.
Когда он распространяется самостоятельно за счёт религиозной убеждённости юзераиков в том что это якобы реально похоже на человеческую нервную систему.
Писал с телефона наспех. По этому с опечатками.
Однако до автора мысль думаю донесена.
Что вновь зарегистрированные пользователи не имеют возможности комментировать старые публикации. Та публикация старая. Эту могу , а ту нет.
А вы подумали, зачем это было сделано? Повторяю: ваш комментарий слишком большой для комментария, а для статьи в самый раз. Ну так напишите статью с критикой. Хотите, чтобы автор ее увидел -- упомяните его.
И на публичное по знание не претендую
Тем не менее, комментарий решили опубликовать публично, а не написать автору в личные сообщения или по другим указанным им контактам. Но вообще, статья на Хабре никогда и не претендовала на всеобщее знание. Некоторые даже оговорку о личном мнении вставляют.
Если у вас ощущаются брызги слюной, то я рекомендовал бы вм обратиться к психиатру. Потому что в этой критике совершенно нет никаких гневных мотивов, только суровая ирония.
Общая безграмотность написанного намекает именно на гневное строчилово с брызжанием слюной. Куда вы там спешили-то? Это не очная ставка, перекрикивать оппонента нет надобности. Спокойно бы написали, в чем автор не прав и ловили бы заслуженные плюсы.
Как говорил мой дедушка, когда лупил меня ремнем:
"Когда тебя ругают или бьют, внучок, это потому что тебе только добра желают" :D
Ирония ваша тоже безосновательна. Я не преследую ни каких ни злых ни добрых намерений. Предельно нейтрален.
Однако любой публичный человек которые выражает мнение публично обязан понимать что именно это мнение , а не сама персоналия может критиковаться. И тут нет места тёплому доброму вечному.
Либо мнение ошибочно либо нет.
Конкретно ваше, массово распространено среди юзеров, вот прямо как та самая фраза Ельцина. Многие реально верят что нейросети вдохновлены биологическими нейронными сетями и якобы реально так же устроены и работают.
Хорошо. Я изначально вообще не планировал разводить срач в посте, где народ обсуждает возможность прогнозирования. Хабр даже спросил у меня публиковать ли этот комментарий или удалить. Но кто я такой, чтобы запрещать людям высказывать свое мнение?
Так вот, начну с того, что Хабр - это не рецензируемый журнал и не академический кружок, где запрещены любые мнения, кроме линии партии (Ну насколько я понимаю концепцию). Пост был метафорой и размышлениями вслух, а не заявкой на нейробиологическую истину. Метафора может быть сколь угодно неточной, для этого и существует дискуссия, которую можно вести без эпитетов вроде "наглая ложь" и "сопливый зумер".
По существу: я нигде не утверждал, что LLM = мозг. Аналогия между двумя системами - это не заявление об их идентичности. Когда говорят "атом похож на солнечную систему", никто не думает, что электроны горят водородом.
При этом пара замечаний к вашей критике. Тезис "в мозге нет вообще ничего похожего на веса, даже на сотую долю процента" - это перегиб в обратную сторону. Синаптическая пластичность (LTP/LTD) описывается именно как изменение силы связи - это не миф 50-х, а мейнстримная нейронаука. Да, реальный механизм несравнимо сложнее скалярного весового коэффициента, но утверждать что там "вообще ничего похожего" значит отрицать целое направление.
И любопытно, что вы пишете "текст — это код, который запускает генерацию информации у нас в голове". Это ровно тот же уровень метафоры, за который вы меня ругаете.
В целом, если убрать из вашего комментария переходы на личности, там есть интересные мысли про необратимость развития НС и синаптический прунинг. Но подача, к сожалению, обесценивает содержание.
Хорошо, если я перешел грани дозволенного и задел личное , то приношу свои инзвенения. Однако же это было предельно обоснованно.
Так вот, начну с того, что Хабр - это не рецензируемый журнал и не академический кружок, где запрещены любые мнения, кроме линии партии (Ну насколько я понимаю концепцию). Пост был метафорой и размышлениями вслух, а не заявкой на нейробиологическую истину.
Вот ваш товарищ выше комментирующий, который за вас заступился, тоже принизил влияние Хабра на общий информационный движ в сети. И скептически отнесся к моей реакции, однако же ваш пост отражает очень популярное обывательское заблуждение, которое как раз таки и распространяется очень активно в массах как тот самый эффект Манделы с Ельциным. И ваш пост копипастят сообщества ВК и фэйсбуки и прочие. Именно за ваш антропоморфизм и необоснованное сопоставление модели и биологической нейросети. Потому что это модно.
Раньше я думал что это проплаченные боты намеренно так пиарят свой продукт чтобы раздуть социальный пузырь, но потом понял, что есть более совершеннные и изощоренные способы распростанять дезионформацию в массы . Достаточно придумать чушь и попытаться ее научно обосновать, в авторитетных ресурсах тмаксимально быстро массово придать огласке очень "громко", а далее массовая сми, потребители, социум, культура, сама подхватит и разнесет это создав обратный эффект спросса на данную тему и усилив дезинформационную публикационную активность.
Вы это продемонстрировали только что сами, упомянув протухший баян про синаптическую пластичность. ОК. Вы сами напросились.
Синаптическая пластичность (LTP/LTD) описывается именно как изменение силы связи - это не миф 50-х, а мейнстримная нейронаука. Да, реальный механизм несравнимо сложнее скалярного весового коэффициента, но утверждать что там "вообще ничего похожего" значит отрицать целое направление.
Откройте определение из википедии и увидите ,что это ошибочное и устаревшее представление, баззируется на "правиле Хебба" которое в 1949 гоу сформулировано. а получило экспериментальное подтверждение в 70х
.т.е. речь именно об электрофизиологических характеристиках. Это ни какая не мэйнстримная наука. Это реальный и устаревший миф, глубочайшая некомпетентность научных журналистов и обозревателей А так же дикое желание компьютерных моделистов, которые не разбираются в нейробиологии, убедить всех окружающих и научное сообщество в том, что это не их модель плохая, это на самом деле якобы в реальной нервной системе все так как в модели, якобы.
т. е если гора не идет к магомеду то магомед идет к горе. ))))
Если не получается создать похожую модеь, то давай придумаем что не модель плоха, а найдем в мозге то что есть в модели, и убедим всех что в мозге все так же)))) вот собственно этим занимаются айтишники спекулирующие на приставке (ННЕЙРО) последние 60 лет и вы продолжаете ту же самую эзотерическую лабуду.
Что же. На самом деле в мозге нет ни чего что было бы похоже на "весовые коэффициенты.
Синаптическая пластичность. Это не изменение "силы синапса в ответ на долговременную потенциацию или депрессию. это появление на дендритных деревьях в свободных местах принципиально новых синаптических бутонов и параллельное удаление либо старых или этих же новых но не получивших должной функциональной нагрузки синапсов.
Цитирую авторов.
«Считалось, что формирование памяти в основном включает в себя перестройку существующих синаптических связей, — сказал Арнольд, — тогда как в этом исследовании мы обнаружили формирование и исчезновение синапсов, но увидели лишь небольшие, случайные изменения синаптической силы существующих синапсов.
взято от сюда
Главный вывод, сделанный при анализе этих изображений: вместо того чтобы память вызывала изменение силы существующих синапсов, синапсы в одной части мозга были разрушены, а в другой области мозга были созданы совершенно новые синапсы.
вот оригинал
Хотя справедливости ради, Это было известно еще с конца 80-х начала 90-х. просто в этом конкретном исследовании авторы смогли продемонстрировать очень крутой метод визуализации. где каждый синапс подсвечен фуоресцентным белком поэтому исследование получило много шума.
А так,... давно уже, существовало прямое подтверждение того как формируются и удаляются синапсы в процессе обучения благодаря прямым экспериментам с покадровой фото или видеосьемкой и прямым подсчетом количества конкретных синапсов до и посе обучения в долгосрочном временном периоде непосредственно на живых модельных организмах в процессе обучения, по факту так сказать не отходяот кассы.
их достаточно много разных :
https://www.nature.com/articles/nature08577
https://link.springer.com/chapter/10.1007/978-3-031-36159-3_4
https://pmc.ncbi.nlm.nih.gov/articles/PMC5554072/
https://pmc.ncbi.nlm.nih.gov/articles/PMC8186004/
https://www.sciencedirect.com/science/chapter/handbook/abs/pii/B9780444641502000058?via%3Dihub
https://pmc.ncbi.nlm.nih.gov/articles/PMC3156171/
https://www.sciencedirect.com/topics/immunology-and-microbiology/synaptogenesis
https://www.sciencedirect.com/science/chapter/handbook/abs/pii/B9780444641502000058?via%3Dihub
даже Известный с 70х наш нейробиолог Боголепов. изучающий ультраструктуру синапсов с 70х так же пишет об этом
То есть это железобетонные прямые доказательство пластичеких изменений в мозге в процессе обучения. Именно напрямую как причина иследствие связанные с памятью и обучением. А вот изменения т.н. "силы синапса" это вообще просто функциональная штука. Ну просто больше площадь контакта становится, больше порций нейромхимии выбрасывается в щель. Черт побери да это вообще ни чего не значит, потому что эти изменения в размерах синапсов происходят даже вообще без долговреенной или кратковременной потенциации, а просто спонтанно по умолчанию . Если бы такой хаос происходил в "БЯЗ " или другой нейросетевой модели то что огда? )))))) Я просто ржу в голос. Извиняюсь за такую грубость. но я не могу сдержать смеха. как тут не тролить?
Правило Хебба)))))) Черт подери да электрический импульс вообще не несет ни какой информации. Нейроны безо всякого электрического потенциала действия продолжают обмениваться нейрохимией просто на потенциалах покоя. От того и меняются площадь контактов существующих синапсов спонтанно даже без нагрузки.
Электрический импульс это просто способ мгновенной оправки. (деливери клаб ) на максималках. ))) Какие там ..,,,,???
(LTP/LTD)
Если один и тот же вес может иметь +100500 милиардов значений?
26 основных медиаторов 600 пептидов и это не все. И все это в разных бульонах составах в разных пузырьках даже одного и того же синапса при одном и том же "значении веса" спайка
ок ладно. вот модель. (неполная)синапса
Вот эти пузырьки могут содержать суп из разных сигнальных молекул. А на пост синаптической стороне рецепторы к ним. причем рецепторы могут быть несколько разных и по разному реагирующих даже на одну и туже сигнальную молекулу или реагирующих только тогда когда одновременно имеются сразу пять конкретных сигнальных молекул.
Ну и какие тут весовые коэффициенты? как вы это собрались распределять во времени и пространстве? ))) Вы о чем вообще?
Повторяю.. Правила Хебба и прочий эзотерический бред из 50-х давно устарел. И в мозге ни когда не было и нет ни каких даже метафорических "весовых коэффициентов. Даже т.н. силу синапса невозможно привязать к этому, потому что она не несет ни какого смысла в рамках модели т.к в маленькой силе может сообщаться на порядки больше информации чем в большей силе, просто за счет обьема разнообразных сигнальных молекеул. А электрический импульс или т.н. спайк- это просто способ отправки меседжа. функция скоростного постальона. ВЫ весовыми коэфициентами функции почтальона моделируете? Забавно.
Сила синапса это просто физиологический адаптивный метаболический эффект временного увеличения площади контакта вызванной повышенной нарузкой. (реакция на новизну) После приведения в стабильную фазу, он стабилизируетсяна своем значении. если работает. или вообще рассасывается. И то. это общее упрощенное обьяснение. А я грубый суровый закаленный материаист. И имею нам этот счет свое мнение.
В реальности. (ЭТО уже мое личное и обоснованное мнение) Ни какого изменения т.н. силы синапса нет и в помине. Это просто ошибка наблюдателя. Артефакт наблюдения.
Синапсы не возникают сразу функционально готовыми . В мозге в отличие от ИСК. моделей, нет "нострадамуса предсказателя господа бога) аналгалгоритма обратного распространеия, считай подгонки.)), который заблаговременно знает всю предварительно засписанную "судьбу" индивида и судьбу каждого его нейрона и их ветвления дендритов. посекундно в каждом пространственном положении что бы в каждый момент времени и в правильном месте и воремя сразу отреагировать на внешнее воздействие сразу функционально гоотовым и рабочим синапсом с правильным набором сигнальных молекул метаболитов и прочего.
Как сказано в упомянутом исследовании Боголепова Н.Н, ..синапсы проходят стадию созреваия. сначала это десмосома, выпячивается шипик. потом формируется грибовидная шляпка, потом эта шляпка увеличиваетсяв размерах. в этих процессах формируется первичная зона контакта потом она расширяетсмя потомможет втягиваться обратно. И вот получается разные исследователи ловят эти синапсы на разных стадиях созревания, наивно думая что это один и тот же синапс и заявляют про какие то там " силы синапса" ))) ржу в голос.
А наивные айтишники, повторяяя опыт их древних предков кибернетиков из 50х подхватывают это и распространяют в массы с удвоенным энтузиазмом на серьезных щах. И эта дезионформация несется через десятилетия и залетает теперь в неокрепшие зумерские головы, которые потом на уверенных щах заявляют что это ни много ни мало, а
мэйнстримная НОУКА ОДНАКО
простите еще раз
По существу: я нигде не утверждал, что LLM = мозг. Аналогия между двумя системами - это не заявление об их идентичности. Когда говорят "атом похож на солнечную систему", никто не думает, что электроны горят водородом.
Вы по существу заявили что реконсолидация памяти у людей это аналогичная штука что и в нейросетевых моделях, сжатие или архивация....
Более того... вы пошли дальше и еще и заявили что именно это лежит в основе ни много не мало аж творчества...причем одинаково как у биологической так и у искусственной. А это вообще ни в какие ворота не лезет. МНе интересно, при прохждении информации от первоисточника через множества фильтров пересказа и переинтерпретации, хоть кто то найдется, кто будет досконально проверять достоверность? вопрос риторический.
Поверте, юзая нейросети, вы ни когда этого сделать не сможете. только еще больше зароетесь в мракобесии.
И любопытно, что вы пишете "текст — это код, который запускает генерацию информации у нас в голове". Это ровно тот же уровень метафоры, за который вы меня ругаете.
НЕт. Это вообще не ровно и не тот же уровень метафоры. Это вообще не метафора и даже не аналогия. Т.к. любой символьный словарь и составленный из него текст это и есть именно КОД, текст это один из первых придуманных человечеством кодов. самый первый это наскальные рисунки и улюлюкания. )))
Так что увы и ах.
также дополняю свой комментарий подробной иллюстрацией к обьяснению что такое синаптическая пластичность.
Скормить и проанализировать все новости в мире зараз - задача сложная. Можно предложить подход к масштабированию по территории:
Собирается подобный консилиум агентов по каждому региону/ стране, на выходе они формируют свою базу знаний. Поток знаний отфильтровывается и подается на вход очередному слою пайплайна, и так воронка сужается до итогового ансамбля агентов.
Подобный подход можно применить к собиранию данных с больших новостных порталов, например распараллелить сбор/анализ данных с разных групп тредов в Реддите и т п.
Осталось только интеграция с полимаркетом, чтобы еще зарабатывать на этом)
"Истинная заслуга — обнаружить кризис в зародыше". И вовремя запастись попкорном.
Подскажите пожалуйста, не могу понять. Долгосрочный прогноз "ФРС не снизит процентные ставки в течение 90 дней" перешел в разрешенные, каким образом? Ведь 90 дней еще не прошло. Я понимаю как перешел в разрешенные другой прогноз по ФРС, но этому, чисто интуитивно, пока рановато, нет?
Вероятно, снизил ставки? Хотя нет, он помечен как верный, т.е. снизить не мог.
Все правильно, спасибо, что заметили!
он слишком оптимистично это сделал))
Иронично, что резолвер сам написал "Forecast period ends 2026-06-11" и "future rate decisions could alter outcome", но всё равно поставил correct + high
Вернул его в работу обратно и подкорректировал условия
Найдите работу
Нефть по 300 $ ?
Интересная статья, особенно понравился прием со скептиком - утащил себе в проекты.
Какой стек используете? Кто аркестрирует агентами?
И есть ли мысли сделать проект open-source?
Спасибо!
Стек максимально простой:
Backend: FastAPI + Celery + Redis+ PostgreSQL (pgvector для RAG)
Frontend: React + Vite + Tailwind
LLM: DeepSeek Reasoner + GPT-5.4 + Claude Sonnet (LLM Council — три модели дебатируют между собой), DeepSeek Reasoner (мини-скептик), Claude Opus с мощным ризонингом (Основной скептик и Селдон), GPT-5.4 как fallback, Tavily (для поиска ЛЛМ в интернете) и Deepseek Chat во всех остальных делишках (переводчик, классификатор новостей и постов, резолвер) и GPT-5.4-mini как fallback.
Оркестрация — Celery. Просто таски по расписанию: сбор сигналов раз в час → фильтрация, кластеризация → анализ в 8 утра UTC (8 агентов параллельно, каждый через Council из 3 моделей) → мини-скептик → основной скептик → Селдон → переводчик → публикация. Весь пайплайн — цепочка Celery tasks.
Опенсорс подумаю) Когда баги пофиксю, чтобы не позориться :D
Кстати, на калибровочной кривой в подсказках – черный текст на темном фоне (сам фон подсказки прозрачный, поэтому под ним темный фон графика). Нечитаемо.
Также, для меток типа “Экономика”, “Активен” не помешали бы всплывающие подсказки, объясняющие, что это такое. Например, эти еще понятны, но во что такое “Высокая”, ума не приложу.
Также заметил, что вроде есть нелокализованная метка severity_critical.
Также, интуитивно ожидается, что клик по метке добавит фильтр с этой меткой.
Даты ниже меток тоже нуждаются в подсказках. Сейчас только догадываться, что первая – это дата прогноза, а вторая – дата, после которой должно быть какое-то решение.
И проценты справа тоже хотят подсказки.
На вкладке “Нарративы” напрашивается в самом начале объяснить, что вы понимаете под этим термином. А то куча терминов, придуманных специально под проект, но нигде нет их объяснений.
В блоке “Метрики точности” сразу напрашивается добавить в начало текст с объяснением, как метрика считается. На надпись “Brier Score” напрашивается ссылка на объяснение, что это такое. И рядом с цифрой быть может еще краткое описание, к чему цифра ближе (например, “Все прогнозы точны”, “Большинство прогнозов точны”, “В основном неточные прогнозы”, “Вообще никакой связи с реальностью”).
Совершенно непонятно, что такое “Калибровочная кривая”. Сейчас там прямая линия и 3 точки – что все это значит? Кстати, у графика не помешает нарисовать верхнюю ограничительную линию, потому как сейчас на глаз сложно определить, далеко точка от потолка или нет.
Для надписей “Авто”, “Вручную”, “Истекших” то же бы добавить подсказки, что это значит. И пояснить, что такое “Авто %”, поскольку сейчас 4 Авто и 2 Истекших. А точек на графике вообще 3 и что там цвет значит – непонятно.
Класс! Спасибо) Все сделаю, только баги пофиксю
Вроде бы все сделал вашего комментария, проверяйте:
Баги: чёрный текст в тултипе калибровочного графика — починен (Recharts игнорировал color в contentStyle, пришлось написать кастомный рендерер). Нелокализованный severity_critical — был баг несовпадения enum-ключей между бэком и i18n, теперь добавлен.
Тултипы: все метки (сектор, статус, Высокая/Критическая, горизонты) теперь объясняют себя при наведении. Даты тоже — первая это дата создания, вторая истечения. Вероятность — объяснение что это байесовская оценка, обновляется по новым данным.
Brier Score: добавил тултип с формулой (вероятность − исход)² и текстовый ярлык — «Отличная точность» / «Хорошая» / «Хуже случайного» — чтобы не нужно было знать шкалу наизусть.
Калибровочная кривая: добавил текстовое объяснение под заголовком («точки выше диагонали — недооценка рисков») и верхнюю ограничительную линию на 100%.
Нарративы: добавил блок-определение в самом начале страницы. Плюс глоссарий на странице «О проекте» — 8 терминов с объяснениями, включая Seldon Crisis, Likelihood Ratio, что такое байесовская вероятность в контексте системы.
Авто/Вручную/Истёкших — у всех четырёх метрик теперь тултипы с расшифровкой.
Клик по метке = фильтр — реализовал для секторов и статусов. Клик добавляет фильтр и показывает активный chip с кнопкой × для сброса. На странице нарративов клик по сектору переходит на страницу прогнозов с этим фильтром.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Психоистория Азимова как техническое задание: как я построил мультиагентный AI-прогнозатор