Comments 68
Хабр, канеш, крутое сообщество.
Собрал идеи из комментариев, пока получился такой список:
1. Семантическая память прогнозов
2. Весовое ранжирование агентов
3. Байесовский пересчёт вероятностей
4. Эвристические правила и модификаторы
5. LLM Council — мультимодельные дебаты
На подумать (пока не понимаю до конца как реализовать):
6. Эмоциональные поля СМИ. Самый амбициозный слой. Требует времени на накопление данных, но MVP (50–100 источников, базовый sentiment, z-score аномалии) можно запустить параллельно с другими шагами.
Спасибо, что вы есть!
Апдейт: три уже в проде - весовое ранжирование агентов, семантическая память (RAG по своим же прогнозам) и LLM Council. Четыре кружки кофе, два стакана португальского портвейна, пора спать. Завтра продолжу строить свой карманный Palantir.
Из интересного:
Я на шару написал в UCDP, попросил у них доступ к их данным и они мне дали, какие милаши!
Теперь я занят выгрузкой, сортировкой и структуризацией всех военных конфликтов человечества от 1991 года и до наших дней. (по оценкам - 14 часов)
Следующий этап - прогнать тестово один конфликт через несколько ризонинг моделей ( Opus, GPT, Gemini, Deepseek R1), чтобы понять отличие анализа каждой из моделей.
Глобально нужно сделать комплексный анализ каждого конфликта, понять его первопричины, триггеры, этапы, точку наивысшей эскалации, каскадные последствия, причины завершения и другие замечательные вещи).
Проблема в том, что стоимость того же Opus на весь прогон - 800 баксов, а Deepseek - 80.
Надеюсь, что Deepseek не подведет :D
После этого RAG очень сильно обогатиться. Сейчас у меня всего 16 хорошо структурированных и проанализированных исторических конфликта, а будет около 5000!
Если кто-нибудь может подсказать, где можно найти такую же базу, только с техногенными катастрофами, глобальными потрясениями, пандемиями, политическими кризисами - буду несказанно благодарен
Это очень интересно! Особенно система объективной оценки сбытия прогнозов, поскольку раздавать прогнозы толпы желающих, а вот анализировать, насколько они сбылись...
Так же интересно, это на вашем железе работает или используется API (и какие, и интересно было бы сравнить LLM еще и по этому критерию - кто из них делает более сбывающиеся прогнозы, имея одинаковые исходные данные?)
Если бы вы запустили здесь еженедельную выжимку ИТ-новостей, прогнозов и сбываемость предыдущих, то было бы интересно...
Да, объективная оценка, это как раз то, на что я трачу больше всего времени, подкручивая механизмы.
Пока что мне удалось прогнать через исторические события. Ну т.е я брал рандомные новости 2020 года, посты в ТГ и другие источники, прогонял через систему и потом проверял, как они (агенты) оценивают сбывшиеся и не сбывшиеся прогнозы. Результат предсказаний был в целом интересный - 62% среднесрочных (до трех месяцев) и 81% краткосрочных (до 1 месяца) сбылись! При этом старт был хуже - 23% среднесрочных и 52% краткосрочных только сбылись. Но дальнейшие докрутки с помощью автоматической обратной связи подняли этот процент вот до таких значений.
Но это считай синтетика и у ЛЛМ есть уже датасет об этих событиях. даже если ей говоришь, что прям новые новости, она просто видит, что такое уже было и экстраполирует. (ну я так думаю)
Поэтому любопытно посмотреть что будет дальше, в неизвестности на реальных данных в прямом эфире.
Все модели через API
Deepseek, OpenAi, Claude, Gemini.
Пока что нет результатов, только два дня работает. Ближайший прогноз:
Формальное соглашение о прекращении огня в конфликте с Ираном не будет достигнуто в ближайшие 15 дней
истекает через 13 дней. Модели очень уверены - 95%) Вот и узнаем скоро
Исторический прогон тут бесполезен, в процессе обучения модели видели все эти данные в том или ином виде. Мне кажется в вашей схеме нужен LLM Council, когда у вас не 1 аналитик на 1 тему, а несколько одинаковых аналитиков на разных моделях обсуждающие между собой 1 новость, по моим опытам, так они хорошо дополняют и исправляют друг друга. Ну и в отчете обязательно должны быть ссылки на источники, тогда меньше галлюцинаций (в рамках одной и той же модели это не работает, модель "верит" своим бредовым ссылка не проверяя их). Тогда ваш скептик может больше уделить внимание анализу финальных оценок, а не перепроверке методологии и данных.
Приятно написанная статья, спасибо.
Но у вашей системы на самом деле нет обратной связи, поэтому это просто запросы к нейросети с разными промтами.
Для полноценной прогнозной системы нужно использовать математические модели вероятностей, эвристические алгоритмы, семантические базы и ранжирование, и тому подобный инструментарий.
Но вопрос, хочет ли автор так глубоко копать, делая свой аналог Palantir :) может, это и не планируется, тогда извините за душноту:)
В любом случае, сейчас сайт выглядит прикольно:)
Мулы портят все прогнозы.
1-я и 2-я мировые войны были вызваны неравномерностью в промышленном и экономическом развитии основных стран, ростом внутренних и внешних противоречий и борьбой за рынки сбыта и источники сырья - всё это можно проследить. А затем выяснить действуют ли эти факторы сейчас и ведут и они также неумолимо к 3-й Мировой войне? Или этого в новых условиях при робото-технической революции можно избежать? Что может выдать ИИ в своём прогнозе?
Вот как раз это я и хочу выяснить - возможно ли сделать такие предсказания на 50-100-1000 лет вперед)
Это элементарно сделать и можно проследить закономерности всей человеческой истории. Когда-то это пытался сделать математик Анатолий Фоменко, который через ЭВМ пропустил все сведения, которые он мог собрать об исторических событиях. Он пропустил этот материал через ЭВМ и машина выдала ему интересный материал на 2 тыс. страниц печатного текста, который он неправильно интерпретировал и себя этим компрометировал, будучи любителем в "истории". Его оппоненты были полные ослы, когда приписывали ему то, что выдала ему машина. Фоменко внёс много фейкового материала, особенно по части древней наидревнейшей истории. Но материал его - даже при этом недостатке - весьма ценный. Я сам когда-то занимался этим вопросом и просчитал будущее страны до 2187, г. и это бросил, потому что меня в это время уже не будет. Паре друзей Фоменко я объяснил тогда, в чём заключались ошибки Фоменко и они приглашали меня к себе в гости и говорили, что предоставят мне 2000 тыс. страниц его материалов, которые выдала ему машина. Но мне было не до этого, а потом Фоменко уже делал "бизнес" со своих измышлений и я отказался от посещения его. История всех крупных стран (реально - "социальных организмов") очень легко просчитывается (а именно - все стадии, которые повторяют себя в разных "социальных организмах") - на уровне десигнатов и денотатов. Сейчас вы бы могли шутя это выполнить, если вам показать принцип и если у вас есть время получать необходимую информацию.
Это элементарно сделать и можно проследить закономерности всей человеческой истории.
Если это "элементарно", что же вы упускаете свой шанс получить Нобелевку? Или тайное знание не тайным быть не может? Фоменко, по вашему мнению, неправильно интерпретировал. Раз вы это утверждаете, значит, знаете, как правильно. Собственно, вы это явно утверждаете и уже
просчитал будущее страны до 2187, г.
А почему не человечества? Как вы так аккуратно выпилили страну и сделали всё только для неё?
и это бросил, потому что меня в это время уже не будет.
Воистину весомый взрослый аргумент. Не интересуюсь вашим возрастом, верю на слово. Социальные организмы пока что будут пребывать в полной неопределённости. Но верю, их время придёт.
omxela, Я могу вам предоставить такую возможность ("шанс") - получить эту затруханую "Нобелевку". И, кстати, уже лет 20 заграницей, да и у нас занимаются такими исчислениями. Да, я знаю, как правильно объяснить материал, полученный им от машины, и его друзья приглашали меня и к себе, и к нему с предоставлением мне 2 тыс. страниц печатного текста. И судьбу человечества я тоже просчитал, но уже по другому основанию и другим способом. Вам это зачем??? Интернет наполнен такими материалами. Меня интересовало это в конце 1970-х годов и выходили события, которые произошли у нас в 1984-1991 г., а точнее - 1991 год. Аналогично я рассчитал тогда и то, что происходит в США и что там будет дальше. Так что меня ход теперешних событий, естественно, вообще не интересует. Я на "ты" "со столетиями" и "тысячелетиями" - страсти человеческие меня не интересуют, когда всё это знаешь. Ход вещей не подвластен чьей-либо воле и люди в русле предопределённого хода вещей могут куролесить как угодно, но при выходе за эти рамки включается уже та сила, которая определяет развитие. Человек возник не по собственной воле и ход его развития не определяется людьми так, как им может казаться. Что касается Анатолия Фоменко, то он получил ход вещей (на основе того, что он собрал) в виде десигната, а мог бы копнуть глубже и получить более ценную информацию в денотате. Ценность имеет его самая первая книжка с этими материалами, всё остальное - его фантастические интерпретации.
математик Анатолий Фоменко, который через ЭВМ пропустил все сведения, которые он мог собрать об исторических событиях.
Расскажите, что значит "пропустил через ЭВМ сведения"? Поделитесь, как айтишник айтишнику.
Ну, "пропустил через ЭВМ" не все, вообще, исторические события, а конкретно историю Рима от даты легендарного основания до правления последнего императора (Ромула Августа)
PS в каковых исследованиях его активно поддерживал, та-дам!, партком МГУ
Ну так что значит пропустил? Оцифровал учебник?
Что значит партком поддерживал, в чем поддержка выражалась?
Значит он пытался подогнать даты правления "начальников" Рима из 3х, что-ли "линий", или 2х, не помню уже.
Через партком "пробивал" выделение машинного времени и выделение квот бумаги на печатание препринтов своих "теорий".
Почитайте его опусы той поры, если сумеете достать, очень забавно). Это было в районе 1980 года.
пытался подогнать даты правления
Гороскоп штоле?
randomsimplenumber, найдите и откройте самую первую книгу А.Фоменко, где он выложил материал, выданный ему ЭВМ, и дайте свою "интерпретацию" тому, что дала машина. Какие проблемы? Если бы вам машина выдала соответствующие результаты, справились бы Вы с их толкованием? Фоменко 11 раз выступал перед Президиумом АН СССР, прося указать на ошибки в его интерпретациях и что-то там ни от кого ничего не получил.
Гороскоп - математически точное (можно и на компьютере считать конечно) сопоставление одних наблюдаемых процессов (движение планет) с другими, тоже наблюдаемыми. Вероятность совпадения - феноменальная, не ниже 50%. Не понимаю скептицизма.
Зы: я читал когда то. Что монголо татарского ига не было, что Батый - второе (первое?) имя Александра Невского.. Занимательно, правда.
И, кстати, как сейчас помню, отрицал дендрохронологию вообще. Нет такой и всё. Потому что бюсты несуществовавших императоров изготавливали средневековые монахи-переписчики, а вот дендрохронолию как подделать?
Он, увидев на античной и средневековой линиях ("графиках") одинаковые "блоки", не понял причину этого, и просто свёл античные свидетельства или данные к средневековью - самый простой и примитивный способ интерпретации Я его другу объяснил причину этого и ошибочность вывода Фоменко. Он не понимал, что всё обстояло глубже. Он мыслил в рамках непосредственного, наивного, наглядно-образного мышления, а должен был мыслить в рамках десигнатов - более глубокой формы мышления..
Ну и в рамках "дендрохронологии" мы имеем год, когда деревья срубили и когда они взросли????
Что касается кивка Фоменко на "средневековых монахов-переписчиков", то на этом зиждутся и "аргументы" отечественных "историков":
В сотнях редакциях Ипатьевской летописи рассказывается о походах дружины русского князя по избавлению похищенной его дочери к Чёрному морю и помещённой жрицей в подземный монастырь - в летописи это датируется временем "незадолго до Троянской войны", т.е. до 1156-1136 гг. до н.э. - эти данные "историками" голословно объявляются "сочинёнными летописцами", хотя редакции Ипатьевской летописи, а их несколько сотен, находились в разных монастырях, отделённых друг от друга до 500 км. В другом источнике говорится о городе Словенске, основанном "в 3099 году от сотворения мира", а это ни много ни мало 2409 год до н.э. Но эти "историки" голословно, не приводя никаких доказательств, говорят, что это "сочинили монахи-писцы". Ну и чем измышления Фоменко хуже???
Фоменко использовал не только "учебники", "энциклопедии", а и первоисточники - всё, что попадалось в его поле зрения. А вообще "использовать учебники" считается "признаком дурного тона". Фоменко, судя по всему, был "всеяден".
Не только - с Рима. Он полез и в фейковую "первобытную историю" и тоже обрабатывал то, что выдаётся за "науку".Но основной материал связан уже с цивилизациями.
Остановите поток. Просто поясните, что значит "пропустил через ЭВМ".
Достаньте его первую книжку по хронологии, где выданы с графиками и блоками его материалы. Именно эта книжка - с результатами, выданными машиной, имеет ценность. Там всё достаточно подробно описано. Остальное можете не читать. Я же проводил свои исчисления раньше и составлял графики путём формализации материала. Фоменко собирал свои исторические материалы с подросткового возраста и записывал их на простыне, так как они занимали всё больше и больше места. И только потом своё увлечение использовал, применяя ЭВМ.
1-я и 2-я мировые войны были вызваны
1 мировая - делили наследство Османской империи и ничего другого.
2 В2В - наверное идеология наложенная на рефлексию.
Почему войны начинаются? Маньяк во главе говорит всем, что мы плохо живём потому, что соседи у нас самое ценное забрали и нас не уважают. Сейчас совсем немного повоюем и у нас всё наладится - до обеда войну закончим.
А войну только начни, так за следующие сотни лет не закончишь.
Идея шикарная и перспективная, прям класс, буду следить. Но на карте проекта сейчас только три региона - Иран, США, Китай. А нас всех, понятное дело, интересует другой конфликт. Скажите, он отсутствует в проекте из-за того, что не те источники новостей подключены, или потому что о нем перестали писать после Ирана?
Я вот сам пока не могу понять :D
Больше всего источников там как раз из интересного нам региона - 30 ТГ каналов только от всех, кого я только нашел. Новости (обоих лагерей). Очень много входящей информации, но прогнозов почти нет. А те, что есть, не проходят фильтр уверенности. За два дня прошел только один прогноз, но был зарублен скептиком как фантастика (не буду писать, а то на срок наговорю себе)
Ну, и, возможно, поскольку сво движется как-то вяло, то и прогнозы вялые, в вероятность 45-55% попадают.
Кстати, проект логи раскрывает, где можно увидеть проанализированные новости / отсеянные прогнозы / причину отсеивания?
А что там прогнозировать, там уже сколько месяцев ничего особо нет. Реалистично там нечего предсказывать, кроме как сколько кому за сколько км вероятно отойдет. Все остальное в основном шум
На текущем этапе Россия готова закончить СВО (не войну) если Украина отдаст часть территории, но Европа готова финансировать боевые действия еще пару лет, так что единственное неизвестное - это будет ли Трамп продавливать сдачу или плюнет застряв в Иране. Хотите я тоже сделаю "предсказание" на ближайший срок? В апреле-мае Китай начнет свое СВО в Тайване, с вероятностью 45-55% :)
с вероятностью 45-55%
Хм, блондинка и динозавр ;)
Могу дать прогноз с точностью 90% Китай на Тайвань не полезет в ближайший год.
@in6lack а вот и повод прикрутить еще и тотализатор)
Система запущена вчера, прогнозы генерируются каждый день, Brier Score копится. Через полгода будет достаточно данных, чтобы ответить на этот вопрос.
А почему не сделать бэктест на последние 2-3 месяца как это делается в трейдинге для оценки эффективности стратегии?
Большинство моделей обучены на более поздних данных чем 2-3 месяца назад и кажется это должно позволить сделать бэктест. Данные истории в каналах есть, произошедшее тоже есть, можно сразу оценить точность прогнозов и использовать результаты бэктеста для оптимизации инструкций моделям.
Я сделал, в начале были интересные результаты. Сначала на голом тесте процент краткосрочных успешных был всего 52%. Однако через несколько прогонов и обратной связи, следующие прогнозы уже получились больше 80% успешных.
Но я скептически отношусь к этому результату, потому что мне кажется, что их датасет уже включает правильный ответ и они его "знают", поэтому очень хочу именно форвард тест.
Кстати трейдинговый я тож как то сделал и он сейчас тоже в форвард тесте третий месяц. Пока плюсует с винрейтом 61%. Когда потестирую на реальных деньгах пару месяцев, напишу пост про это
Я думал про такой проект, но моя идея была другой. Это должно быть что-то вроде Медиалогии на стероидах.
Смысл в том, что анализируются не события - потому что это то, что уже произошло, а публикации в СМИ, c учетом описания про кого публикация и какая эмоция в публикации.
То есть СВО предшествует нарастающий вал публикаций об Украине с эмоциями ненависть.
Ведь публикации могут быть как отражающими мнение, так и результатом PR подготовки к чему-то, но в любом случае они отражают либо существующие эмоции, либо навязывают эмоции, выгодные элитам.
При этом еще можно квалифицировать объекты публикаций - как страны, так и людей и категории - вроде "недвижимость", "золото", а также строить веса СМИ.
Иными словами - анализировать не события, а эмоциональные поля в разных государствах, и искать события следующие из полей.
Но под такой проект надо уже иметь собственный кластер и вообще это реальная диссертация, причем докторская )
Да, эту идею я заложил в один из аналитиков, хочу потестировать, но пока не понимаю до конца, как мне понять правильно или нет
анализировать не события, а эмоциональные поля в разных государствах
Что-то такое я делал - https://moscowi.ru/showPoliticRusNewsPage по экономике, политике, технологиям. Да, такое работает, по крайней мере последние конфликты модель показала через минуты после начала.
Сэлдон работал с галактическими масштабами, в рамках одной планеты черные лебеди носятся стаями, слишком много непредсказуемого. Тот же упомянутый вами COVID.
Хабр, канеш, крутое сообщество.
Собрал идеи из комментариев, пока получился такой список:
1. Семантическая память прогнозов
2. Весовое ранжирование агентов
3. Байесовский пересчёт вероятностей
4. Эвристические правила и модификаторы
5. LLM Council — мультимодельные дебаты
На подумать (пока не понимаю до конца как реализовать):
6. Эмоциональные поля СМИ. Самый амбициозный слой. Требует времени на накопление данных, но MVP (50–100 источников, базовый sentiment, z-score аномалии) можно запустить параллельно с другими шагами.
Спасибо, что вы есть!
Немного из обидного:
Мне очень хотелось присобачить к анализу Google Gemini 3.1, потому что он выдает интересные прогнозы, у него сильный ризонинг, он относительно недорог и самый быстрый из всех. Но по какой-то неведомой причине Google перебанил все мои прокси. Видимо Сергей Брин и его кореш считают, что это наиболее эффективный способ остановить процесс, над которым я не властен.
Интересный проект, реализация тоже, стек самопроверки прогнозов и выявления ошибок в логике - должен быть. С удовольствием буду следить. Только мне, как не специалисту в ллм, кажется что все же они не умеют рассуждать и анализировать, в привычном нам смысле, они выдают наиболее вероятные и одобренные ответы, поэтому будут работать только в рамках известных парадигм (хотя что меняется в человеческом мире кроме декораций)) Успехов!
Спасибо, внес в закладки, понаблюдаю.
Это очень крутой проект. Конечно, не совсем канон. Ведь Селдон использовал именно специальный мат аппарат. Но всё равно, этот аналитический проект крутой и амбициозный. Будем следить за успехами.👍
Спасибо за ваш продукт. Я под большим впечатлением! Особенно понравилась карта - с точки зрения рядового пользователя, удобно открыть карту и выбрать интересующий регион. Не совсем понятны различия между вкладкой Дайджест и Обзор - как будто они дублируют друг друга. Возможно различия будут заметнее после накопленного контекста событий, посмотрим.
При чтении прогнозов как будто не хватило сноски например "золото продолжит рост с вероятностью (value)%
А в целом буду продолжать следить за вашим проектом.
Надо ещё учитывать проблемы с источниками.
На пример, по нынешней войне с Ираном, сми на много охотнее пишут об атаках Ирана, но реже пишут об ударах США и Израиля. Тут работает классическая предвзятость сми. Они предпочитают больше писать о сенсационных событиях. Атаки США и Израиля воспринимаются как более обыденные, и потому скучнее и менее интересны для СМИ. А Атаки Ирана больше будоражат. Потому получается что СМИ склонны чаще писать об атаках Ирана, а на атаки США и Израиля смотрят больше как на скучную обыденность. В итоге, складывается иллюзия будто бы Иран бьёт больше и выглядит успешнее в СМИ.
Можно ещё вспомнить проблему с эвристикой доступности, когда СМИ освещают какую-то проблему не пропорционально много, и кажется будто бы эта проблема стала эпидемной. Но статистика показывает что эта проблема постепенно падает. На пример, преступления падают, но из СМИ кажется будто бы их становится всё больше и больше.
По хорошему, аналитической системе надо учитывать эти проблемы с недостатком объективности СМИ. Конкретно в этих примерах, помогло бы не просто смотреть на отдельные новости, но и в более глубокие аналитические материалы, в научные исследования, в статистику. Чтобы "Селдон" держал в "голове" более общую и объективную картину, а не просто отдельные разрозненные новости.
Есть ещё целый ряд когнитивных искажений, которые по хорошему, надо бы учитывать такой системе. И наверняка есть не мало книг по качественной журналистике и аналитике. Принципы из этих книг будут особенно полезны.
Когда точность прогноз станет норм, то можно прикрутить возможность делать ставки против ИИ и будет почти отечественный https://polymarket.com/
Автор, пардон за то, что пишу сюда, по причине того, что недавно зарегистрировался и не могу оставлять комментарии на более ранние статьи.
Но я собрался тебя ругать за вот этот твой пост.
Градус дилетанства, упоранства , трансгуманизма и мракобесия, да и просто откровенной зумерской бредовой глупости в нем , просто зашкаливает. И что самое смешное, ты критикуешь многих за антропоморфизм, когда сам именно это и дклаешь как возносишь примитивную языковую модель до уровня человека проводя безосновательные, ложные и откровеннно лживые параллели.
Начнем с того, что
Мы привыкли называть подобное Эффектом Манделы или массовым искажением восприятия. Но давайте отбросим социологию и взглянем на ситуацию как на чисто технический процесс обработки данных.
Нет не давайте, в том то и дело, что данный эффект сугубо социальное явление и не имеет отношения ни к памяти ни уж тем более к реконсолидации. Пример, откровенно притянут за уши.
Ты пишешь,
Но при сравнении человеческой памяти и трансформеров становится не по себе, ведь ошибаются они абсолютно одинаково и используют одни и те же принципы сжатия информации.
Это утверждение наглая откровенная ложь и является тем самым антропоморфизмом.
1) принципы сжатия информации они используют не просто разные а вообе принципиально ни чем вообще не похожие. Биологическая нейронная сеть вообще не использует принципы сжатия информации. такой функции по определению не существует в нервной системе. Сжатие информации возникает как побочный эффект развития нервной системы. Которое протекает с активным синаптогенезом и синаптическим прунингом. То есть система имеет необратимость. Если простыми словами, это означает что один синапс взрослого состояния. несет в себе информацию целой сети нейронов и множества миллионов синапсов работавших на ранних этапах развития большинство из которых ныне уже отсутствуют в системе физически. Поэтому получается рост информационной емкости без увеличения или даже при снижении вычислительных мощностей. (что в нейросетевой модели впринципе невозможно априори) Это происходит именно за счет вырождения предшествующих синапсов и смене их поколения за поколениями, подобно людям в социуме. ( мы ведь рождаемся нам не надо заново проходить эволюцию от палки копалки и колеса до воздушных шаров паровых машин и так далее. Культурный код кпится а носители становятсяудобрением. их не нужно поддерживать живыми. Вот тоже самое и в нервной стстеме с синапсами. Разумеется в нейросетевой моджели ничего подобного нет и а помине. Еси там такое провернуть то все в момент заруинится.
2) Ошибаются они тоже не одинаково. КАк самособой разумеющееся вытекающее из 1го пункта. В чем можно убеитьсяниже.
Та пишешь
Если представить, что мозг является компьютером, то он хранит не сами файлы (события), а только хеши и веса связей между ними. Когда мы вспоминаем событие, мозг запускает генеративный процесс. Он собирает сцену заново из разрозненных фрагментов: запах, звук, эмоция.
1) в мозге нет ни каких весов, вообще нет ни чего похожего даже. вообще даже на сотую долю процента там нет ни чего что можно было бы с натягом натянуть как сову на глобус что хоть как то бы метафорически было бы похоже на синаптические веса в нейросетевой модели.
Эти мифы зародились на заре активной модына кибернетику, в 50-60х и далее. Когда даже о нейротрансмиттерах то не было ни чего известно. максимум что было и описывалось, это чтонейромедиатор нужен для (перескка) импульса с одного окончания на другое. Вся нейробиология описывалась исключительно в электрофизиологических параметрах. Именно от сюда и берет начало идемя ФИКС. т.е. миф, про то что в мозге между нейронами веса синапсов.
Краткий экскурс: 26 основных типов нейромидиаторов и более 600 нейропептидов. И все это в разных составах и пропорциях может встречатся в одном синапсе по разному в разных пузырьках везикулах, одновременно при одном и том же импульсе. Вот эти частые упоминания про серотонинергические нейроны или ГАМК. это все про большые нервные пучки где сигннализация происходит не просто как нейротрансмиттер а именно как нейрогормон и впрыскивается залпом в межклеточное пространство сразу в большую площадь нейронов для глобальной регуляции.А основная межнейронная коммуникация осуществляется именно посредством мультитрансмиссии. А нынче еще какието щелевые контакты по типу адгезивных комплексов открыли .
2) Да. когда мы вспоминаем событие мы заново реконструируем его но не из обрывков а у же из многократно сгенерированных обобщений и новых актуальныхвходных данных. И именно отсюда и возникают ошибки. Из реального многократного забываенния и замещения новыми данными понятиями и смысловыми ассоциацциями к которым мы приписываем это событие в разные периоды жизни. А не все то, что ты насочинял.
И здесь вступает в дело процесс реконсолидации. Если каких-то данных не хватает для цельной картины, мозг интерполирует их, беря паттерны из соседних кластеров
В мозге нет шаблона кокой должна быть целаякартина чтобы оценить где нехватает и какие дыры надо залатать. Мы постоянно забываем комплексно все что с нами происходило и замещаем это новым входным информационным потоком. Только асоциации косвенные признаки и прочие якоря позволяют нам точно или не очень реконструиповать память. В мозге нет ни каких " соседних КЛАСТЕРОВ" (надо же такую херню придумаь?)
Реконсолидация это процесс ....условно... попытка возбновить состояние мозга на тот момент времени, когда происходило то или иное событие, но так как кофигурация системы уже поменялась , множесто синапсов из того периода уже отсутствуют в системе физически а параллельно так же имеется множество новой информации, то мы просто производим (апгрейд) памяти тго или иного события. Все это в совокупности приводит к постоянной фальсификации нашей памяти. Вообще всей памяти в норме. Это не ошибка. А тк работает память. А уже из этой работы глядясо стороны мы можем фиксировать или нет, реальные ошибки.
Большие языковые модели (LLM) наследуют эту биологическую уязвимость.
Это снова полностью ложное заявление или же наглое вранье.
Или вообще статью писало LLM
Во первых это ни разу не уязвимсть а преимущество. так как это побочный эффект развития НС который позволяет в феерическую энергоэффективность и рост информационной емкости без пропорционального увеличения вычислительных мощностей,
А во вторых модель ни чнго подобного даже близко не наследует.
Когда мы спрашиваем: «Кто написал "Муму"?», модель не делает запрос к базе. Она предсказывает следующий токен. После последовательности векторов
[Кто, написал, Муму]вектор[Тургенев]имеет вероятность 99%.
Однако эта вероятность собрана из базы и обучена на базе и построена по примитивному принципу статистического усреднения. Поэтому она не делает ошибок. эти ошибки являюисяестественным артефактом работы можели. Именно потому, что она не имеет вообще ни чего общего с биологической нейронной сетью и не умеет думать. Не умее решать нестандартные задачи. Если в обучении не было уделено достаточно внимания той или иной вероятности послдовательности симфолов. то она ни когда не сможет додуматься в чем она не права. ОНа так и будет утверждать что в слове "террариум" 2 буквы р например. и будет полностью утверждать что она права. Потому что это ни какая не ошибка. Это ее обычная работа. просто в обучении подобного сочетания последовательностей симфолов не было.
И да, это не баг. это это БАГИЩЕЕЕ целая фундаментальная деффектная проблема трансгуманистов спекулянтов которые не имея вообще ни какого понимания и биологического обазвания решили назвать этот примитивный алгоритм (НЕЙРОСЕТЬЮ) когда там от нейро нет вообще ни чего.
Именно этот шум мы называем креативностью.
А вот этот перл собственно и стригерил меня , и вынудил накатать ответ, то ли сопливому зумеру трансгуманисту, то ли намеренно обманывающему и вводящему в аблуждение людей в публичном пространстве с целью антропоморфировать примитивный ай ти продукт.
Этот шум вообще ни разу не креативность. И ни одна можель нейросети что генерация избражений или видео. вообще впринципе не способна ни на творчество ни на креативность.
Просто по определению.
Если это изображение то там прям попиксельное разбиение и заново сборка. ни какого творчества тут нет и в помине. что заложено то и генерит. На чем обучали то и выдает. только раздербанивание и компиляция из пикселей нового цнлого дает иллюзию у зкумеров неадекватных, что жто якобы творчество.
Еси же это тект , то там вообще невооруженным глазом втдно что феерический бред , который невозможно читать. ты просто вчитываться не моджешь каждое предложение завершеннаямвмль нет общей нити повествования и между строчного смысла. сухой и гладкий бред.
О каком творчестве тут можно говорить?
Творчетво и креативность это генерация принципиального новья. даже если оно уже дето известно. Это все равно синтез.
Простой пример.
перед тобой 2 системы.
1)нейросетеваямодель обученная на огромной базе(БИГДАТА) просто фееречески огпомная база квадрилионы переменных
2) естественная нервная система с принципом вырождения. всего навсего 1 млн. переменных. НО, (10% состава непрерывно растворяется в системе и тут же примерно чтолько же 10% генерируетсяв ней de novo/
Какая из этих систем будет более адаптивная?
вопрос риторический. определенно 2я
Да. первая обладает пистинеиогромным репертуаром и имеет множество решений на все случаи. НО она завершенная. Конечная. Она финальная. И этим все сказано. она может выдать ли что что в нее заложено. пусть и очень много разного. Однако вторая может выдать то чего еще не было ни в первой ни во второй причем сразу. и расширить таким образом репертуар первой.
А все потому что она А) нзавершенная и Б) необратимая. Именно эти два ключевых пункта отличают естественную чистему от искусственной.
Неужто ты ,автор, уверовал в разумный замысел*??
Что ты подразумеваешь когда хочешь убедить неокрепшие умы аудитории в том что ошибки нейросетевых языковызх моделей якобы аналоичны ошибкам человеческого мышления? Не хочешь ли ты таким образом намекнуть что нас людей человеков оказывается боженька сотворил искусственно и все завеомо везде пропимсал и расписал наперед на все случаи развития разных сценариев и прообучал модель прогнав по всем параметрам во всех пространственных положениях?? Как правил большинство айтишников креационисты. отсюда и их линейный примитивный древний тип мышления.
Способность модели (и человека) придумать несуществующее — это основа творчества, метафор и гипотез. Если зажать параметры в тиски строгой фактологии, мы получим идеальный телефонный справочник, но потеряем искру.
НЕт. основа творчества это реальная физическая генерация вырожденного состава компонентов системы. А то что поисходит в модели это вообще ни разу не творчество и даже рядом не лежало. Это лишь жалкая пародия и даже далеко не качественная имитация
Твоя гипотеза полна ошибок заблуждений и банальной религиозной антропоморфной веры. веры в рзумный замысел.
Ошибки LLM представляют собой не баг софта, а встроенную особенность архитектуры любых нейронных сетей. Мы не можем полностью устранить галлюцинации и сохранить при этом способность к обобщению или творчеству.
Поэтому, когда в следующий раз модель припишет Эйнштейну цитату, которую тот никогда не говорил, не спешите ее ругать. В этот момент она максимально похожа на человека, так как проявила фантазию там, где ей не хватило весов.
ТЕкст это не информация и ни когда не содержал в себе ни какой нформации. Текст. это код. который запускает генерацию информации у нас в голове.
Поэтому+> ошибки языковой модели- это неизбежный и априорный артефакт примитивного и тупого алгоритма обратного распространения ошибки и примитивной прямоуголной архитектуры "матрицы ячеек" с весовыми коэффициентами, помноженную на многослойность Которая вообще не имеет ни чего общего с биологической нейронной сетью вот вообще принципиально разные и ни чем вообще даже на 1 сотую долю процента не похожи.
Поэтому когда в следующий раз модель припишет Эйнштейну цитату которую он не говоил, ругайте всех айтишников и прочих ИИ одноклеточных трансгуманистов которые имеют наглость называть это (нейро) да еще и так нагло обманывать в пуличном пространстве про сходство принципов допущения ошибок.
Рекомендую все же задуматься, почему вам площадка ограничивает комментирование под той статьей. Брызги слюной аж через монитор ощущаются. У вас комментарий размером со статью, что мешало его так и оформить и избавится от премодерации комментариев предусмотренным для этого механизмом? Заодно бы остыли и хотя бы обратили внимание на красные подчеркивания практически под каждым словом от спеллчекера в браузере.
Как говорил мой дедушка, когда лупил меня ремнем:
"Когда тебя ругают или бьют, внучок, это потому что тебе только добра желают" :D
Психоистория Азимова как техническое задание: как я построил мультиагентный AI-прогнозатор