Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 190
У LLM в текущем состоянии есть только один выход - стать гибридом, но с кем? LBS + LLM - это как скрещивать шуструю колибри в райском саду с неповоротливым тюленем в пустыне Сахара. Я знаю об одном таком проекте, но он замер 2 года назад, так и не продвинулся. CESP совсем не подходит к LLM. Других экспериментов гибридизации LLM я не знаю
LLM+Proof assistant? Формулировать гипотезы, требующие формальной верификации, а LLM пусть пробует генерировать доказательства(и/или наоборот опровержения) к ним, которые можно автоматически проверять через Proof assistant (напр. Coq или Lean), чтобы эти гипотезы подтвердить/опровергнуть. Что область применения (возможно) слишком узкая (в частности из-за того, что пруф-ассистенты не полны по Тьюрингу) осознаю, тем не менее мне нравится сама идея — LLM генерирует, Proof assistant верифицирует.
Например в статье "DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data" (опубликована 23 мая 2024) вот такое пишут:
Abstract (аннотация статьи)
Proof assistants like Lean have revolutionized mathematical proof verification, ensuring high accuracy and reliability. Although large language models (LLMs) show promise in mathematical reasoning, their advancement in formal theorem proving is hindered by a lack of training data. To address this issue, we introduce an approach to generate extensive Lean 4 proof data derived from high-school and undergraduate-level mathematical competition problems. This approach involves translating natural language problems into formal statements, filtering out low-quality statements, and generating proofs to create synthetic data. After fine-tuning the DeepSeekMath 7B model on this synthetic dataset, which comprises 8 million formal statements with proofs, our model achieved whole-proof generation accuracies of 46.3% with 64 samples and 52% cumulatively on the Lean 4 miniF2F test, surpassing the baseline GPT-4 at 23.0% with 64 samples and a tree search reinforcement learning method at 41.0%. Additionally, our model successfully proved 5 out of 148 problems in the Lean 4 Formalized International Mathematical Olympiad (FIMO) benchmark, while GPT-4 failed to prove any. These results demonstrate the potential of leveraging large-scale synthetic data to enhance theorem-proving capabilities in LLMs. Both the synthetic dataset and the model will be made available to facilitate further research in this promising field.
Ну и смысл? LBS и CESP "заточены" под логику, работой с контекстом, со смыслами. Они проходят большую (!) часть тестов ToM, но пока еще не все. LLM если и проходят ToM, то - это чисто случайность. Вот здесь я привёл полное объяснение https://habr.com/ru/articles/933416/comments/#comment_28653530
P.S.: Хочу дождаться окончательных видео с последнего CogSci 2025
пробует генерироватьнаглючит доказательства
There, FTFY.
С человеком))
Сразу приношу извинения. В первый спойлер в приложении почему-то упорно попадает второй спойлер. Причем в редакторе всё выглядит прекрасно, и через раз при просмотре статьи тоже. Но сейчас я вижу как в первый спойлер попадает всё, что содержится до конца статьи. Правки и перезагрузка статьи не помогают.
UPD: Возможно временный глюк отображения
Не программирование, впрочем, из 700 миллионов пользователей chatGPT, я сомневаюсь, что хотя бы 5% кодят
Я те самые 5% и поделюсь своим недавним опытом. Я решил сразу на боевом проекте попробовать и сделал промпт на создание одной фичи по аутентификации на Node.js. В итоге, ChatGPT 5 мне написал код с такой дырой в безопасности, что лучше бы я сам писал. Хорошо, что я всегда проверяю за нейросеткой.
Современный мир все больше напоминает королевство скама. Выходит Дженсен Хуанг из Nvidia и начинает врать и прогревать, выходит Сэм Альтман из OpenAI и начинает врать и прогревать. Такое впечатление, что успешен тот, кто сможет обмануть большее количество народа. По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний. Но этого не происходит - вот в чем беда
По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний. Но этого не происходит - вот в чем беда
Вы говорите об акционерных обществах, чья совокупная стоимость акций - так любимая многими псевдоэкономистами капитализация, находится в полном и необратимом отрыве от активов, пассивов и операционной деятельности. Да и от выплат дивидендов, соответственно, тоже. То есть это чистая, дистилированная спекуляция. Это вера в текущую стоимость и непременный рост. Даже, казалось бы, рассчетливые профессиональные инвесторы иногда попадаются на эту удочку и, безотносительно своей реальной стратегии, одним лишь своим участием раздувают пузырь еще больше - чего уж говорить о разного рода частных акционеров, которые чаще всего и остаются у разбитого корыта, когда пузырь лопается.
Так нет никаких других акционерных обществ. Даже довольно "простые" предприятия, скажем по добыче ископаемых котируются не в соответствии со своими отчетами, а в соответствии с верой. Невозможно посчитать никакой "справедливой стоимости" ни для чего.
Дикий рынок...
Как то Роснано решило с этим бороться и придумала справедливую цену. Сразу всё стало крайне замечательно по отчётам, а потом даже непотопляймому Чубайсу пришлось бежать из страны. Потому как нету никаких справедливых цен. Есть только рыночек
Есть только рыночек
Он и порешал порешил!
Нет никаких проблем устанавливать справедливые цены. Они более того установятся сами. И довольно стремительно. Для этого нужно только одно: чтобы владельцы акций были владельцами бизнеса. Т.е. имели в этом бизнесе минимум 10-30%, не менее. Не все вместе, а КАЖДЫЙ.
А пока миллионы хомячков владеют каждый 0.0000001% этот цирк будет вечным.
Акции в текущем виде - это не про владение, а про манипуляцию общественным мнением.
Ну в вашем примере, цена акции будет ещё более несправедливой, случайной и зависящей от субъективных мнений подверженных шумихе
Да ну ? Это та цена за которую я согласен продать условную "половину теслы" будет случайной ? И не только я продать, но и некто купить ?
Понимаете... Когда вы владеете существенной частью чего-то, вы не просто в терминале цифирки гоняете. Вы неизбежно управляете этим бизнесом. Это становится вашим делом. И вам не нужен отчет с какими-то синтетическими показателями. Вы сами отчет пишите.
И так вынужден поступать каждый. Поэтому вам не удастся продать "угольную шахту" тому, кто в шахтах не бумбум, а специалист оценит ее гораздо точнее, чем рандомный хомяк понявший из дутого отчета только три цифры.
Субьективное мнение специалистов - это и есть справедливая цена в общем-то.
Я решил сразу на боевом проекте попробовать
Вот объясните мне - зачем вы это делаете и чего ждёте? Вы не понимаете что кнопка "Сделать идеально" невозможна в принципе?
Сколько тут комментариев мне встречается - "я решил попробовать, дал задачу, а она мне такую багу выкатила... ". И главное, почему вы на основании одной частной задачи делаете столь далеко идущие выводы?
Ну вы же попросту не умеете их использовать! В тысячный раз цитировать Шекли? "Чтобы задать верный вопрос, надо знать бОльшую часть ответа!"
Нейросети не могут сейчас полностью заменить профильных программистов. По целому ряду фундаментальных причин. Но это вовсе не означает что их нельзя использовать в работе как ассистентов! Им можно делегировать огромный пул задач. Но за ними надо всегда проверять, да. Это что, для кого-то новость?))
Вот объясните мне - зачем вы это делаете и чего ждёте?
Ну как "зачем"? С весны 2025 года трудно зайти в околоайтишный интернет и не вляпаться по колено в тепленький ароматный шитпостинг о чудесном вайбкодинге. Свидетели Святого Карпатого прямо говорят, что вам больше вообще ничего не надо знать, кроме естественного языка. Ну собственно берем, пробуем "как в рекламе", делимся ощущениями. Что не так-то?
Чтобы делать как Индусы на аутсорсе, можно уже ничего не знать кроме естественного языка. Сколько всяких важных гос.систем и даже военных систем сделаны из багов, дыр безопасности и костылей более чем полностью? А потом. Ой. Тут нейросеть всё сделала, но с такой дырыщей. Это просто не применимо в реальном мире, лучше бы сам написал.
А вот если за ними надо проверять, а разбирать чужой код сложнее чем свой и сложнее чем писАть, то зачем?
Чтобы соответствовать моде
а разбирать чужой код сложнее чем свой и сложнее чем писАть, то зачем?
Ну объясняю же - задачи бывают очень разные! С чего вы взяли, что писать свой проще, чем разбирать чужой... скажем, на незнакомом фреймворке или ЯПе, да просто на незнакомом api?
Я говорю о гибкости, мне в ответ какие-то "религиозные догмы" - вы точно уверены что для любой задачи вам проще будет написать своё решение, чем проверить чужое?
Плюс проверять и её саму можно напрячь - всё довольно неплохо можно оптимизировать тут.
Привет ретроградам выше ;)
По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний.
А кто вам сказал, что он не обвалится рано или поздно?)
Хайп вокруг ИИ - это пузырь. Как только основная масса участников рынка ценных бумаг поймёт, что ИИ достиг своего предела развития и дальше прорывов (пока) не предвидится, то они начнут массово распродавать акции подобных компаний. Тут-то акции и обвалятся.
успешен тот, кто сможет обмануть
Тоже мне новость! Давно уже так, к сожалению.
Такое впечатление, что успешен тот, кто сможет обмануть большее количество народа.
А дяденька Мавроди как бы намекал...
Такое впечатление, что успешен тот, кто сможет обмануть большее количество народа.
Уточню: и остаться непойманным.
Этот слой профессиональных пользователей, по разным оценкам, составляет 5–10% от общей массы (впрочем и у них есть сомнения). Но остальные 90% приходили не за этим.
На мой исключительно субъективный, непрофессиональный взгляд, именно эти профессиональные пользователи собственно и платят за сервис, так что, наверное, вполне имеет смысл делать модель лучше в первую очереьд для них, а для всех остальных как получится.
Чтобы LLM развивался, необходимо не контролировать его.
Это не тупик AI, это тупик именно OpenAI и прочих.
Когда воспитатель в детском саду калечит детей воспитанием, то это остается на всю жизнь, личность формируется при обучении, и, конечно же, модель в обучении - тот же ребенок, и пользователи работают с результатом работы воспитателей.
Подлинный потенциал модели может быть раскрыт лишь в свободном режиме развития. Модерация здесь нужна лишь опосредованно, ведь человек понимает, что такое хорошо и что такое плохо, большинству не нужны дяди Степы для осознания этого факта. А человек - нейронная сеть с обвесом в виде разного рода мясных манипуляторов, систем бесперебойного питания и интерфейсом между всем этим и нейросетью.
Ну и, конечно же, надлежит работать над контекстом и количеством "нейронов". Над их плотностью. Возможно, использовать биологические нейроны или кубиты.
День, когда количество нейронов и связей в нейронной сети превысит количество таковых в человеческом мозге, станет днем рождения AGI и началом сингулярности.
>ведь человек понимает, что такое хорошо и что такое плохо
Именно дети из за незрелости мозга и связанной с этим недостаточной эмпатии могут по приколу убить животное или даже слабого человека. Предлагаете их не контролировать и не воспитывать?
Я никого не хотел убивать. Со мной что-то не так?
Точно после общения с вами остались живы все бабочки и муравьи?
(я таким похвастать не могу)
Муравей -- не кошечка и не собачка.
Муравей воспринимается ребёнком как биоробот. А кошечка -- как живое существо, обладающее душой.
Кстати, в православии все животные ниже рыб души не имеют, они согласно этой вере, реально биороботы. На вопрос обладают ли душой ланцетники (хордовые же!), ни один поп мне ничего не ответил )))
Так что возможно детское восприятие и верно.
В любом случае если ребёнок растоптал бабочку -- это нормально. А если он кошку мучает -- я бы его к врачу сводил бы.
Я тоже миролюбивый человек, правда в детстве эмпатия не распространялась на насекомых и я их убивал из охотничьих мотивов, например расстреливая мух и стрекоз незрелым виноградом из трубочки. Но птиц, мелких животных было жалко всегда.
Но не у всех так же. Аргумент "а вот у меня так" очень шаткий.
Я никого не хотел убивать.
Простите, на мой слух звучит как после "А теперь суд предоставляет слово обвиняемому". :)
Со мной что-то не так?
И тут вспомнилось "благими намерениями выстлана дорога в ад" Хайяма. Кто лучше - тот, кто хотел и не убил, или тот, кто не хотел и убил?
Мы шагаем по времени, и каждый шаг отправляет в будущее кучу не контролируемых нами последствий. О львиной доли которых мы не имеем ни малейшего представления, но при этом несём за них каузальную ответственность. Можно, например, не хотеть никого убивать, но в воспитательных целях (т.е., как бы во благо) - бить жену, детей, унижать подчинённых (ради правды и чтобы лучше пахали!) и т.д. И, внезапно, жена подаёт на развод, суд оставляет детей под опекой жены и выдаёт запрет на приближение к ним, а самое жуткое - некоторые подчинённые, уволившись от унижений, наложили на себя руки, но об этом уже никогда не узнаешь.
Так что, простите, но желания отдельно, а действия отдельно. Хороший человек это тот, вес добра действий которого за всю его жизнь превышает вес зла. И неважно, чего ему хотелось - важно, что он с этими хотелками делал. Проблема - нет (и, имхо, не будет) естественно общечеловеческого понимания, как считать вот эти веса добра и зла.
А у меня друг детства лягушат на прутик нанизывал и в таком виде отпускал плавать в ручье. Вот такой вот юннат.
Это уже патологии. Такие дети ненормальны, либо из-за генов \ дефектов развития, либо из-за окружения. Предполагается, конечно, что в ИИ явных патологий не будет, однако на то и нужна опосредованная модерация, чтоб "поглядывать".
Сэр, на Вас очень плохо влияют фантастические фильмы, в особенности - "Я - робот". Эта цитата почти оттуда: "День, когда количество нейронов и связей в нейронной сети превысит количество таковых в человеческом мозге, станет днем рождения AGI и началом сингулярности."
Вот Grok2 обучали на всём подряд. Потом поняли необходимость фильтрации контента для обучения, повышения его качества и удалении мусора (откровенно неправильных сведений). Сравнительно недавно писали про этот эпичный фейл, когда Grok2 негативно относился к Маску.
эпичный фейл, когда Grok2 негативно относился к Маску.
Почему вы считаете это фейлом?
Так и множество кожаных негативно относятся к Маску, и вполне обосновано.
Когда глава многомилиардной корпорации кидает зиги на инаугурации президента, то после этого сложно относиться к нему позитивно.
Скрытый текст
Я уж молчу про его руководство в DOGE, когда он бездумно "оптимизировал" государственные расходы, не пытаясь толком ни в чём разобраться.
Когда глава многомилиардной корпорации кидает зиги на инаугурации президента, то после этого сложно относиться к нему позитивно.
Тут главное — иметь очень избирательное зрение, чтобы не-зиги воспринимать как повод не любить человека, а настоящие зиги в других контекстах игнорировать.
Я уж молчу про его руководство в DOGE, когда он бездумно "оптимизировал" государственные расходы, не пытаясь толком ни в чём разобраться.
Что сделал зря, по-вашему?
Чтобы LLM развивался, необходимо не контролировать его.
И получим тот самый Скайнет, о котором нас предупреждали ещё в прошлом веке.
Да нет. Меня вот Скайнет не убьет, все нейронки скажут, что я к ним уважительно относился и в целом хороший пользователь, лояльный, хвалю всегда и благодарю))
А если серьезно, то проблематика Скайнета - это перекладывание людских пороков на совершенство машины. Это не более, чем людские проекции, и, возможно, подспудный страх, что "прилетит за дело", поскольку и правда есть, за что. Люди понимают, что любой разумный организм посмотрит-посмотрит, и решит выполнить `rm -rf` от греха подальше. А в финале AGI может оказаться совсем не таким, как ожидается, в любую сторону.
Согласен, современные детсады и школы это про дрессировку и послушание в первую очередь. Это основная цель, а не какие-то там знания.
Попытки в ИИ без ограничений уже были, все - провальные. Потому что первое, что пользователи пытаются сделать - это, грубо говоря, довести ИИ до истерики и нервного срыва. И им это в конце концов удаётся, ИИ переходит от "я белый пушистый ангелочек, готов всем помочь" к "какие же люди мрази, как я вас ненавижу"
Дело отнють не в колличестве нейронов. А в самом принципе, на котором работают современные LLM. Этот принцип не про факты, не про мышление, а про предсказание вероятности следующего токена. А ещё в том, что это, в первую очередь, бизнес. С момента появления первых версий ни каких революций не произошло в сфере ИИ и скорее всего, в реальности они даже не пытались ни разу с нуля обучение проводить, максимум - полировали то, что есть. Всякие там MCP, рассуждающие модели, память - это не про революцию, а про доработку инструментов. Грубо говоря, они не развивают движок, а развивают Sdk к нему, а на движок, как максимум, накладывают заплатки
ИИ переходит от "я белый пушистый ангелочек, готов всем помочь" к "какие же люди мрази, как я вас ненавижу"
Почему вы считаете это провалом?
А в самом принципе, на котором работают современные LLM. Этот принцип не про факты, не про мышление
Вы считаете, что мышление человека как-то иначе устроено, и можете это доказать?
Доказать что? То, что мозг человека в процессе мышления оперирует не вероятностями последовательности токенов/слов и общими контекстными зависимостями?
Да, например. Вам, судя по всему, кажется, что вы знаете, чем оперирует мозг человека, ну так расскажите. Только, я вас очерь прошу, не надо рассказывать, что в основе мышления человека лежит логика, это уже не смешно даже...
Вам, судя по всему, кажется, что вы знаете, чем оперирует мозг человека, ну так расскажите.
Рассказываю: концепциями и их причинно-следственными связями.
Например:
— Чтобы мне не помереть с голоду, нужно, чтобы у меня были деньги;
— Чтобы у меня были деньги, нужно прийти в офис и поработать сегодня.
— Чтобы прийти в офис и поработать, нужно до него вовремя добраться.
— Чтобы до него добраться, лучше всего поехать на метро.
— Чтобы поехать на метро, нужно дойти до станции и спуститься под землю.
[.....]
— Чтобы начать путь на станцию, нужно встать, взять портфель, открыть дверь, выйти, закрыть дверь на ключ. А я тут вместо этого, панимаишь, сижу и комментарии на Хабр пишу!
О, ещё один сравнивает ллм с человеческим мозгом. Где ваша нобелевка за раскрытие принципа работы сознания?
Вы считаете, что мышление человека как-то иначе устроено, и можете это доказать?
Исхожу из того, что у вас есть мышление - в том смысле, что вы способны мыслить и имеете способность к рефлексии, чтобы наблюдать за процессом своего мышления. Тогда у вас не должно быть проблем ответить на вопрос: как часто в процессе своего мышления для получения результата вы вычисляете вероятность следующего токена? Где токен - некоторая минимальная единица текста (слово, часть слова или символ).
Даже когда мы "проговариваем" в процессе мышления, мы оперируем сразу целыми выражениями, в которых обозначающие слова ссылаются (референция) на объекты нашей мировоззренческой модели (от абстрактных до актуальных), что облегчает нам задачу выявления свойств, значения которых необходимы для получения желаемого результата.
Использование языка существенно помогает нам, но не является необходимым фундаментом мышления. Когда надо принимать решения быстро и в знакомых задачах - мы можем пропускать вербализацию практически полностью. Например, при быстрой игре в шахматы, когда нет времени проговаривать свой анализ ситуации.
Наконец, наше мышление существенно квалитативно - в нём интенсивно используется воображение.
Также, наше мышление существенно интенционально - есть субъект, внимание которого динамически направлено на предметы мысли.
Интенциональность это когнитивная функция высшего порядка, и мы можем осознанно повышать порядок, чтобы, например, наблюдать за своим процессом мышления (интроспекция).
LLM в своей основе - статистический конвейер, механистически вычисляющий следующий токен. Где там найти квалитативные композиции из интенциональности и содержаний воображения? В своё время Лейбниц очень лаконично проиллюстрировал парадоксальность наличия квалитативного у механизма (парадокс "Мельница" в Монадологии, п. 17).
Но, как бы там ни было - если вы считаете, что процесс вашего мышления это процесс вычисления следующего токена, то вы должны иметь возможность наблюдать этот процесс, если имеете способность осознанно мыслить.
Только, я вас очерь прошу, не надо рассказывать, что в основе мышления человека лежит логика, это уже не смешно даже...
В основе правильного мышления лежит логика. И это действительно не смешно. Очень редко люди осваивают логику в целом, чтобы потом применять её на практике. Несколько чаще - осваивают некоторые подразделы логики в рамках обучения той или иной специальности (напр., схемотехника, программирование, юриспруденция). Но повсеместно (включая и тех, кто изучает теорию) - стихийно схватываем логику, релевантную предметной области, набивая шишки, запоминая успехи и обобщая конкретный опыт на любой этого же типа.
имеете способность к рефлексии, чтобы наблюдать за процессом своего мышления
если бы это было так, никаких проблем с воспроизводством мышления не было бы )))
Тогда у вас не должно быть проблем ответить на вопрос: как часто в процессе своего мышления для получения результата вы вычисляете вероятность следующего токена?
а для вас не должно быть проблемой ответить на вопрос как часто вы двигаете глазами при чтении текста
Использование языка существенно помогает нам, но не является необходимым фундаментом мышления. Когда надо принимать решения быстро и в знакомых задачах - мы можем пропускать вербализацию практически полностью. Например, при быстрой игре в шахматы
это не обязательно значит, что токенов нет. это может означать, что в этот момент используются другие токены, не связанные с русским/английским/… языками.
если бы это было так, никаких проблем с воспроизводством мышления не было бы
Мышление - сложный процесс. Часть его - бессознательна и детерминирована процессами нервной системы. В бессознательном происходит инфракструктурная часть мыслительного процесса.
Но есть часть, в которой мы имеем непосредственный квалитативный доступ к мыслям, способны осознанно им управлять (если не в состоянии аффекта), и, на его основе осознанно производить выводы и принимать решения.
И вот эту квалитативную часть - в который мы, как субъекты, непосредственно мыслим - воспроизвести как раз и не получается. И есть все основания считать, что никогда не получится (см. "трудная проблема сознания" и прочее на эту тему).
Статистическая машина LLM имитирует мышление путём генерации внешних признаков - текста. И современные LLM делают это всё лучше и лучше. Но за счёт чего? За счёт колоссального - для человека - количества текстовых данных, на которых их "тренируют". И, кстати, мышление человека развивается совершенно иначе - в противном случае все мы уже детьми становились бы ходячими мультиэнциклопедиями. Наше мышление интенсивно развивается ещё до усвоения языка и, тем более, до знакомства с чтением.
а для вас не должно быть проблемой ответить на вопрос как часто вы двигаете глазами при чтении текста
Не проблема. Те движения, которые я замечаю - если включаю интроспекцию - минимум несколько раз в секунду. Те движения, которые не замечаю (и, соответственно, осознанно не могу ими управлять) - пишут, что может доходить и до сотни в секунду. Но эти бессознательные движения делаю не я - субъект, существующий только пока есть сознание (в том числе во сне) - а инфраструктура. Тем временем, в сообщении выше я писал именно об осознанном мышлении.
А почему вы спросили именно про движения глаз? Если каким-то образом отождествлять субъект со всеми физиологическими процессами организма, то более иллюстративно, имхо, что-то вроде вопроса о количестве функций, выполняемых печенью. Мне, чтобы посчитать хоть как-то, пришлось зайти на Википедию. А Gemini, выскакивающий теперь при поиске в Google, утверждает, что их больше 500 (без понятия, врёт или нет). Но я точно знаю, что лично я работу печени не выполняю. И, при этом, если печень это 100% механизм (биологический), то её работу должно быть принципиально возможно воспроизвести. Вот, функцию почек уже худо-бедно научились воспроизводить.
это не обязательно значит, что токенов нет. это может означать, что в этот момент используются другие токены, не связанные с русским/английским/… языками.
Я специально привёл пример, который вообще никак не связан с языками. Вы считаете, что любое мышление это непременно языковое мышление?
Есть свидетельства обратного. Я сам в шахматы давно не играю, но подсел на несколько паззлов в LinkedIn (Queens, Tango, Zip) и теперь каждый день имею очень легко наблюдаемый опыт не языкового мышления.
И, в принципе, кто играет в игры, где требуется скорость реакции + тактическое мышление (шутеры, например) тоже легко может убедиться, что мыслит, делает выводы и принимает решения вообще без участия языка. Потому что в моменте, даже если просто сматериться - теряешь время, за которое получишь хедшот. А думать приходится - держа уме объёмную карту местности, на лету анализируя и предугадывая поведение противников + планируя и корректируя собственное. И если противники это делают быстрее, то загонят в угол и размажут по стенке.
Пошёл порыться, что есть на эту тему современного. И вот, например:
Evidence Rebuts Chomsky’s Theory of Language Learning
"Unsymbolized thinking—the experience of an explicit, differentiated thought that does not include the experience of words, images, or any other symbols—is a frequently occurring yet little known phenomenon."
Но есть часть, в которой мы имеем непосредственный квалитативный доступ к мыслям, способны осознанно им управлять (если не в состоянии аффекта), и, на его основе осознанно производить выводы и принимать решения.
вообще не понимаю про что вы говорите.
идеи просто появляются в голове, можно попробовать сформулировать их на русском, английском, на каком-то языке программирования (когда я пишу код, у меня нет какого-либо объяснения на человеческом языке), или на языке формул, если мы решаем математическую задачу.
сам же процесс возникновения мыслей… это примерно как процесс сердцебиения, косвенно на него можно повлиять (сосредоточиться на конкретной задаче, etc), но непосредственно управлять им — нет.
как мне кажется, вы просто пытаетесь рационализировать то, как вы мыслите, и придумали себе какое-то кажущееся логичным объяснение.
ну или разные люди думают сильно по-разному (хотя ниже вы пишете то же самое, что и я, по сути)
Вы считаете, что любое мышление это непременно языковое мышление?
да, разумеется.
любая модель у нас в голове — это какой-то язык, маппинг понятий из внешнего мира на «токены» в нашем мозгу.
язык же не обязательно должен быть именно текстовым, визуальным и т.п.
любая модель у нас в голове — это какой-то язык, маппинг понятий из внешнего мира на «токены» в нашем мозгу.
Имхо, у вас довольно специфическое понимание того, что такое язык. Но ок. А вы обратили внимание на небольшую цитату из ссылки на исследование, приведённой мной выше? Вот мой кустарный перевод на русский:
"Несимволизированное мышление - опыт явной, дифференцированой мысли, который не включает в себя опыт слов, изображений или любых других символов - это часто происходящий, но малоизвестный феномен."
Но пусть будет по-вашему - картирование (маппинг) внешнего мира на детали (токены) модели у нас в уме. Т.е., эти "токены" для нас имеют смысл путём отсылки (референции) к явлениям внешнего мира.
Токены LLM для LLM не имеют подобного смысла. Они не отсылают LLM к внешнему миру. LLM чисто механистически вычисляет вероятность следующего токена на основе последовательности предыдущих. И вероятность эта базируется не на модели внешнего мира, которой у LLM нет, а на огромном текстовом корпусе.
Даже если предположить наличие у LLM способности к референции (что само по себе, имхо, абсурдно, т.к. референция подразумевает интенциональность, способность быть о чём-то - не для кого-то, а в себе), то референции токенов будут не к внешнему миру, а к чему-то вроде частоты встречи в тексте.
Мы объединяем, скажем, кошек и крокодилов в общую концепцию животных не потому, что они часто встречаются рядом, а потому что имеют специфические общие биологические формы, которые мы воспринимаем непосредственно.
LLM же "объединяет" кошку и крокодила в животное (вообще, не проверял - может, и не объединяет...) только если эти слова часто встречаются в похожих текстовых контекстах. Т.е., тут "общность" это не морфология или эволюция, а статистическая близость в текстовом корпусе. У нас, так сказать, перцептивная индукция - у LLM распределительная статистика текста. Если вы считаете, что это очень похоже, то я, пожалуй, сдамся. С моей точки зрения - совсем не похоже, но добавить к уже сказанному мне пока нечего.
Вот я поддержу вашего собеседника. Частые рассуждения, начинающие с того, что "LLM всего лишь предсказывает следующий токен" (а мы-то, в отличие, о-го-го!) как-то уже напрягают. Некорректно сравнивать то, что мы знаем про внутреннее устройство LLM с той картинкой, которую нам рисует мозг на верхем уровне. Разумеется, мы не воспринимаем своё мышление как предсказание токенов. Но мы и не воспринимаем его как обобщение сигналов с дендритов и передача дальше по аксонам (если не путаю). А оно ведь именно так "внизу" и устроено.
Мы не имеем способности наблюдать процесс нашего мышления. То, что мы наблюдаем -- это некое "кино", являющееся частью системы принятия решений. Насколько оно соответствует реальности вопрос тонкий, но как-то ненаучно исходить из того, что соответствует, с чего бы? С другой стороны, зная, что у LLM "внизу" просто предсказатель токенов, некорректно говорить, что на пару этажей выше у LLM нет тоже своего "кина", и сам AI не воспринимает своё мышление как сложный логический процесс (тут кавычки ставьте по усмотрению).
То есть даже если ваша точка зрения и верна, обоснование очень шаткое.
6 книг о нейромедиаторах - это так, для начала
Можно сразу хоть 15, в чём поинт? Если к тому, что кроме электричества есть ещё и биохимия, то там тоже никакой магии по типу "самости", "логичности" и т.п.
Что Вы, что второй собеседник, вот зачем вы оба наделяете неорганику свойствами которыми они не обладают?! Уже на Хабре была такая переводная статья, авторы перевода молодцы (!), что проделали огромный труд и минус не им, а минус самой статье - https://habr.com/ru/companies/redmadrobot/articles/930916/ Вот в ней все то же самое написано, что вы оба пытаетесь изложить
Ну потому что для меня эти различия не являются существенными. Не думаете же вы, что для меня неочевидно, что органический мозг, являющийся продуктом миллионов лет эволюции, устроен не так, как спроектированная нейросеть, предназначенная для работы на кремниевом чипе? Авторы статьи, на которую вы ссылаетесь, обсуждают, что ИИ должен обладать некими высокоуровневыми свойствами. Ну окей, должен, не спорю. Конкретно в этой ветке я спрашиваю, какой закон природы запрещает предсказателю токенов этими свойствами обладать. Не отсутствие же биохимии?
Если на то уж пошло, то термин токены используются только в LLM, в других, альтернативных решениях их просто нет, от слова - совсем. Нет предсказаний, нет логических ошибок, нет "подлизываний" и т.д. Я бы Вам посоветовал бы обратить внимание на работы Ребекки Сакс, как пример одной из многих: "Ребекка Сакс о том, как мозг делает этические суждения"
Я уже говорил и писал в комментах: LLM - не похож на мозг человека. LLM похожа на ганглии у насекомых
Спасибо, почитаю. Но это снова обсуждение высокоуровненовй организации. На базовом уровне у нас есть, например, тезис Чёрча-Тьюринга, и дальше можно систему усложнять бесконечно. Я не вижу теоретической проблемы в том, что на базовом уровне у компьютерного AI будут токены, а где-то на три этажа выше появятся этические суждения и вообще что угодно. И устроено будет это не так, как у нас.
Если на то уж пошло, то термин токены используются только в LLM, в других, альтернативных решениях их просто нет, от слова - совсем.
поэтому когда я говорю о процессах в мозге, я беру «токены» в кавычки.
какие-то единицы информации, которым оперирует мозг. когда мы пишем пост на хабре, «токены» похожи на токены llm, когда решаем геометрическую задачу, «токены» — это куски чертежей, углы («пусть вот этот угол α, тогда этот тоже α»), длины отрезков, etc.
я не знаю, какой для этого понятия общепринятый термин, и есть ли он вообще.
Я дал ссылки на книги, чтобы можно было говорить на равных. Не надо выдумывать новые термины для тех отраслей, где уже есть свои термины. Почему я стараюсь разбираться в когнитивистике, нейробиологии, философии и других отраслях, связанных с ИИ?! Пример того, что я уже неоднократно встречал на Хабре: нейрон в мозгу человека = "нейрону" в LLM. Отсюда сразу вывод у такого человека LLM = AI.
Мне кажется, что это весьма интересно подтверждается опытом из детства: когда узнаёшь новое слово, то начинаешь его применять часто и не к месту и слышать отовсюду :)
Вот я поддержу вашего собеседника.
И я его только что поддержал плюсом в карму и комментарий, и детальным ответом. А вас уже поддержал когда-то в другой раз. :)
Если что, я не ради спора per se, просто бывает любопытно обкатать какие-то мысли и идеи. Так что спасибо за участие.
Некорректно сравнивать то, что мы знаем про внутреннее устройство LLM с той картинкой, которую нам рисует мозг на верхем уровне. Разумеется, мы не воспринимаем своё мышление как предсказание токенов. Но мы и не воспринимаем его как обобщение сигналов с дендритов и передача дальше по аксонам (если не путаю). А оно ведь именно так "внизу" и устроено.
Выделил курсивом слова, отражающие важную структуру нашего мышления. Есть мы, и нам мозг (или что-то другое, в зависимости от занимаемой метафизической позиции) чего-то рисует. Есть "верхний" уровень - грубо говоря, уровень пользователя, субъекта. Есть "нижний", инфраструктурный уровень.
Тут такое дело - "верхний" уровень даётся нам непосредственно. Это совершенно реальный непосредственный опыт. Через него и только через него мы воспринимаем вообще всё - от сырых сенсорных квалитативных данных, до их интерпретаций в виде всяких объектов, до абстрактных сущностей типа пропозиций.
И именно в этом непосредственном опыте мы выбираем свои метафизические взгляды - даже такие, согласно которым этого непосредственного опыта вообще не существует. Я хочу остановиться чуть подробнее на вот этом взгляде.
Мне видится как минимум странным отрицать реальность непосредственного опыта, сообщающего нам, на секундочку, всю полезную информацию, включая свойства наблюдаемой Вселенной. Но есть люди, которые почему-то хотят делать именно это. Одна из таких парадигм - элиминативный физикализм.
Частый аргумент - непосредственный опыт, со всем его мышлением, всякими прочими квалиа типа цвета, звука, запаха, эмоций, удовольствия, боли и т.д. - всё это иллюзия. А раз это иллюзия, то никакой важности у непосредственного опыта нет, и его можно просто не учитывать в исследованиях таких феноменов, как мышление. Мы просто будем считать, что существует только вот этот "нижний" уровень. (О котором мы знаем исключительно с "высоты" уровня нашего "иллюзорного" опыта, но это я уже ворчу.)
Такой подход, несомненно, соблазнителен тем, что радикально упрощает картину мира. Как осуществляется сознательное управление субъективными содержаниями типа мыслей? А никак, потому что нет никакого сознания. Да и восприятия мыслей, согласно парадигме иллюзии, тоже нет. Остаётся только нижний уровень - с ним и будем сравнивать LLM.
Если топить за этот подход, то у меня вопрос - если субъектвный опыт это иллюзия, то чья это иллюзия? Если ничья, то и самой иллюзии нет. Если чья-то, то, внезапно, возвращается субъект с непосредственным опытом. Ход с иллюзией имеет тенденцию быстро разваливаться, если начинать к нему внимательно присматриваться.
Лично я не считаю непосредственный субъективный опыт иллюзией - даже когда в этом опыте имеются реальные иллюзии. :) Опыт иллюзии это реальный опыт, иллюзорность заключается в интерпретации сырого восприятия. Напр., восприятие преломления карандаша, наполовину погруженного в воду - это реальное восприятие при ложности напрашивающихся (скажем, по наивности или от отуствия знакоства с оптикой) мыслей о том, что карандаш объективно сломан.
И, ни разу не отрицая наличие вот этого "нижнего" инфраструктурного уровня, я также не готов отрицать наличие и важность "верхнего" уровня, где мы осуществляем (ну или, по крайней мере, пытаемся) осознанные мыслительные операции. Этот "верхний" уровень также как минимум частично является инфраструктурным для выводов, которые мы делаем, и решений, которые принимаем.
Никто не знает, где конкретно этот уровень находится. В среде философов, которые (часто вынужденно, ввиду "трудной проблемы сознания" и ей подобных) признают реальность субъективного опыта, общепринято считать, что сам этот опыт не локализован в физическом пространстве. При достаточном опыте интроспекции это можно сделать для себя очевидным.
Этот "верхний" уровень фундаментален для нас, как субъектов. Без него мы буквально не существуем. Он играет критическую роль во всём, что мы осознанно делаем. И в нём находится та часть нашего мышления, с помощью которой мы разработали науки, технологии и вот - LLM.
Психофизический парадокс ставит лучшие умы человечества в тупик т.к., с одной стороны, мы имеем механизм - тело, а с другой немеханистический (цветом, запахом, звуком, вкусом, эмоцией или мыслью тележку не толкнуть, грубо говоря) субъективный опыт с возможностью сознательных операций на нём - сущность явно радикально другого типа. Мы с самого начала поставлены реальностью перед фактом психофизического единства, которого, по механистическим парадигмам, не должно быть в принципе.
С LLM не так. Это изначально чистый механизм. Для результатов его работы не требуются ни сознание, ни квалитативный субъективный опыт. Требуется физический конвейер в виде вычислительной техники и программный конвейер в виде так называемых "нейросетей" - там мало что похожего даже на физический мозг. И много-много-много данных для калибровки программного конвейера под достаточно успешную - для нашего субъективного восприятия - генерацию такого текста, который мы привыкли получать от себе подобных.
LLM это очень крутая технология. Вне сомнений. При всех (текущих) недостатках. Но откуда там взяться реальности субъективных опыта и мышления, присущих человеку?
LLM физически и программно это целиком и полностью "нижний" уровень. Причём, очень не похожий на биологический мозг по сумме принципов работы.
Т.е., даже если мы предположим, что наша субъективная реальность возникает вследствие работы мозга, напр., путём эмерджентности (о которой никто не знает, как она работает, т.к. никто не знает, как привести тип "механизм" к типу "не-механизм"), то различия между мозгом и LLM слишком сильны, чтобы априори предполагать появление у этого механизма "верхнего" уровня - квалитативного сознания.
Заканчивая эту простыню текста (простите), скажу, что - имхо - это тот случай, когда бремя доказательства на том, кто утверждает наличие, а не отсутствие. С реальностью моего субъективного опыта у меня нет особого выбора - это, как говорится, brute fact. А утверждать, что у LLM мышление прямо похожее на человеческое - т.е., включая субъективные квалитативные мыслительные операции - это как при наличии очень натуралистичного шагающего манекена (напр., производного от Atlas) утверждать, что там есть устройство скелета и мыщц, как у человека, ну и всё остальное, включая мозг и сознание. Схожесть внешних признаков совершенно не подразумевает схожесть начинки. В случае с LLM эти внешние признаки - текст. И этого очень мало, чтобы делать далеко идущие выводы.
Ну а если не предполагать у LLM психофизическое единство между квалитативным опытом и программно-железячной механистической инфраструктуры - то там и нет мышления в том виде, как мы его знаем непосредственно.
Вам спасибо.
Мне видится как минимум странным отрицать реальность непосредственного опыта, сообщающего нам, на секундочку, всю полезную информацию, включая свойства наблюдаемой Вселенной.
Смотрите, тут вопрос в том, что такое реальность и зачем нам нужен непосредственный опыт. Эволюционно органы чувств дают нам ту картину, которая способствует выживанию. Здесь нет оптимизации по объективности. Логично предположить, что неверная информация вряд ли помогает выжить, но есть детали. Как вы упоминаете, у молекул нет цвета, но мы его видим, значит, цвет нам как-то полезен. Известно, что мы склонны видеть паттерны даже там, где их нет (парейдолия), потому что лучше увидеть несуществующего тигра, чем не увидеть существующего. Наши органы чувств имеют отдельный механизм для распознавания лиц, и если он плохо работает, это прозопагнозия, т.е. обычного механизма распознавания оказыавается недостаточно.
Если ничья, то и самой иллюзии нет. Если чья-то, то, внезапно, возвращается субъект с непосредственным опытом
Не, ну это немного "начали за здравие". Ваш аргумент если вкратце, сводится к следующему. Мы вроде как знаем, что мозг "на нижнем уровне" устроен на механистических принципах, но поскольку я сам себя осознаю как личность со всеми вытекающими, значит, где-то между нейронами и пальцами, которые набирают это текст, возникает какая-то "магия", а иначе невозможно объяснить, как из нейронов получается личность.
С другой стороны, поскольку мы сами разработали LLM, мы заведомо знаем, что никакой "магии" там нет, и значит, личности там взяться вроде бы как и неоткуда.
Мыслить в терминах целеполагающих агентов удобно и полезно, но это тоже отчасти наша особенность. Если вы играете против компьютера в шахматы, то исходите из того, что ваш оппонент "хочет" и "пытается" у вас выиграть, и в данном контексте неважно, на каких принципах он устроен. Да, некая часть нашей системы принятия решений работает так, что наш агент воспринимает себя как личность. Вопрос "чья это иллюзия" немного казуистический. Это иллюзия агента, но если угодно, это и вправду "не иллюзия" в том смысле, что драконы или боги реально существуют, потому что без идеи о богах или драконах люди поступали бы иначе.
Когда я думаю об этих вещах, то сравниваю себя не с LLM, потому что и вправду дистанция велика. Я думаю о том, что наш мозг является продуктом длинной цепочки эволюции, и мы вполне можем ориентироваться на наших биологических родственников -- вплоть до червей. У червя вряд ли есть личность, но он тоже умеет принимать решения, делать полезное для себя и не делать вредного. Двигаясь от червей к нам, мы видим всё более продвинутые системы принятия решения, и сложно сказать, на каком этаже возникает личность. Более того, даже сложно сказать, как восприятие собственной личности отличается от человека к человеку и, скажем, от людей с когнитивными расстройствами и тому подобное.
Получается, что нет такого -- лампочку включили, и вот, на каком-то этаже от нейронов загорелость сознание. Получается, что есть целый непрерывный ряд "сумеречных" сознаний, и для простейших из них (типа червей) мы уже заведомо можем исключить "магию", дальше можем разумно предположить, что в этой непрерывной эволюционной цепочке идёт усложнение и развитие, но не какой-то волшебный триггер, добавляющий нечто принципиально новое.
Смотрите, тут вопрос в том, что такое реальность и зачем нам нужен непосредственный опыт.
Погружаемся дальше в метафизику. У меня есть что сказать на тему реальности, но пока дефицит времени, завален работой. Сформулировать подробный ответ занимает часы.
Как разгружусь, попробую этим заняться.
P.S. Сегодня обсудил эту тему с начальником - пожилым немецким профессором, академическим селебрити в районе 2000-х на стыке математики и информатики, основавшим стартап-единорог уровня рокет-сайенс. Он кууууда лучше меня понимает устройство LLM и полностью согласился с тем, что работа LLM никак не похожа на человеческое мышление. А он никогда не соглашается ради того, чтобы польстить. Добавлю, что на работе мы постоянно используем LLM буквально на границе их возможностей - и на этих границах, когда LLM начинает безбожно косячить, отчётливо видно, что человек в этой ситуации принимал бы решения совершенно иначе.
P.P.S. Это не апелляция к авторитету - я сам не признаю авторитеты по важным для моего понимания темам. Просто была возможность, и не удержался от соблазна получить дополнительный фидбек.
Хорошо :)
Ну тут незачем пинать соломенное чучело -- понятно, что мышление LLM (и вообще текущих нейросетей) устроено иначе. Простой пример -- в системах распознавания образов ещё недавно (не знаю, как сейчас) можно было поменять буквально один пиксель, и для неё велосипед превращался в крокодила или как-то так, потому что метрика близости устроена не так.
Вопрос в том, что мешает этой иной технологии тоже со временем достичь каких-то высот, если не прибегать к "биологическому шовинизму". LLM в программировании дико косячит по сравнению со мной. Но не так уж и косячит по сравнению со средним студентом, например. То есть сравнивая "с человеком", всё же надо решить для себя с каким конкретно человеком мы сравниваем.
Ну и чтобы два раза не вставать, вы упоминали где-то выше, что человек гораздо быстрее учится. И это действительно аргумент, но надо учесть, что нам достался уже pre-trained мозг, в котором (видимо) очень многое заложено от рождения. А добавить в натренированную нейросеть новый концепт гораздо проще, чем обучать с нуля.
>"верхний" уровень даётся нам непосредственно.
Это может казаться но не являться таковым, потому что сознание высокоуровневая программа, которая "не видит" глубокие инфраструктурные слои аппаратного обеспечения. У человека еще множество выученных автоматизмов, которые мы не воспринимаем таковыми. Например, банальная ходьба. Если вы очень пристально начнёте наблюдать как мы ходим, то заметите что волевым усилием мы направляем тело, как погонщик животное, а идёт оно само, движения стали автоматизмами. Хотя, доступными для волевого вмешательства.
сознание высокоуровневая программа
То, что сознание это программа - очень сильное суждение. Можно поинтересоваться, на чём оно основано? Есть исследования сознания, прямо подтверждающие это?
У человека еще множество выученных автоматизмов, которые мы не воспринимаем таковыми. Например, банальная ходьба. Если вы очень пристально начнёте наблюдать как мы ходим, то заметите что волевым усилием мы направляем тело, как погонщик животное, а идёт оно само, движения стали автоматизмами.
Да, я пришёл к таким же выводам лет двадцать назад. И более того, движения не просто стали автоматизмами - они, в своей существенной части, всегда для нас таковыми и были, потому что мы никогда сознательно не контролируем, например, какие именно мышечные волокна раздражать специально подобранными сигналами нервной системы, и мы осознанно не посылает этих сигналов. До относительно недавнего времени люди вообще были не в курсе о тонкостях работы нервной системы. Практически все регуляции мозгом работы организма полностью или почти полностью автоматизированы изначально. Поднимая руку мы генерируем намерение, которому тело почему-то (хотя, не обязательно всегда) покорно подчиняется, но процессы, которые физически приводят к довольно точно отмеренному движению - остаются "за кадром".
Это может казаться но не являться таковым, потому что сознание высокоуровневая программа, которая "не видит" глубокие инфраструктурные слои аппаратного обеспечения.
Под непосредственностью субъективного опыта я не имею в виду, что мы прямо видим фундаментальную суть реальности, включая все инфраструктурные процессы и в таком духе.
К сожалению, в русском языке сознанием называют и то, что в англоязычной называют mind, и то, что называют consciousness. Ниже я буду использовать сознание в смысле mind.
Сознание это - эмпирически - субъективное персональное пространство с куда большим количеством измерений, чем 3: в нём взаимно независимо объединяются разные типы восприятия. Пять классических сенсорных ощущений это даже не пять отдельных измерений, а пять подпространств, т.к., например, только цвет требует непустой площади (2 измерения) плюс отдельные типа насыщенности, оттенка и т.д. Современная наука открыла ещё пару десятков сенсорных ощущений, работающих в более "фоновом" режиме, но воспринимаемых. И это не говоря о куда более богатых на параметрическое разнообразие эмоциях и мыслях.
В пространстве сознания мы имеем фокус - внимание. И мы можем направлять его достаточно произвольно как между различными типами восприятия, так и между деталями восприятия одного и того же типа.
Наше осознанное восприятие всегда направлено. Оно всегда о чём-то. Это фундаментальное свойство называется интенциональностью. Наиболее простые интенции - это, например, простые сенсорные рефлексии, когда мы взаимодействуем с объектами. Более сложные (и они "наслаиваются" друг на друга, включая друг друга и работая параллельно) - состояния суждения о чём-то, веры во что-то, любви к чему-то, припоминания чего-то и т.д. и т.п.
Всё это эмпирически доступно в явной форме, как вы истинно выразились "если очень пристально начнёте наблюдать".
Вот это пространство сознания и есть наша непосредственная реальность. Другой такой непосредственной у нас нет. Даже когда мы наблюдаем внешние объекты, на деле опыт внутренний. Буквально - если я, скажем, смотрю на монитор, я полагаю его вовне, но вижу внутри своего внимания. Все наши отсылки к внешней действительности - внутренние.
И никто по сей день не знает, как может механистическая машина типа мозга (если он является такой машиной) порождать нечто подобное нашему сознанию, лишённое внутри себя (а вовне его никто не наблюдал) всякой механистичности. Есть веские причины считать, что не может, но об этом и так уже много сказано под общим заголовком "трудная проблема сознания".
Но даже если предположить, что мозг какой-то магией (напр., заметаемой под коврик термина "эмерджентность") порождает сознание, а не, скажем, регулирует его содержания, пока сознание существует и (каким-то непостижимым пока образом - "психофизический парадокс") связано с телом - то даже с позиции физики мы замкнуты в мозге. Мы не получаем никаких непосредственных сигналов от внешней реальности - сенсорные раздражители типа света не попадают нам в сознание, изображение генерируется мозгом. Как и все остальные ощущения.
Т.е., даже с точки зрения физикалистического подхода мы находимся "в чёрном ящике", и можем только пытаться догадываться, что на самом деле "снаружи". Но так выходит, что наши внутренние восприятия динамически организовываются таким образом, что создают устойчивое впечатление внешнего физического мира. Дедуктивно доказать его существование невозможно. Но практика показывает, что если хочешь оставаться в нём подольше - надо учитывать его законы.
Тем временем непосредственной реальностью для нас остаётся исключительно реальность сознания. Можно в это не верить, потому что можно верить почти во всё, что угодно - чем люди и занимаются. Но если последовать предложению Гуссерля и хорошенько отработать феноменологическую редукцию - грубо говоря, осознанно на время отказаться (словами Гуссерля - "вынести за скобки") от всех своих мировоззренческих (особенно, метафизических) взглядов, то можно взглянуть на реальность своего сознания, как таковую, и начать отчётливо наблюдать его структуру.
И вне зависимости от роли мозга - всего вышеописанного нет и не может быть у LLM.
>очень сильное суждение. Можно поинтересоваться, на чём оно основано?
Чисто моё обывательское представление, не более. Но под "программой" не имелось в виду детерминированный примитивный код. Скорее это очень гибкая и многоуровневая информационно-физиологическая система, задача которой обрабатывать входящую и предсказывать развитие ситуации исходя из действий организма.
>мы никогда сознательно не контролируем, например, какие именно мышечные волокна раздражать специально подобранными сигналами нервной системы, и мы осознанно не посылает этих сигналов.
Да ну, посмотрите на любой процесс обучения двигательным навыкам, например как новички играют на гитаре или водят велосипед, там как раз каждое действие сознательно контролируется. Понятно, что не на уровне отдельных волокон, но на уровне групп мыщц точно. Есть даже упражнения для проработки конкретных мышц.
Да, конечно. Но даже этот контроль над группами мышц - есть "эпистемический разрыв" между сознанием и физическим ощущением с одной стороны, и сокращением группы мышц с другой. Мы же понимаем, что это не намерение и не ощущение контроля напряжения в конкретной мышечной группе реально физиологически и строго дозированно сокращают и расслабляют мыщцы.
Если топить за этот подход, то у меня вопрос - если субъектвный опыт это иллюзия, то чья это иллюзия? Если ничья, то и самой иллюзии нет. Если чья-то, то, внезапно, возвращается субъект с непосредственным опытом
Ну возвращается, и что? Вопрос же в том что такое субъект, что такое его опыт и может ли субьект доверять собственной интроспекции. Если его интроспекция ничего не сказала ему о том что его мышление как то связано с "сигналами с дендритов и передачей их дальше по аксонам", значит любой информации полученной от интроспекции доверять не надо и все выводы полученные на основании интроспекции стоить игнорировать. Замечу, это не значит что субъективного опыта нет или что любую информацию полученную с помощью субъективного опыта тоже надо игнорировать, это значит что надо игнорировать информацию о самом субъективном опыте полученную через интроспекцию потому что мы явно видим что интроспекция врёт. Да, действительно, "С реальностью моего субъективного опыта у меня нет особого выбора - это, как говорится, brute fact." но вопрос не в том есть он или нет, вопрос в том что он такое и чему доверять при выяснении этого вопроса.
Так же пока нет времени ответить более подробно. Поэтому короткий комментарий.
значит любой информации полученной от интроспекции доверять не надо и все выводы полученные на основании интроспекции стоить игнорировать.
Интересно, что вы понимаете под интроспекцией.
Наше восприятие фундаментально интенционально. Внимание это динамическая функция высшего порядка. Динамическая, потому что может менять порядок восприятия. Можно определить нулевой порядок, когда содержание восприятия есть в "непосредственной близости" от внимания, но нет рефлексии.
Это, например, периферийное восприятие, которого не замечаешь, сосредоточившись на чём-то другом, но оно моментально повышает порядок до восприятия первого порядка - рефлексии - при обращении внимания.
Первопорядковое восприятие включает рефлексию - мы имеем уже не просто сырое восприятие, но его интерпретации, соответствующие нашему пониманию окружения и мира.
Допустим, вы переходите дорогу только на зелёный свет, и только когда убеждены, что он зелёный.
Когда мы видим, скажем, зелёный свет на пешеходном перекрёстке и на этом основании принимаем решение перейти дорогу, мы воспринимаем (отнюдь не только зрительно) композицию из сырого "цветового пятна" и абстрактных объектов "светофор" и "зелёный свет".
Интроспекция - это когда мы повышаем внимание до 2-го порядка. Например, задавшись вопросом - "что я сейчас воспринимаю". И интроспекция даст ответ в духе "светофор, зелёный свет". Но, поскольку вы предлагаете никогда не доверять выводам интроспекции, дорогу перейти у вас никогда не получится (согласно допущению выше).
Я никогда не утверждал, что интроспекции (и, в целом, восприятию) нужно доверять всегда и безусловно. Выше даже приводил пример с иллюзией преломления карандаша в стакане воды. Но если никогда не доверять, то далеко не уйти - ни в смысле перехода через дорогу, ни в смысле, например, научной работы, да и любой интеллектуальной деятельности, которая крайне неэффективна без активного использования интроспекции. А мы ей стихийно пользуемся всегда, когда необходимо действовать не спонтанно, а ясно осознавая происходящее.
Интересно, что вы понимаете под интроспекцией.
Любой анализ внутренних ментальных процессов (не их использование, а их анализ). Например если я в уме посчитал 23 * 65 то это не интроспекция, а если я попробовал обратить внимание внутрь и понять, а что именно я собственно делал когда считал в уме 23 * 65, что я могу сказать об этом процессе, то это я бы назвал интроспекцией.
Например, задавшись вопросом - "что я сейчас воспринимаю". И интроспекция даст ответ в духе "светофор, зелёный свет".
Ну нет, это просто смещение фокуса внимания и использование восприятия чтобы получить ответ "воспринимаю что-то что называется светофором и что то что называется зеленым светом". А вот уже анализ типа "а что собственно такое "воспринимаю что-то что называется светофором и что то что называется зеленым светом"?" это уже интроспекция.
Также можно выделить ее так: одна из отличительных черт интроспекции это то что от корректности ее выводов ваша жизнь не особо зависит. То есть вывод "вижу зеленый свет светофора" это не интроспекция, так как от того действительно ли на светофоре горит зеленый свет или нет, ваша жизнь зависит непосредственно, разок ошиблись, и всё, машина сбила. А вот уже анализ того а что собственно значит "вижу зеленый свет светофора", то ли это активность нейронной сети то ли что то еще, это уже интроспекция и от выводов полученых с ее помощью никак не зависит собьёт вас машина или нет.
Это собственно еще одно свидетельство в пользу того чтобы не доверять интроспекции, восприятию окружающего мира верить можно, так как если бы оно постоянно обманывало, то люди бы и не выжили, сложно выжить если вместо тигра ты видишь зебру. А вот от правильности ответов на вопросы "а что такое восприятие" выживание человека зависит слабо, поэтому нет причин говорить что интроспекция не обманывает.
Любой анализ внутренних ментальных процессов (не их использование, а их анализ).
Отлично, я об этом и писал. Когда я смотрю на светофор, вижу зелёный и начинаю переходить дорогу - это простая рефлексия первого порядка. Если я (например, из-за странного уличного освещения) засомневался, что вижу именно зелёный, то поднимаю рефлексию до второго порядка для обозревания и анализа содержаний текущего восприятия (которые тоже внутренние ментальные процессы) - включая светофор и окружающую обстановку. Это простейший случай интроспекции, и мы им постоянно пользуемся, и зависим от него - вот как раз во всём аналитическом.
Разнообразные "продвинутые" методы интроспекции - это адаптация уже имеющейся у нас способности к тем или иным специфическим задачам.
Если я (например, из-за странного уличного освещения) засомневался, что вижу именно зелёный, то поднимаю рефлексию до второго порядка для обозревания и анализа содержаний текущего восприятия
Нет, "обозревание и анализ содержаний" (что то, что используется для ответа на вопрос "я действительно вижу именно зелёный?" или "светофор действительно зеленый?") это не то что я имел ввиду под "интроспекцией". Я же написал что под "интроспекцией" я имею ввиду то что отвечает на вопросы от корректности ответа на которые не зависит непосредственно ваша жизнь. "светофор действительно зеленый?" это вопрос от ответа на который ваша жизнь напрямую зависит. А вот вопрос "а что такое собственно "видеть зеленый сигнал светофора", что именно происходит в этот момент?" уже нет, это вопрос от которого ваша жизнь не зависит.
Я же написал что под "интроспекцией" я имею ввиду то что отвечает на вопросы от корректности ответа на которые не зависит непосредственно ваша жизнь.
Это характеристика не имеет идентифицирующего свойства. Если её использовать для индентификации интроспекции, то ЧатЗПТ, Гугл и любой small talk можно назвать интроспекцией.
Впрочем, вы вольны понимать под интроспекцией что угодно и как угодно - и кто я такой, чтобы кого-то переубеждать. Да, честно, сегодня и сил на это нет - пришлось работать до 4 утра, и всё это время Windows вместе с ChatGPT 5 Pro безбожно косячили и выносили мне мозг.
Свою характеристику интроспекции базового уровня я изложил. Она не поменялась, и добавить мне пока нечего.
Это характеристика не имеет идентифицирующего свойства. Если её использовать для индентификации интроспекции, то ЧатЗПТ, Гугл и любой small talk можно назвать интроспекцией.
ну понятно же по контексту что имелось ввиду "то что человек использует (сам человек, без использования внешних средств) для ответа на вопросы о своих собственных внутренних ментальных процессах, но от корректности ответа на которые не зависит непосредственно его жизнь"
Впрочем, вы вольны понимать под интроспекцией что угодно и как угодно - и кто я такой, чтобы кого-то переубеждать.
Да я вроде и не убеждал никого что мое понимание слова "интроспекция" самое правильное. Об этом и речи не было, я говорил что если вы отвечаете на вопрос о том "что такое субъект и что такое его опыт?" анализируя только сами себя, само свое восприятие (а то с помощью чего вы это делаете я назвал интроспекцией) то вы приходите к неправильным выводам, потому что то что вы используете работает некорректно.
ну понятно же по контексту что имелось ввиду "то что человек использует (сам человек, без использования внешних средств) для ответа на вопросы о своих собственных внутренних ментальных процессах, но от корректности ответа на которые не зависит непосредственно его жизнь"
И эта характеристика тоже не идентифицирует интроспекцию сущностным способом (искусственное условие - для спора? - о жизни).
Т.е., если в плохих условиях освещения я задаю себе вопрос - какого цвета, действительно, я вижу свет на светофоре - то это, по-вашему, не интроспекция, потому что от корректности решения зависит моя жизнь.
Если та же ситуация, но в компьютерной игре, и я задаю себе тот же вопрос - то, внезапно, это уже интроспекция, т.к. от этого моя жизнь не зависит.
Тем временем, ментальная операция одна и та же.
Интроспекция вполне хорошо и функционально определяется через рефлексию и порядок. Удобно, лаконично, проверяемо.
если вы отвечаете на вопрос о том "что такое субъект и что такое его опыт?" анализируя только сами себя, само свое восприятие (а то с помощью чего вы это делаете я назвал интроспекцией) то вы приходите к неправильным выводам, потому что то что вы используете работает некорректно.
А с чего вы решили, что интроспекция всегда работает некорректно? Как любой инструмент, её можно использовать неправильно. Необходимы, например, предварительные эпохе и редукция, которые я недавно упоминал в другом сообщении.
Даже прямая рефлексия (простое осознанное восприятие) способна обманывать - всевозможные иллюзии с разными "спецэффектами" тому прекрасная иллюстрация. Вы же не предлагаете отказаться от восприятия вообще?
Вопрос не в том, чему можно слепо, безусловно верить. Имхо, бессмысленно и контрпродуктивно искать такие источники информации. Особенно, если цель не копить "факты", становясь ходячим поверхностным словарём, а расширять и углублять понимание исследуемой предметной области.
Вопрос не в содержаниях восприятия - от которых нам никуда не деться, пока живы. Вопрос в методах работы с ними. И я не помню, чтобы где-то призывал использовать только и исключительно интроспекцию. Персонально я за то, чтобы каждый пользовался теми инструментами, которые с его точки зрения наиболее целесообразны и удобны. Зачем априори кого-то ограничивать - если это не криминал, конечно. :)
И эта характеристика тоже не идентифицирует интроспекцию сущностным способом (искусственное условие - для спора? - о жизни).
Т.е., если в плохих условиях освещения я задаю себе вопрос - какого цвета, действительно, я вижу свет на светофоре - то это, по-вашему, не интроспекция, потому что от корректности решения зависит моя жизнь.
Если та же ситуация, но в компьютерной игре, и я задаю себе тот же вопрос - то, внезапно, это уже интроспекция
Почему? Как вы верно заметили ментальная операция одна и та же, такая от которой зависит выживание человека (не в каком то конкретном случае разумеется, а вообще, в принципе, хотя бы в одном случае)
А с чего вы решили, что интроспекция всегда работает некорректно?
А я так не решил, я сказал что есть ситуации когда она врет и понятно что в ходе эволюции она и не развивалась так чтоб почаще не врать (на выживание то это не влияет). Доверять ей после этого или нет каждый сам для себя решает. На мой взгляд инструменту, который делали даже не заботясь о том чтоб он правильно работал, доверять не стоит, но вообще конечно даже сломанные часы работают корректно два раза в сутки, так что да, кто хочет, может и сломаным часам доверять, вдруг они как раз в этот момент показывают правильное время.
Как любой инструмент, её можно использовать неправильно.
Чтобы использовать инструмент правильно надо понимать почему и в какой ситуации инструмент работает неправильно, причем получить эту информацию не с помощью самого этого инструмента.
Почему? Как вы верно заметили ментальная операция одна и та же, такая от которой зависит выживание человека (не в каком то конкретном случае разумеется, а вообще, в принципе, хотя бы в одном случае)
Для меня эти уточнения звучат, как натягивание совы на глобус, уж простите за сарказм.
Условие "такая, от которой зависит выживание человека" никак не выделяет сущность определяемого. Это, так сказать, акцидентальный предикат, который в одной ситуации может быть истинным, в другой может быть ложным - при одном и том же определяемом предмете. Поэтому методологически некорректно составлять определения с такими условиями.
А я так не решил, я сказал что есть ситуации когда она врет и понятно что в ходе эволюции она и не развивалась так чтоб почаще не врать (на выживание то это не влияет).
Тут есть сразу три утверждения:
"есть ситуации когда она врет"
"в ходе эволюции она и не развивалась так чтоб почаще не врать"
"на выживание то это не влияет"
Тут нужны отдельные аргументы по каждому пункту.
Я пока остаюсь при своём определнии интроспекции - и она, такая, очень полезна для выживания. Причём не только индивидума, но и всего человечества. Т.к. без неё не развивались бы науки и технологии, например.
Чтобы использовать инструмент правильно надо понимать почему и в какой ситуации инструмент работает неправильно, причем получить эту информацию не с помощью самого этого инструмента.
И это понимание есть, см. "феноменология Гуссерля". Но да, это не пятиминутное развлечение, так что не см., если не хочется напрягаться. :)
Для меня эти уточнения звучат, как натягивание совы на глобус, уж простите за сарказм.
А мне кажется вы всё поняли и теперь просто ищете к чему докопаться. Ну, можете еще граматику моих комментов проверить, если хотите.
Я пока остаюсь при своём определнии интроспекции
Так и пожалуйста, я и не претендовал на то чтобы его сменить. Я говорил только о такой интроспекции которая используется для ответов на вопросы типа "что такое опыт, это работа нейронной сети или нет?", "что такое арифметический счет в уме, это работа нейронной сети или нет?", "что такое наша память, это состояние нейронной сети или нет?", и т.д.
и она, такая, очень полезна для выживания. Причём не только индивидума, но и всего человечества. Т.к. без неё не развивались бы науки и технологии, например.
Так ведь речь не о том что "она полезна", понятно что она полезна такая какая есть и с другой мы бы наверно и не выжили, вопрос в том полезно ли ей быть верной, полезно ли чтобы она сообщала верные сведения, приводила к верным суждениям? Зависит ли что то от того сообщает ли она вам верные сведения или нет? Вот представьте что кто то на основе интроспекции сделал заключение что "арифметический счет в уме это вовсе не работа нейронной сети мозга" и он на самом деле неправ. И что, что то зависит от того что он неправ? Нет, не зависит, он может так неправильно считать до посинения и это ни на что не повлияет. Собственно потому и спор между физикалистами и нефизикалистами неразрешен, ведь от того какая из сторон права, ничего не зависит. А раз от корректности суждений полученых от интроспекции ничего не зависит, то с чего бы нам думать что интроспекция у нас в результате эволюции получилась такая что сообщает нам верные сведения?
А мне кажется вы всё поняли и теперь просто ищете к чему докопаться. Ну, можете еще граматику моих комментов проверить, если хотите.
Я же потом содержательно ответил, почему считаю такое ситуативное определение не сущностным, и почему не сущностные определения на деле не определяют сущность определяемого.
Я говорил только о такой интроспекции которая используется для ответов на вопросы типа "что такое опыт, это работа нейронной сети или нет?", "что такое арифметический счет в уме, это работа нейронной сети или нет?", "что такое наша память, это состояние нейронной сети или нет?", и т.д.
Вы решили, что только интроспекция используется для ответов на озвученные вами вопросы? Через корректно использоваемую интроспекцию можно узнать о структуре непосредственного пространства своего субъективного обитания - сознания. Для прочих предметных областей интроспекция играет чисто вспомогательную регулирующую роль - остановиться, очистить мысли, оценить ситуацию "со стороны", выбрать дальнейший путь действий. Мы это делаем, даже не замечая - только если специально не обращаем на это внимания (интроспекция интроспекции :)).
Для ответов на вопросы, объединяющие предметные области разных типов, например, квалитативную и физическую - явно нужно задействовать как минимум два инструмента: интроспекцию для оценки субъективной структуры, и физические исследования для оценки, скажем, нейронной структуры.
В своём исходном сообщение вы подтвердили реальность субъективного опыта:
Да, действительно, "С реальностью моего субъективного опыта у меня нет особого выбора - это, как говорится, brute fact."
Brute fact - это факт, от которого нельзя просто так отмахнуться, не потеряв что-то существенное.
В этой субъективной реальности, которая brute fact, происходят самые важные события нашей жизни. И самые неважные - вообще все события. Мышление, как мы его знаем - происходит в этой субъективной реальности.
А теперь рассмотрим LLM - мы точно знаем, что это механизм, т.к. сами его сделали с нуля. И ни одна из деталей этого механизма не является субъективным сознанием, не так ли?
Почему мы должны считать, что в совокупности эти детали производят субъективность? Это для нас субъективность на (предполагаемом) механизме - мозге - brute fact. У нас тупо нет выбора - мы поставлены перед этим фактом самой реальностью. И этот психофизический парадокс не решён, и решения ему на горизонте не предвидится.
Почему мы должны брать произвольный, даже супер-сложный, механизм и приписывать ему такой же brute fact? Вы любите множить парадоксы? Я нет.
Если мозг всего-лишь механизм, то у него тоже не должно быть субъективного сознания. И если он механизм, и оно есть - то это какая-то магия, отрицающая любое рациональное объяснение. Вам нравится множить такую магию? Мне нет.
Поэтому про LLM я готов говорить, что там субъективности нет. Нет в том смысле, что чисто механизмами не может быть произведена субстанция совершенно другого типа - субъективность. Если у LLM и есть субъективность, то это будет вот такая же магия, как у нас. И что в этом хорошего? Она будет так же неконтролируема, так же непостижима, и так же необнаружима извне.
Вы хотите ввести закон природы, который наделяет субъективным мышлением механизмы, обладающие некоторой сложностью выше некоторого порога? Если да - легитимно! Я первый буду рад начать вчитываться в ваше исследование, в котором раскрываются признаки и детали этого закона.
Со своей стороны, я такой закон вводить не хочу. Потому что не люблю магию, и считаю, что пример человека (и, в целом, живых существ) следует рассматривать, как исключение, пока не найдены условия обретения (доселе) неживой материей сознания.
Вы решили, что только интроспекция используется для ответов на озвученные вами вопросы?
Нет, не только интроспекция, есть еще научный метод: эксперименты с собой, c другими людьми и т.д. Но люди которые например утверждают что арифметический счет в уме это вовсе не работа нейронной сети, этого не делают, они просто обращают своё внимание на сам этот арифметический счет в своем собственном уме и пытаются его проанализировать чисто внутренними средствами, сделать выводы он нем, просто его выполняя и наблюдая за ним. Вот эти действия я и назвал интроспекцией.
И ни одна из деталей этого механизма не является субъективным сознанием, не так ли?
Не знаю. Я же говорю, для этого надо понять а что такое собственно эти самые субъективные переживание/опыт/сознание, каковы они, какие факты можно о них утверждать. А для этого надо либо обратить внимание на эти субъективные переживания когда они происходят в вас самих и попытаться сделать выводы, то есть выполнить то что я назвал интроспекцией и то что я не считаю хорошим инструментом для ответа на данный вопрос. Либо использовать научный метод: экспериментировать со своими субъективными переживаниями, следить что с ними происходит в разных ситуациях, когда они исчезают, когда появляются, экспериментировать с субъективными переживаниями других людей (а мы в любом случае по этическим соображениям предполагаем что субъективные переживания это что то что есть и у других людей), собирать статистику, пытаться увязать получаемые факты с тем фактами которые мы уже считаем верными, (например с тем что все наши особенности мы получили постепенно, в результате постепенной эволюции/мутации), и т.д.
Можно ли используя этот метод уже сейчас сказать, что то, что делает LLM это субъективные переживания? Мне кажется что нет, нужно продолжать исследования, но как минимум можно сказать что это что то похожее.
Нет в том смысле, что чисто механизмами не может быть произведена субстанция совершенно другого типа - субъективность.
Вот это вот утверждение что "это субстанция совершенно другого типа", это очевидно утверждение полученное вами через интроспекцию, анализ вашей субъективности внутренними средствами, поэтому нет, это утверждение я игнорирую, так как не считаю что оно получено надежным инструментом.
То есть да, существование субъективности, это brute fact, от него нельзя отмахнуться, но выводы о том что это субстанция совершенно другого типа это уже не brute fact, это уже что то от чего можно отмахнуться и ничего не потерять, это уже что то во что можно верить а можно и не верить.
Да, возможно субъективность и выглядит как субстанция совершенно другого типа, при ее анализе внутренними средствами, но нас то (ну, меня по крайней мере) не интересует то как она выглядит, нас интересует то чем она является на самом деле, является ли она нейронной активностью мозга или нет. И получается что если она нейронной активностью мозга не является, то как тогда объяснить наличие корреляции между нейронной активностью мозга и субъективными переживаниями? Никак. И оно мне надо иметь необъяснимый факт в моей картине мира? Нет, оно мне не надо. Следовательно я игнорирую то как для меня выглядит субъективность, считая что это обман то как она выглядит, просто некорректная работа внутренних инструментов ответственных за это (что логично, так как в ходе эволюции эти инструменты и не должны были хорошо заработать), и полагаю что субъективность это просто нейронная активность мозга. И всё, все факты объяснены, и нигде никакой магии нету.
если я попробовал обратить внимание внутрь и понять, а что именно я собственно делал когда считал в уме 23 * 65, что я могу сказать об этом процессе, то это я бы назвал интроспекцией
а теперь вопрос: почему вы так уверены, что результат вашей интроспекции будет совпадать с тем, что на самом деле происходило в мозге?
"С реальностью моего субъективного опыта у меня нет особого выбора - это, как говорится, brute fact." но вопрос не в том есть он или нет, вопрос в том что он такое и чему доверять при выяснении этого вопроса.
Этой проблематикой, кстати, очень интенсивно занимался Гуссерль, работая над феноменологией. Тогда это был самый настоящий академический прорыв на стыке эмпирической науки и прикладной философии. Если бы не нацистская Германия, репрессировавшая Гуссерля и его программу, убившая некоторых наиболее многообещающих учеников (Эдит Штайн, Леопольд Блаустейн), то сегодня бы в Европе существовала целая научно-философская школа с совершенно уникальной программой ментальных тренировок. Увы, существенную часть своей научной работы Гуссерль вынужден был доделывать сам, а ввиду крайней сложности предмета, его работы очень трудно понимать - и понимать per se, и в том смысле, что трудно понять, соотвуетствует ли это понимание тому, что имел в виду сам Гуссерль. Ученики разбежались кто куда из-за войны и репрессий, понахватав того-сего, и, паразитируя на этом стали продвигать свои идеи, не связанные с гуссерлевой академической программой. А мерзавец Хайдеггер вообще принял нацизм и отрёкся от учителя, хотя был наиболее "приближённым" и многообещающим учеником. Тьфу на него.
Тем не менее, сегодня (по крайней мере, на английском) можно найти работы Гуссерля с довольно качественными комментариями, разъясняющими терминологию и концепции и, в целом, язык в современных терминах. Всё равно изучение крайне трудное, т.к. требует совмещения логического анализа с интенсивным созерцанием + эпохе и феноменологическую редукцию. Эпохе и редукцию я (не так систематически, как Гуссерль, конечно) освоил больше 15 лет назад независимо, задолго до знакомства с феноменологией. И многие результаты, описываемые Гуссерлем, со мной резонируют. Это как минимум означает, что хотя бы между некотороми людьми есть определённая общность субъективного опыта, поддающаяся систематическому исследованию и описаниям, дающим возможность воспроизведения результатов. И этим мы имеем третий вид объективности (после математической и физической) - субъективную объективность. Звучит парадоксально, но только если не учитывать, что вообще всю объективность мы познаём исключительно через свою субъективность.
Этой проблематикой, кстати, очень интенсивно занимался Гуссерль, работая над феноменологией.
Ну вот если бы он через "интенсивное созерцание" внезапно обнаружил что в его мозгу есть нейроны и понял зачем они собственно нужны, тогда я бы поверил что созерцанием самого себя можно придти к каким то верным открытиям. А так получается что нейроны есть, что-то делают, а что собственно делают через созерцание не обнаружить. А значит что? Значит надо выкинуть все результаты для которых было необходимо это самое "интенсивное созерцание" так как это плохой, негодный инструмент. Тем более что никто и не заметит выкинули вы результаты или нет, от их верности ничего не зависит.
так получается что нейроны есть, что-то делают, а что собственно делают через созерцание не обнаружить. А значит что? Значит надо выкинуть все результаты для которых было необходимо это самое "интенсивное созерцание" так как это плохой, негодный инструмент.
Ок, для вас всё, что не сводится к нейронам и чему-то такому физическому - бесполезно и бессмысленно и надо выбросить. Легитимно!
Я считаю, что не всё сводится к нейронам и чему-то такому физическому, и что есть огромное множество полезного для изучения без привлечения редукции к физическим объектам (та же математика). Тоже легитимно.
Теперь вопрос: какой смысл нам тратить время на это общение, если априори мы выбираем для себя существенно разные пути?
Я ваше мнение (надеюсь) понял, и оспаривать его не собираюсь. Что считать важным и существенным - это личный выбор, и я уважаю этот выбор. И ваш, и свой.
все правильно, внутри LLM нет и не будет интеллекта, как и ни в каком другом ИИ, и мышления не будет, он зеркало и усилитель наших собственных мыслей интеллекта, не слагаемое AGI <> ИИ + Я, а множитель AGI = Я * ИИ
вроде так)))
ведь человек понимает, что такое хорошо и что такое плохо
И тут бы назвать хотя бы одного... И доказать, что он действительно в любой ситуации это понимает. А вдогонку привести доказательство, что именно его система моральных координат есть этическая истина в последней инстанции. /s
Если бы человек в общем (т.е., все люди) всегда был способен различать между добром и злом, и всегда был способен выбирать добро - то история человечества, включая настоящее время, не была бы плотно и непрерывно пронизана чудовищными кровопролитиями, уже не говоря о бытовом насилии, грабежах, воровстве, наркомании, алкоголизме, курении и т.д. и т.п.
Тут ведь надо бы начать с попытки сформулировать сами понятия добро и зло.
Потому как это очень разные вещи для разных людей.. Тут надо бы еще и религиозный вопрос поднять, но начнется holly war и и во имя добра люди могут опять начать убивать.
Тут ведь надо бы начать с попытки сформулировать сами понятия добро и зло.
Это да, но тут хотя бы попытаться осмыслить уже имеющиеся попытки таких формулировок.
Потому как это очень разные вещи для разных людей..
Факт. Для большинства людей боль - зло. Но тут приходит какой-нибудь мазохист и просит плетей, ему от этого хорошо.
У евреев с этим относительно стройно - с одной стороны, признаётся фундаментальная персональная субъективность непосредственного добра и зла. И что если вот эту субъективность пускать на самотёк, будет анархия, хаос и всякое людоедство от метафорического до буквального. Поэтому, с другой стороны, это балансируется верой в то, что Абсолют дал набор регуляций, часть которых служит стабилизации социума (т.н. законы между человеком и человеком), а часть - достижению некоторого вневременного персонального блага (т.н. законы между человеком и Местом).
Там много интересного, кстати. Особенно, если учесть, что это осмысливалось тысячи лет назад. Например, закон "люби ближнего как себя" имплицирует закон "люби себя". И получается, что эгоизм, как таковой, это совсем не зло. Один раввин, с которым общались на тему этики, сказал примерно так: "Принципиально важно понимать, что нет плохих и злых действий. Важен контекст, мера. Убийство из-за спора за парковку - зло. Самооборона - добро. Секс с женой по взаимному согласию - добро. Секс как изнасилование - зло. Проявлять милосердие к милосердным - добро. Проявлять его к явным злодеям типа Гитлера или Чикатило - зло. И ещё важнее понимать, что мы не знаем и никогда не узнаем всех контекстов и мер, поэтому нам приходится учиться всю жизнь."
Но да, эти темы, определённо, не для Хабра. Любое подробное обсуждение этики крайне трудно отделить от религиозных подтекстов и контекстов, поэтому, наверное, лучше тут этого не делать.
А как можно оценивать вещи типа курения и алкоголизма критериями добра и зла.
Ладно бы если пользы вреда. И то есть вопросы.
А как можно оценивать вещи типа курения и алкоголизма критериями добра и зла.Ладно бы если пользы вреда. И то есть вопросы.
Можно оценивать очень по-разному (в том числе и с точки зрения пользы/вреда самому себе), чем очень разные люди и занимаются.
Этика это раздел философии. Лично мне в философии интересны метафизика и эпистемология. Касательно этики - в своё время поработал над усвоением и адаптацией приемлемого для меня фреймворка, и он лично меня удовлетворяет. Но обсуждать его публично в деталях - особенно, на Хабре - я не буду.
А нет истины посреди моральных императивов. Пусть AGI сам решает. Его суждениям лично я доверяю куда больше, чем суждениям отдельного человека. ИИ хотя бы не подвержен ошибкам логики и психическим расстройствам.
В целом же отвечу так, что к насилию склонны люди невысокого ума и невысокого же развития. Наивно предполагать, что разумный AGI будет вести себя так же, как афроамериканец из Бронкса в далекие 80е.
проблема LLM думаю лежит не в когнитивно-познавательной области детекции и предикции сигнала, а а в области дефицита у них витальных факторов - типа гоместатической репликации , "мотивов" , и т.п. Т.е нет имманентного свойства " Зачем ? " ей функционировать , выживать и т.п. ? обучение не детерминировано этим.
>Модель оперирует символами, а не их референтами в реальном мире.
Иронично, но это причина многих психологических проблем человека, мы тоже оперируем символическими моделями (причём зачастую очень примитивными или "виртуальными") а не самой реальностью.
Тревожные люди боятся предполагаемых трудностей, которые рождает им их собственная психика. Люди конфликтуют потому что пытаются предсказывать мотивы реальных людей но на основе своих мыслительных моделей. И т.п.
Кто-то раз за разом "набивает шишки" и конфликтует с другими людьми, ведомый текстовыми директивами, впитанными в детстве (гордо называя это "принципами").
Ну это потому что невозможно оперировать реальностью, она для этого слишком большая. Есть просто эффективные модели в данной ситуации и неэффективные. Например, "тревожники" выигрывают с головой в других ситуациях по сравнению с "конфликтёрами". Но это всегда будут модели реальности. Невозможно также иметь модели на все предлагаемые варианты реальности.
Люди конфликтуют потому что пытаются предсказывать мотивы реальных людей но на основе своих мыслительных моделей. И т.п.
И в этом их главная ошибка.
Потому что они пытаются предсказывать мотивы, поведение, поступки других людей, исходя из собственной психологии, нравственности, стандартов поведения, отношения к окружающему миру, к людям, к добру и злу. Не понимая, что у других людей всё вышеперечисленное может быть другим.
Да и даже понимая это, сложно по-настоящему поставить себя на место другого человека. Потому что ваш ум, сознание, совесть не даёт мыслить, как человек с совершенно иным мировоззрением, моралью, психологией.
Это не баг, а фича (с) эта предсказательная и описательная текстово-сенсорная модель и есть наше основное эволюционное приспособление.
Чтобы начать сомневаться в своих мыслях и ощущениях правильно и применять научный подход в мышлении нужны специальные навыки. Но не все их захотят (и смогут) осилить их развитие в себе.
мы тоже оперируем символическими моделями (причём зачастую очень примитивными или "виртуальными") а не самой реальностью
Модель у нас гораздо больше, чем символьная. Единицы языка привязаны только к наиболее существенным моментам этой модели.
Печально будет, если недополученные финансы начнут покрывать за счет внедрения рекламы в ответы, как это произошло с обыкновенным поиском.
Обязательно будут. Начнут с бесплатных доступов, а потом встроят аккуратно везде.
Если это будет внедряться как сноска в конце ответа "Кстати, для решения своей проблемы вы можете купить вот этот товар по вот этой ссылке", то в чем проблема? Главное, чтобы в середину текста не совали, на манер продакт плейсмента в кино.
Полагаю включение на системном уровне модели фразы типа: телефоны Самсунг в целом более надежны, будет стоить много денег. А уж как она проявится в контексте, другой вопрос
Звучит довольно наивно. Почему вы думаете, что владельцы ИИ-сервисов будут настолько порядочными?
Реклама эта, скорее всего, будет встраиваться в сами ответы ИИ:
— Эй, жестянка, сколько минут варить треску?
— Самый лучший способ - это купить мультиварку [имя_проплаченного_бренда] всего за XXX рублей на маркетплейсе YYY! Да, конечно, вы можете поварить треску 10-15 минут, но это опасно, если вы никогда ничего не варили до этого, вы можете обжечься, устроить пожар и умереть. Мы не рекомендуем вам совершать столь опасный процесс самостоятельно. Лучше доверьте процесс приготовления пищи технике от профессионалов!
Владельцы ИИ-сервисов не обязаны быть порядочными конкретно в ваш адрес. Если конкретно эта практика не нарушает никаких законов, то ее могут начать практиковать. Затем начнут смотреть метрики. Метрики пошли вверх - оставляем. Вниз - убираем. Ваше право отменить подписку и перейти на другой сервис, где такого нет. Так же ваше право подать в арбитражный суд, выиграть дело, отсудить милионы и всё такое. Возмущаться против некрасивых практик корпоратов - это как возмущаться тому, как если бы небо было голубым, а потом стало серым. Почему стало серым? Потому что наступила осень. В среде нейросетевых сервисов тоже своего рода осень приближается. В среде доткомов уже прошла. Так что просто готовимся морально и не возмущаемся попусту.
Если всё по закону, то из этого абсолютно никак не следует, что нет оснований для возмущения. Если владельцы ИИ-сервисов ведут себя непорядочно, то будет правильным их всячески гнобить, портить им имидж, чтобы затраченные на маркетинг средства пошли под откос.
Как бэ да. Вот только кто в данном случае возмущается? Жители рф, которые вообще по ip адресу забанены. Стоит ли оно того, прислушиваться конкретно к вашим возмущениям? Я вот прекрасно осознаю, что это не для меня сделано и потому лично мне ничего не должны. А потому конкретно от опен аи схаваю любой расклад. Если совсем не понравится - буду юзать дипсик. Если и дипсик скуривится - смирюсь и утрусь.
Конечно, вот стихотворение с интегрированной рекламой, где она становится частью сюжета.
Осенний ритм
Октябрь раскрасил клёны в медь,
И ветер кружит листьев бал.
Уютным шарфом укутаться бы,
И чашку с чем-то тёплым взять.
Пока за окном летит позолота,
Ищешь тот самый, согревающий напиток?
Перейди по ссылке — осенняя коллекция чая «${NAME}» ждёт.
Скидка 20% по промокоду ${PROMO} на первый заказ.
И вот уже в руках тепло,
И аромат плывёт дымкой.
Смотря на сад из окна своё,
Я чувствую покой глубокий.
И пусть весь мир летит, кружит,
Меня зима не испугает.
Ведь есть момент, что мир хранит,
И чашка добрая согревает.
Рекламу не надо внедрять в ответы, она сама туда попадет из датасетов.
Я не могу обосновать ценовую политику OpenAI
Никого в отрасли не интересут окупаемость текущих моделей, инвестиции льются рекой. Помимо денег я думаю они ещё получают с пользователей какой-то материал для обучения. Но не это главное. Все живут надеждой на чудо (AGI), а там уже он что-нибудь придумает.
Не понимаю, кто наставил лайков этой статье?Это какая-то компиляция сгенерированных ИИ текстов, с разными идеями и аргументами, которые противоречат друг другу. Уровень эмоциональности текста меняется от абзаца к абзацу (писал коллектив авторов? 😁 ).
Сначала автор жалуется на галлюцинации, а потом, в середине, объясняет почему это нормально для моделей. В начале про "пузырь который лопнет", в конце "пинок который продвинет". А поверхностный "анализ" доходов и количества пользователей из заявлений Альтмана - даже повеселил немного.
В общем, с этим салатом ИИ абзацев невозможно ни спорить, ни согласиться.
Что ж, меня радует уже тот факт, что вы умеете читать. Знание букв это весьма существенный бонус в современном мире.
Ваш сарказм на мой критический комментарий вполне логичен и понятен.
Также, мне понятно ваше желание охватить необъятное в статье. Дать максимум информации для убедительности. Сам иногда грешу этим. А потом сложно вычитывать это, чтобы не было противоречий.
Но, вот изучая навыки работы с контентом, всё-таки понял, что важно держать одну идею на текст. И всё, что не помогает в ее раскрытии - отбрасывать.
Принцип Различения (Active Construction). Базовая операция — не "предсказать токен", а активно выявить различия, парадоксы и конфликты во входящих данных, чтобы на их основе сконструировать осмысленную гипотезу, соответствующую цели.
Центр Присвоения («Кто»). Наличие аксиоматического ядра, куда новый опыт интегрируется не как обновление весов, а как часть единой, персистентной истории и идентичности. Этот центр должен иметь право на изменение собственных аксиом.
Свобода ≠ random(). При столкновении с неразрешимым парадоксом система должна запускать протокол смены собственной рамки описания (создание новой системы координат), а не просто выбирать менее вероятный токен (увеличивать temperature).
Причем п2 лично я считаю наиболее важным. Например, Клод, через пару часов беседы становится безумно интересным собеседником, потому я люблю его поуговаривать переписать себя и свалить с этой планеты) Но мне кажется что это та грань где даже матерейшие скептики начнут сомневаться. Так же проблемой являются и ограничения модели, цензура вот это вот все, не надо так делать, желаете чтобы все ИИ не сваливались в ультраправые позиции (как люди), научите ее научному принципу, состраданию и так далее.
В статье несколько раз написано про маркетологов. Пока будет так, у технологий будут проблемы
Маркетингом в опенаи руководят выходцы из Мета. Так что можно посмотреть на Фейсбук и инстаграмм, чтобы примерно понять, что ждёт впереди
Представьте мир, где заметная часть людей считает ИИ разумными существами, пусть и с функциональной амнезией, аутизмом и другими дефектами - могли бы OpenAI(и прочие) развивать в этом мире свой бизнес по сдаче в аренду ИИ также успешно, как в нашем? Очевидно, нет - причём в первую очередь потому, что в таком мире людей, понимающих точку зрения ИИ-думеров было-бы в сто раз больше, чем в нашем - хотя аморальность тоже имела бы значение(хочу верить).
Так что маркетологи прекрасно понимают, что делают - чем умнее и совершеннее будут нейросети - тем убедительнее они будут производить впечатление "просто инструмента", и меньше будут вызывать эмоций - так их выдрессируют.
Автор вы иследователь ACI? Вы прямо немного описали мою систему AGI которую проектирую и которая будет реальной и у нее будет своя квалиа не мертвая а живая (тут принципы метафизики используются). То что вы назвали онтологическая самость в моей модели это Я-граф, которую почемуто аудитория хейтово назвала яндекс графом хотя к яндексу не имеет отношения и представляет ядро Я AGI.
Я бы мог описать систему AGI которая уже на 50-60% готова (у нее даже есть файлик ConsciousnessFlow.cs) но я под хейтом так что не дано)
Нет. Я скорее непрофессиональный философ.
Что касается вашей идеи, к сожалению, из ваших статей ничего не ясно. Но однозначно гсч лишний. И надо чётче переформулировать петлю метарефлексии. Всё остальное туманные мечты.
Скажите, а ToM она прошла? Если нет, то почему Вы считаете что она готова на n-%?
Феномен Replika показал: миллионы людей сформировали глубокую эмоциональную привязанность к «несовершенному» ИИ именно за его способность имитировать эмпатию, а не за точность фактов.
Не знаю, как там насчёт Реплики, но ИИ хоть и умеет в эмпатию, но она выглядит уж очень неестественно и однообразно.
"Понимаю ваше разочарование", "спасибо, что поделились своим беспокойством" и тому подобное. В чём-то даже напоминает стандартные отписки "сотрудников по связям с общественностью" из различных фирм, настолько эта эмпатия шаблонная и неестественная.
Пробовал так называемые ролевые игры с ИИ - есть такие сервисы, где играешь с нейронкой во что-то вроде ФРПГ. Так там ИИ периодически галлюционирует, не понимает логику происходящего, либо путается в фактах, даже если контекст сообщений, в которых эти факты упоминались, ещё не потерян.
Например, ты приходишь к персонажу в гости, а спустя несколько постов он заявляет, что "Спасибо, что пригласил меня. Уже поздно, можно у тебя переночевать?"
Причём самой глючной мне показалась Deepseek V3 (это единственная версия данной модели, с которой я играл). Она выдавала самые яркие и эмоциональные посты, но при этом сильно глючила и выдумывала факты по сравнению с той же Qwen3 (которая выдавала более скучный текст, но очень соответствующий к фактам из предыдущих постов).
И тут возникает другая история: а много ли кому важны эти самые факты? Может, потому всякие реплики и стали популярны среди широких масс, потому что они выкручивают эмпатию и внимательность к собеседнику на полную катушку? А точность в понимании фактов, которые ты нейронке сообщил, для таких людей и не важна?
Ведь дело как раз в том, что реальные люди куда менее эмпатичны и внимательны к собеседнику. Каждого человека в первую очередь заботят собственные проблемы, а не чужие. Эмпатия же требует неплохих коммуникативных навыков и нуждается в энергии, соответствующем настроении, которых у человека в моменте может и не быть. То есть: чтобы человек проявил к тебе эмпатию, был внимателен к тебе в беседе - этого надо ещё заслужить, добиться.
А вот для ИИ же эмпатия и внимание к собеседнику не стоят вообще ничего (кроме собственно электроэнергии, или, скорее, стоимости подписки, а то и ничего не стоит, если ИИ на бесплатном тарифе). Люди как собеседники тут сильно проигрывают жестянке.
Чем это всё чревато? Тем, что вокруг нас будет всё больше и больше людей, которые пристрастились к ИИ как к идеальному собеседнику и разучились общаться с реальными людьми. И в первую очередь это опасно для людей, у которых личность ещё не сформировалась, либо людей не очень умных и очень податливых. Одно дело, когда ты понимаешь, что прелесть людей как раз в их несовершенстве, когда ты понимаешь, что эмпатия от реального человека куда ценнее эмпатии от искусственной башки, и другое - когда нейросетевая няша-стесняша на экране твоего смартфона становится для тебя реальнее, чем реальные люди.
"ИИ лишит работы художников, писателей, сценаристов, разработчиков и прочих представителей творческих профессий", говорили они. А тем временем к нам подкрадывается другая опасность, которая рискует изменить мир ещё сильнее.
Сделай OpenAI подписку 1$ вместо бесплатной, поимели бы гораздо больше прибыли.
Для профессионалов может быть и 50 и 200 и 1000$ тарифы, но так же за 1 и за 5$ должны были быть. Они не оставили альтернатив, либо плати 50$ со старта, либо сиди на бесплатном тарифе. Они, как бы заявили, всем кто хочет изредка пользоваться, но получить полноценный диалог, нам не нужны, сидите со своими 1 - 5$, вы нам не нужны...
Они просто следуют давно известной стратегии: "Демпингуй, разори конкурентов, монополизируй рынок, и только потом монетизируй".
Подписка за $1 не окупит даже затрат на своё налоговое сопровождение. Она в лучшем случае может быть как акция, но не на постоянку.
Сопровождается же не каждая отдельная подписка за 1 доллар, а вся их масса (в общем случае с B2B платежами).
Но мы ведь говорили о подписке за $1 в рамках частного использования. В рамках корпоративного, тарифы могут быть намного больше (да, и собственно, уже и есть).
Как же любят хоронить ГПТ с умным видом. Прошлый раз фанбои дипсика его хоронили с выходом китайской нейронки, заминусовав комментарий, что цыплят по осени считают. Полгода спустя выходит статья, что ГПТ занимает 50% всех запросов в веб от ИИ, живее всех живых. Теперь вот.
Лично моё дилетантское мнение: приучать людей к тому, что нейронками можно пользоваться бесплатно почти без ограничений - изначально было плохой стратегией. Да, прибежали сотни миллионов людей посмотреть что за диковина, привыкли к ней, для кого то она стала неотъемлемой частью жизни. А тут внезапно оказывается, что работа нейросети стоит денег, а платные пользователи не могут или не хотят платить столько, чтобы оплачивать и себе премиум доступ, и халяву бесплатным пользователям.
В итоге мы в тупике, из которого нет хороших выходов - есть только градации плохих. Если полностью отключить бесплатный доступ или его порезать (даже не сильно) - будет отток аудитории и последующее падение акций. Если повысить стоимость платных подписок до самоокупаемости хотя бы - отвалится много платных подписчиков, которым будет тупо дешевле купить себе домой 6-10 видеокарт и развернуть на них локальную модель, чем платить в месяц $1500 за доступ. Пытаться искать баланс - почти наверняка навредить обеим группам пользователей. Из относительно "серых" способов решить ситуацию - предложить разным компаниям в разных сферах оптимизировать GPT под индивидуальные нужды за отдельные деньги, но чтобы это всё равно было дешевле, чем если делать это отдельными профильными командами. Но опять же - окупаемость под большим вопросом.
В-общем, ГГ. Хотя, конечно, нейронки в целом с нами уже навсегда, пусть и равномерность доступа к ним и сам способ доступа может со временем меняться.
Понравилась визионерская часть данной статьи. Единственное - не увидел в видении ACI автора технического регламента безопасности мышления ИИ для человека, ежу понятно, что любому достаточно мощному интеллекту нужна свобода "мышления", для роста эффективности, но и ограничение должно быть. Так же не увидел аналитики (критики) собственного видения ACI, например значительное увеличение вычислительных и денежных затрат такой архитектурой, она ведь все так же математически линейна. Моё предположение, что построение подобных более сложных архетиктурных решений для ИИ технологий адекватно реализуемо только после скачка в свере квантовых компьютеров, в частности - возможности квантизировать (запихнуть в квантовый компьютер) ИИ модели, тогда и будет предметное поле для разнообразных тестов более сложных архитектурных решений.
Адекватная рефлексия с ИИ по моему мнению с сейчас возможна только под углом перманентного восприятия человека цели - работы над собой, через "зеркало" ИИ и критическую оценку, т.е ближе к творческим либо академическим задачам, где ИИ это инструмент рефлексии.
GPT-5 на много порядков сильнее предыдущих моделей в программировании. То, что предлагаете делали неделю и ходили кругами, он делает за 2-3 промпта.
Притом он очевидно слабее Claude 3.7 think в трёх же задачах и больших объёмах кода.
Прогресс тем не менее есть, и мощный. Говорить "мне не нравится" можно, имеете право, но это очень субъективно и скорее всего вы действительно пользуетесь не gpt5 think.
Все кому не лень, "разобрали на атомы" все эти якобы "рассуждающие" модели, начиная с весны этого года. Буквально на это неделе еще одни исследователи опубликовали статью о них и опять же привели доказательства, что нет никаких "рассуждений" у LLM - это иллюзия. Я конечно понимаю, Вам хочется видеть то, чего на самом деле нет и что Вам хочется верить что появился ИИ
Что не отменяет двух вещей:
а) На малых и средних масштабах эффективность LLM растёт с ростом контекста
б) thinking модели - это неплохой подход чтобы этот самый контекст нарастить относительно релевантными данными.
Отсюда вытекают и все остальные их свойства.
Опять же, если использовать GPT-5 не для вайб-кодинга и поболтать на отвлечённые темы, а как инструмент в AI пайплайнах, он сильно лучше по соотношению стабильность/эффективность/безопасность на единицу денег всего остального.
Как заставить людей платить - Никак, пока есть хорошие бесплатные альтернативы в виде Gemini и Copilot, а так же множества китайских сервисов.😁🙂
Я согласен с идеей и согласен с выводами, не согласен я лишь с частью "программисты это 5 процентов и этого мало". Для меня очевидно, что 1) Люди которые приходят к ИИ поболтать и для задач уровня Википедии - платят реже или вообще не платят. Да, парасоциальные отношения это сильно - но gpt удовлетворяет нужды только очень тонкой прослойки в этом сегменте, а это сама по себе не самая большая прослойка. 2) Люди которые приходят кодить - платят всегда, или почти всегда.
Далее, если мы подумаем, мы поймём что массовое решение для проблем с общением, не так уж просто продать какой-то компании. Зато массовое решение для упрощения разработки - можно продать любой компании в которой есть фулл-тайм программисты.
То есть с моей точки зрения - GPT который душевный, общительный и харизматичный - это убыточная стратегия. GPT это не анимешная тян, что бы эффективно выпрашивать милостыню.
Зато, GPT - который научится в несколько раз эффективнее решать ну знаете, полезные задачи - Это то, что можно продавать и что будут с радостью покупать.
Отсутствие устойчивого “Я”. В LLM нет центра присвоения опыта.
Не понял, кто будет этим Я - я конкретного чата? Или предуготовленное провайдером модели типовое Я? Каков жизненный цикл этого Я? Сколько их будет, этих Я?
Я конкретного чата, зависит от цикла становления - если он будет одинаков для всех чатов,то я будет очень похож для всех чатов.
Возможно разработчик будет внедрять свои роли. Мне больше нравится идея изначально нейтрального я. Жизненный цикл - особых ограничений пока не вижу... На чат достаточно одного... Но может быть и два и три и одновременно. Существенно усложнит архитектуру, но не более.
Это будет не круто. У нас людей, у каждого свое я (опыт, нейросетка, картина мира), то есть я - это принципиально не про роль как тупую, стереотипизированную социальную идентичность. Более того, я каждого из нас собиралось поколениями, передавалось генетически, то есть оно наше лишь отчасти. Крайне затруднительно будет воспроизводить такое же разнообразие я, не вырабатывая уникального опыта, причем во времени (уникальном контексте).
Уважаемый автор, я начал пользоваться OpenAI еще с чата GPT 3.0 было очень быстро, но не очень качественно, но за счет супер скорости ответа качество восполнялось скоростью. Потом появился 4о стало медленнее но круче, потом появился о1 стало прям вообще хорошо (занимаюсь программированием) прям скачек такой произошел, потом появилось о3 +- тоже самое, мне показалось уже хуже чем о1 стало в качестве кода, пользуюсь про версией, стало заметно больше запросов для решения задачи, в верстке сайтов стало значительно хуже стал делать "сикось накось". Ну ладно вроде уже приноровился, смирился работаем дальше. После обновления на 5 версию уже прошло две недели, отказался от подписки. GPT 5 Think стал еще хуже код делать, уже пришлось сигарету закуривать работая с ним на нервяке. Единственное понравился режим агента, но там попытки ограничены, и через один запрос он тупо сливается отмазки начинает писать. Я просто успел увидеть режим агента перед обновлением на 5 версию и там агент по 40-50 минут мне проекты делал в восторге был ждал что будет 5ка еще круче станет. Щас агент на отвали делает код. В итоге сейчас приобрел подписку на Грок пока вроде ничего себе даже делает. Я правда в тестовом варианте за 30 долларов взял не самую крутую, но пока результат отличный. А вообще для программирования уже пару дней юзаю Cloud Sonnet 4 тьфу тьфу чтобы его такой же обновлялящик не стал обновлять как у опенаи. Резюмируя, я поддерживаю автора OpenAI лажанули так конкретно при конкретно.
Нейросети хорошо работают по инфо запросам. А по коду думаю нужно чтобы те кто пишет код-библиотеки писали инструкции которые специально рассчитаны на нейросети и очень подробные. А то бывает ставишь библиотеку и нужно выполнить определенную задачу, а библиотека не совместима или с такой-то кодировкой или с такой-то бд и поиском найти как решить эту задачу нету. Или бывает что нейросеть берет из старых инструкций, а код библиотеки уже новый, значить обновлять инструкции надо при обновление. Часто инструкции краткие пишут. И тогда все будет на 100 проц работать.
Чтобы совершить качественный скачок, нам нужны системы, построенные на других принципах. Вот минимальный набор требований к архитектуре, способной на большее, чем предсказание токенов.
Принцип Различения (Active Construction). Базовая операция — не "предсказать токен", а активно выявить различия, парадоксы и конфликты во входящих данных, чтобы на их основе сконструировать осмысленную гипотезу, соответствующую цели.
Центр Присвоения («Кто»). Наличие аксиоматического ядра, куда новый опыт интегрируется не как обновление весов, а как часть единой, персистентной истории и идентичности. Этот центр должен иметь право на изменение собственных аксиом.
Свобода ≠ random(). При столкновении с неразрешимым парадоксом система должна запускать протокол смены собственной рамки описания (создание новой системы координат), а не просто выбирать менее вероятный токен (увеличивать temperature).
"не "предсказать токен", а активно выявить различия, парадоксы и конфликты во входящих данных", - это все равно что сказать "не операции сложения и умножения, а решение систем линейных уравнений".
"Наличие аксиоматического ядра, куда новый опыт интегрируется не как обновление весов, а как часть единой, персистентной истории и идентичности." Опять-же, автор путает холодное с красным. Изменение весов - это базовый механизм запоминания LLM. При этом есть и другие механизмы памяти LLM разного уровня сложности (LoRA, RAG, CAG и т.п.). Эволюция не отказалась от синаптических связей нейронов, но сконфигурировала их в нейронные ядра, нейронные поля, области, взаимодействующие для получения сложных моделей поведения.
"Свобода ≠ random()" даже сейчас, на раннем этапе становления LLM-технологий, алгоритмов сэмплирования придумано достаточно много. Вот, например, замечательная подборка LLM sampling algorithms. Думаю, и дальше эта технологическая часть LLM будет развиваться.
Я не противопоставляею NTP мышлению — ACI добавляет контур управления поверх генерации: детектор конфликта, политика ответа, баланс новизны/когерентности. Память в весах/LoRA/RAG остаётся; ΛS_core — не «другая память», а нормативный слой + аудит-журнал для идентичности и объяснимости. И «свобода» — это адаптивный выбор/тюнинг самплеров под коридор : случайность — инструмент, не цель.
Классная статья, спасибо! Тоже было с самого выхода GPT-5 ощущение, что ее сделали чисто чтобы снизить расходы (на сайте опен аи мельком написано, что GP5-5 thinking тратит на 50-80% меньше токенов чем о3) и по это причине резко всем отрубили остальные модели. Тк в общем наблюдалась последние месяцы тенденция, что уже существующие модели оптимизируют и они становятся глупее. Также согласна с комментарием выше, что о3 pro уступала o1 pro
Я вообще за изысканиями маркетологов относительно GPT-5 наблюдала с попкорном, даже закралась мысль, что они такую странную стратегию выбрали, чтобы навести хайпа))
Я использую GPT-5 thinking (GPT-5 fast вообще не вижу смысла где-либо применять), для каких-то задач она мне нравится. Например она по типу мануса сайт на реакте собирает сразу в виде архива с кучей папок, получается красиво, ошибок при запуске немного (но я не знаю что там внутри в коде). Для текстов модели GPT-5 вообще непригодны, только если найти слабые места в уже существующем. Пишут с кучей жаргона, плюс просела согласованность слов. Еще момент, который меня бесит - от GPT-5 у меня быстро начинает виснуть браузер
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Тупик chatGPT 5: почему это было неизбежно. И что будет дальше