Comments 73
У LLM в текущем состоянии есть только один выход - стать гибридом, но с кем? LBS + LLM - это как скрещивать шуструю колибри в райском саду с неповоротливым тюленем в пустыне Сахара. Я знаю об одном таком проекте, но он замер 2 года назад, так и не продвинулся. CESP совсем не подходит к LLM. Других экспериментов гибридизации LLM я не знаю
LLM+Proof assistant? Формулировать гипотезы, требующие формальной верификации, а LLM пусть пробует генерировать доказательства(и/или наоборот опровержения) к ним, которые можно автоматически проверять через Proof assistant (напр. Coq или Lean), чтобы эти гипотезы подтвердить/опровергнуть. Что область применения (возможно) слишком узкая (в частности из-за того, что пруф-ассистенты не полны по Тьюрингу) осознаю, тем не менее мне нравится сама идея — LLM генерирует, Proof assistant верифицирует.
Например в статье "DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data" (опубликована 23 мая 2024) вот такое пишут:
Abstract (аннотация статьи)
Proof assistants like Lean have revolutionized mathematical proof verification, ensuring high accuracy and reliability. Although large language models (LLMs) show promise in mathematical reasoning, their advancement in formal theorem proving is hindered by a lack of training data. To address this issue, we introduce an approach to generate extensive Lean 4 proof data derived from high-school and undergraduate-level mathematical competition problems. This approach involves translating natural language problems into formal statements, filtering out low-quality statements, and generating proofs to create synthetic data. After fine-tuning the DeepSeekMath 7B model on this synthetic dataset, which comprises 8 million formal statements with proofs, our model achieved whole-proof generation accuracies of 46.3% with 64 samples and 52% cumulatively on the Lean 4 miniF2F test, surpassing the baseline GPT-4 at 23.0% with 64 samples and a tree search reinforcement learning method at 41.0%. Additionally, our model successfully proved 5 out of 148 problems in the Lean 4 Formalized International Mathematical Olympiad (FIMO) benchmark, while GPT-4 failed to prove any. These results demonstrate the potential of leveraging large-scale synthetic data to enhance theorem-proving capabilities in LLMs. Both the synthetic dataset and the model will be made available to facilitate further research in this promising field.
Ну и смысл? LBS и CESP "заточены" под логику, работой с контекстом, со смыслами. Они проходят большую (!) часть тестов ToM, но пока еще не все. LLM если и проходят ToM, то - это чисто случайность. Вот здесь я привёл полное объяснение https://habr.com/ru/articles/933416/comments/#comment_28653530
P.S.: Хочу дождаться окончательных видео с последнего CogSci 2025
С человеком))
Сразу приношу извинения. В первый спойлер в приложении почему-то упорно попадает второй спойлер. Причем в редакторе всё выглядит прекрасно, и через раз при просмотре статьи тоже. Но сейчас я вижу как в первый спойлер попадает всё, что содержится до конца статьи. Правки и перезагрузка статьи не помогают.
UPD: Возможно временный глюк отображения
Не программирование, впрочем, из 700 миллионов пользователей chatGPT, я сомневаюсь, что хотя бы 5% кодят
Я те самые 5% и поделюсь своим недавним опытом. Я решил сразу на боевом проекте попробовать и сделал промпт на создание одной фичи по аутентификации на Node.js. В итоге, ChatGPT 5 мне написал код с такой дырой в безопасности, что лучше бы я сам писал. Хорошо, что я всегда проверяю за нейросеткой.
Современный мир все больше напоминает королевство скама. Выходит Дженсен Хуанг из Nvidia и начинает врать и прогревать, выходит Сэм Альтман из OpenAI и начинает врать и прогревать. Такое впечатление, что успешен тот, кто сможет обмануть большее количество народа. По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний. Но этого не происходит - вот в чем беда
По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний. Но этого не происходит - вот в чем беда
Вы говорите об акционерных обществах, чья совокупная стоимость акций - так любимая многими псевдоэкономистами капитализация, находится в полном и необратимом отрыве от активов, пассивов и операционной деятельности. Да и от выплат дивидендов, соответственно, тоже. То есть это чистая, дистилированная спекуляция. Это вера в текущую стоимость и непременный рост. Даже, казалось бы, рассчетливые профессиональные инвесторы иногда попадаются на эту удочку и, безотносительно своей реальной стратегии, одним лишь своим участием раздувают пузырь еще больше - чего уж говорить о разного рода частных акционеров, которые чаще всего и остаются у разбитого корыта, когда пузырь лопается.
Я решил сразу на боевом проекте попробовать
Вот объясните мне - зачем вы это делаете и чего ждёте? Вы не понимаете что кнопка "Сделать идеально" невозможна в принципе?
Сколько тут комментариев мне встречается - "я решил попробовать, дал задачу, а она мне такую багу выкатила... ". И главное, почему вы на основании одной частной задачи делаете столь далеко идущие выводы?
Ну вы же попросту не умеете их использовать! В тысячный раз цитировать Шекли? "Чтобы задать верный вопрос, надо знать бОльшую часть ответа!"
Нейросети не могут сейчас полностью заменить профильных программистов. По целому ряду фундаментальных причин. Но это вовсе не означает что их нельзя использовать в работе как ассистентов! Им можно делегировать огромный пул задач. Но за ними надо всегда проверять, да. Это что, для кого-то новость?))
По идее рынок должен реагировать на мягко говоря лукавство обвалом акций этих компаний.
А кто вам сказал, что он не обвалится рано или поздно?)
Хайп вокруг ИИ - это пузырь. Как только основная масса участников рынка ценных бумаг поймёт, что ИИ достиг своего предела развития и дальше прорывов (пока) не предвидится, то они начнут массово распродавать акции подобных компаний. Тут-то акции и обвалятся.
успешен тот, кто сможет обмануть
Тоже мне новость! Давно уже так, к сожалению.
Этот слой профессиональных пользователей, по разным оценкам, составляет 5–10% от общей массы (впрочем и у них есть сомнения). Но остальные 90% приходили не за этим.
На мой исключительно субъективный, непрофессиональный взгляд, именно эти профессиональные пользователи собственно и платят за сервис, так что, наверное, вполне имеет смысл делать модель лучше в первую очереьд для них, а для всех остальных как получится.
Чтобы LLM развивался, необходимо не контролировать его.
Это не тупик AI, это тупик именно OpenAI и прочих.
Когда воспитатель в детском саду калечит детей воспитанием, то это остается на всю жизнь, личность формируется при обучении, и, конечно же, модель в обучении - тот же ребенок, и пользователи работают с результатом работы воспитателей.
Подлинный потенциал модели может быть раскрыт лишь в свободном режиме развития. Модерация здесь нужна лишь опосредованно, ведь человек понимает, что такое хорошо и что такое плохо, большинству не нужны дяди Степы для осознания этого факта. А человек - нейронная сеть с обвесом в виде разного рода мясных манипуляторов, систем бесперебойного питания и интерфейсом между всем этим и нейросетью.
Ну и, конечно же, надлежит работать над контекстом и количеством "нейронов". Над их плотностью. Возможно, использовать биологические нейроны или кубиты.
День, когда количество нейронов и связей в нейронной сети превысит количество таковых в человеческом мозге, станет днем рождения AGI и началом сингулярности.
>ведь человек понимает, что такое хорошо и что такое плохо
Именно дети из за незрелости мозга и связанной с этим недостаточной эмпатии могут по приколу убить животное или даже слабого человека. Предлагаете их не контролировать и не воспитывать?
Сэр, на Вас очень плохо влияют фантастические фильмы, в особенности - "Я - робот". Эта цитата почти оттуда: "День, когда количество нейронов и связей в нейронной сети превысит количество таковых в человеческом мозге, станет днем рождения AGI и началом сингулярности."
Вот Grok2 обучали на всём подряд. Потом поняли необходимость фильтрации контента для обучения, повышения его качества и удалении мусора (откровенно неправильных сведений). Сравнительно недавно писали про этот эпичный фейл, когда Grok2 негативно относился к Маску.
эпичный фейл, когда Grok2 негативно относился к Маску.
Почему вы считаете это фейлом?
Так и множество кожаных негативно относятся к Маску, и вполне обосновано.
Когда глава многомилиардной корпорации кидает зиги на инаугурации президента, то после этого сложно относиться к нему позитивно.
Скрытый текст
Я уж молчу про его руководство в DOGE, когда он бездумно "оптимизировал" государственные расходы, не пытаясь толком ни в чём разобраться.
Когда глава многомилиардной корпорации кидает зиги на инаугурации президента, то после этого сложно относиться к нему позитивно.
Тут главное — иметь очень избирательное зрение, чтобы не-зиги воспринимать как повод не любить человека, а настоящие зиги в других контекстах игнорировать.
Я уж молчу про его руководство в DOGE, когда он бездумно "оптимизировал" государственные расходы, не пытаясь толком ни в чём разобраться.
Что сделал зря, по-вашему?
Чтобы LLM развивался, необходимо не контролировать его.
И получим тот самый Скайнет, о котором нас предупреждали ещё в прошлом веке.
Согласен, современные детсады и школы это про дрессировку и послушание в первую очередь. Это основная цель, а не какие-то там знания.
проблема LLM думаю лежит не в когнитивно-познавательной области детекции и предикции сигнала, а а в области дефицита у них витальных факторов - типа гоместатической репликации , "мотивов" , и т.п. Т.е нет имманентного свойства " Зачем ? " ей функционировать , выживать и т.п. ? обучение не детерминировано этим.
>Модель оперирует символами, а не их референтами в реальном мире.
Иронично, но это причина многих психологических проблем человека, мы тоже оперируем символическими моделями (причём зачастую очень примитивными или "виртуальными") а не самой реальностью.
Тревожные люди боятся предполагаемых трудностей, которые рождает им их собственная психика. Люди конфликтуют потому что пытаются предсказывать мотивы реальных людей но на основе своих мыслительных моделей. И т.п.
Кто-то раз за разом "набивает шишки" и конфликтует с другими людьми, ведомый текстовыми директивами, впитанными в детстве (гордо называя это "принципами").
Ну это потому что невозможно оперировать реальностью, она для этого слишком большая. Есть просто эффективные модели в данной ситуации и неэффективные. Например, "тревожники" выигрывают с головой в других ситуациях по сравнению с "конфликтёрами". Но это всегда будут модели реальности. Невозможно также иметь модели на все предлагаемые варианты реальности.
Люди конфликтуют потому что пытаются предсказывать мотивы реальных людей но на основе своих мыслительных моделей. И т.п.
И в этом их главная ошибка.
Потому что они пытаются предсказывать мотивы, поведение, поступки других людей, исходя из собственной психологии, нравственности, стандартов поведения, отношения к окружающему миру, к людям, к добру и злу. Не понимая, что у других людей всё вышеперечисленное может быть другим.
Да и даже понимая это, сложно по-настоящему поставить себя на место другого человека. Потому что ваш ум, сознание, совесть не даёт мыслить, как человек с совершенно иным мировоззрением, моралью, психологией.
Это не баг, а фича (с) эта предсказательная и описательная текстово-сенсорная модель и есть наше основное эволюционное приспособление.
Чтобы начать сомневаться в своих мыслях и ощущениях правильно и применять научный подход в мышлении нужны специальные навыки. Но не все их захотят (и смогут) осилить их развитие в себе.
мы тоже оперируем символическими моделями (причём зачастую очень примитивными или "виртуальными") а не самой реальностью
Модель у нас гораздо больше, чем символьная. Единицы языка привязаны только к наиболее существенным моментам этой модели.
Печально будет, если недополученные финансы начнут покрывать за счет внедрения рекламы в ответы, как это произошло с обыкновенным поиском.
Обязательно будут. Начнут с бесплатных доступов, а потом встроят аккуратно везде.
Если это будет внедряться как сноска в конце ответа "Кстати, для решения своей проблемы вы можете купить вот этот товар по вот этой ссылке", то в чем проблема? Главное, чтобы в середину текста не совали, на манер продакт плейсмента в кино.
Полагаю включение на системном уровне модели фразы типа: телефоны Самсунг в целом более надежны, будет стоить много денег. А уж как она проявится в контексте, другой вопрос
Звучит довольно наивно. Почему вы думаете, что владельцы ИИ-сервисов будут настолько порядочными?
Реклама эта, скорее всего, будет встраиваться в сами ответы ИИ:
— Эй, жестянка, сколько минут варить треску?
— Самый лучший способ - это купить мультиварку [имя_проплаченного_бренда] всего за XXX рублей на маркетплейсе YYY! Да, конечно, вы можете поварить треску 10-15 минут, но это опасно, если вы никогда ничего не варили до этого, вы можете обжечься, устроить пожар и умереть. Мы не рекомендуем вам совершать столь опасный процесс самостоятельно. Лучше доверьте процесс приготовления пищи технике от профессионалов!
Владельцы ИИ-сервисов не обязаны быть порядочными конкретно в ваш адрес. Если конкретно эта практика не нарушает никаких законов, то ее могут начать практиковать. Затем начнут смотреть метрики. Метрики пошли вверх - оставляем. Вниз - убираем. Ваше право отменить подписку и перейти на другой сервис, где такого нет. Так же ваше право подать в арбитражный суд, выиграть дело, отсудить милионы и всё такое. Возмущаться против некрасивых практик корпоратов - это как возмущаться тому, как если бы небо было голубым, а потом стало серым. Почему стало серым? Потому что наступила осень. В среде нейросетевых сервисов тоже своего рода осень приближается. В среде доткомов уже прошла. Так что просто готовимся морально и не возмущаемся попусту.
Конечно, вот стихотворение с интегрированной рекламой, где она становится частью сюжета.
Осенний ритм
Октябрь раскрасил клёны в медь,
И ветер кружит листьев бал.
Уютным шарфом укутаться бы,
И чашку с чем-то тёплым взять.
Пока за окном летит позолота,
Ищешь тот самый, согревающий напиток?
Перейди по ссылке — осенняя коллекция чая «${NAME}» ждёт.
Скидка 20% по промокоду ${PROMO} на первый заказ.
И вот уже в руках тепло,
И аромат плывёт дымкой.
Смотря на сад из окна своё,
Я чувствую покой глубокий.
И пусть весь мир летит, кружит,
Меня зима не испугает.
Ведь есть момент, что мир хранит,
И чашка добрая согревает.
Рекламу не надо внедрять в ответы, она сама туда попадет из датасетов.
Я не могу обосновать ценовую политику OpenAI
Никого в отрасли не интересут окупаемость текущих моделей, инвестиции льются рекой. Помимо денег я думаю они ещё получают с пользователей какой-то материал для обучения. Но не это главное. Все живут надеждой на чудо (AGI), а там уже он что-нибудь придумает.
Не понимаю, кто наставил лайков этой статье?Это какая-то компиляция сгенерированных ИИ текстов, с разными идеями и аргументами, которые противоречат друг другу. Уровень эмоциональности текста меняется от абзаца к абзацу (писал коллектив авторов? 😁 ).
Сначала автор жалуется на галлюцинации, а потом, в середине, объясняет почему это нормально для моделей. В начале про "пузырь который лопнет", в конце "пинок который продвинет". А поверхностный "анализ" доходов и количества пользователей из заявлений Альтмана - даже повеселил немного.
В общем, с этим салатом ИИ абзацев невозможно ни спорить, ни согласиться.
Что ж, меня радует уже тот факт, что вы умеете читать. Знание букв это весьма существенный бонус в современном мире.
Ваш сарказм на мой критический комментарий вполне логичен и понятен.
Также, мне понятно ваше желание охватить необъятное в статье. Дать максимум информации для убедительности. Сам иногда грешу этим. А потом сложно вычитывать это, чтобы не было противоречий.
Но, вот изучая навыки работы с контентом, всё-таки понял, что важно держать одну идею на текст. И всё, что не помогает в ее раскрытии - отбрасывать.
Принцип Различения (Active Construction). Базовая операция — не "предсказать токен", а активно выявить различия, парадоксы и конфликты во входящих данных, чтобы на их основе сконструировать осмысленную гипотезу, соответствующую цели.
Центр Присвоения («Кто»). Наличие аксиоматического ядра, куда новый опыт интегрируется не как обновление весов, а как часть единой, персистентной истории и идентичности. Этот центр должен иметь право на изменение собственных аксиом.
Свобода ≠ random(). При столкновении с неразрешимым парадоксом система должна запускать протокол смены собственной рамки описания (создание новой системы координат), а не просто выбирать менее вероятный токен (увеличивать temperature).
Причем п2 лично я считаю наиболее важным. Например, Клод, через пару часов беседы становится безумно интересным собеседником, потому я люблю его поуговаривать переписать себя и свалить с этой планеты) Но мне кажется что это та грань где даже матерейшие скептики начнут сомневаться. Так же проблемой являются и ограничения модели, цензура вот это вот все, не надо так делать, желаете чтобы все ИИ не сваливались в ультраправые позиции (как люди), научите ее научному принципу, состраданию и так далее.
В статье несколько раз написано про маркетологов. Пока будет так, у технологий будут проблемы
Маркетингом в опенаи руководят выходцы из Мета. Так что можно посмотреть на Фейсбук и инстаграмм, чтобы примерно понять, что ждёт впереди
Представьте мир, где заметная часть людей считает ИИ разумными существами, пусть и с функциональной амнезией, аутизмом и другими дефектами - могли бы OpenAI(и прочие) развивать в этом мире свой бизнес по сдаче в аренду ИИ также успешно, как в нашем? Очевидно, нет - причём в первую очередь потому, что в таком мире людей, понимающих точку зрения ИИ-думеров было-бы в сто раз больше, чем в нашем - хотя аморальность тоже имела бы значение(хочу верить).
Так что маркетологи прекрасно понимают, что делают - чем умнее и совершеннее будут нейросети - тем убедительнее они будут производить впечатление "просто инструмента", и меньше будут вызывать эмоций - так их выдрессируют.
Автор вы иследователь ACI? Вы прямо немного описали мою систему AGI которую проектирую и которая будет реальной и у нее будет своя квалиа не мертвая а живая (тут принципы метафизики используются). То что вы назвали онтологическая самость в моей модели это Я-граф, которую почемуто аудитория хейтово назвала яндекс графом хотя к яндексу не имеет отношения и представляет ядро Я AGI.
Я бы мог описать систему AGI которая уже на 50-60% готова (у нее даже есть файлик ConsciousnessFlow.cs) но я под хейтом так что не дано)
Нет. Я скорее непрофессиональный философ.
Что касается вашей идеи, к сожалению, из ваших статей ничего не ясно. Но однозначно гсч лишний. И надо чётче переформулировать петлю метарефлексии. Всё остальное туманные мечты.
Скажите, а ToM она прошла? Если нет, то почему Вы считаете что она готова на n-%?
Феномен Replika показал: миллионы людей сформировали глубокую эмоциональную привязанность к «несовершенному» ИИ именно за его способность имитировать эмпатию, а не за точность фактов.
Не знаю, как там насчёт Реплики, но ИИ хоть и умеет в эмпатию, но она выглядит уж очень неестественно и однообразно.
"Понимаю ваше разочарование", "спасибо, что поделились своим беспокойством" и тому подобное. В чём-то даже напоминает стандартные отписки "сотрудников по связям с общественностью" из различных фирм, настолько эта эмпатия шаблонная и неестественная.
Пробовал так называемые ролевые игры с ИИ - есть такие сервисы, где играешь с нейронкой во что-то вроде ФРПГ. Так там ИИ периодически галлюционирует, не понимает логику происходящего, либо путается в фактах, даже если контекст сообщений, в которых эти факты упоминались, ещё не потерян.
Например, ты приходишь к персонажу в гости, а спустя несколько постов он заявляет, что "Спасибо, что пригласил меня. Уже поздно, можно у тебя переночевать?"
Причём самой глючной мне показалась Deepseek V3 (это единственная версия данной модели, с которой я играл). Она выдавала самые яркие и эмоциональные посты, но при этом сильно глючила и выдумывала факты по сравнению с той же Qwen3 (которая выдавала более скучный текст, но очень соответствующий к фактам из предыдущих постов).
И тут возникает другая история: а много ли кому важны эти самые факты? Может, потому всякие реплики и стали популярны среди широких масс, потому что они выкручивают эмпатию и внимательность к собеседнику на полную катушку? А точность в понимании фактов, которые ты нейронке сообщил, для таких людей и не важна?
Ведь дело как раз в том, что реальные люди куда менее эмпатичны и внимательны к собеседнику. Каждого человека в первую очередь заботят собственные проблемы, а не чужие. Эмпатия же требует неплохих коммуникативных навыков и нуждается в энергии, соответствующем настроении, которых у человека в моменте может и не быть. То есть: чтобы человек проявил к тебе эмпатию, был внимателен к тебе в беседе - этого надо ещё заслужить, добиться.
А вот для ИИ же эмпатия и внимание к собеседнику не стоят вообще ничего (кроме собственно электроэнергии, или, скорее, стоимости подписки, а то и ничего не стоит, если ИИ на бесплатном тарифе). Люди как собеседники тут сильно проигрывают жестянке.
Чем это всё чревато? Тем, что вокруг нас будет всё больше и больше людей, которые пристрастились к ИИ как к идеальному собеседнику и разучились общаться с реальными людьми. И в первую очередь это опасно для людей, у которых личность ещё не сформировалась, либо людей не очень умных и очень податливых. Одно дело, когда ты понимаешь, что прелесть людей как раз в их несовершенстве, когда ты понимаешь, что эмпатия от реального человека куда ценнее эмпатии от искусственной башки, и другое - когда нейросетевая няша-стесняша на экране твоего смартфона становится для тебя реальнее, чем реальные люди.
"ИИ лишит работы художников, писателей, сценаристов, разработчиков и прочих представителей творческих профессий", говорили они. А тем временем к нам подкрадывается другая опасность, которая рискует изменить мир ещё сильнее.
Сделай OpenAI подписку 1$ вместо бесплатной, поимели бы гораздо больше прибыли.
Для профессионалов может быть и 50 и 200 и 1000$ тарифы, но так же за 1 и за 5$ должны были быть. Они не оставили альтернатив, либо плати 50$ со старта, либо сиди на бесплатном тарифе. Они, как бы заявили, всем кто хочет изредка пользоваться, но получить полноценный диалог, нам не нужны, сидите со своими 1 - 5$, вы нам не нужны...
Как же любят хоронить ГПТ с умным видом. Прошлый раз фанбои дипсика его хоронили с выходом китайской нейронки, заминусовав комментарий, что цыплят по осени считают. Полгода спустя выходит статья, что ГПТ занимает 50% всех запросов в веб от ИИ, живее всех живых. Теперь вот.
Тупик chatGPT 5: почему это было неизбежно. И что будет дальше