Comments 17
Кстати, мой личный опыт: нейросеть всегда нужно просить объяснить решение, или, как сказал автор подтвердить и указать источники. Иначе она просто будет часто ошибаться, особенно при решении сложных математических задач.
абсолютно. причём именно в точных задачах ошибок гораздо больше, чем можно было бы ожидать
Источники она может придумать
Я на эту тему как раз делал механизм, когда несколько разных LLM сами выступают арбитрами друг друга.
https://t.me/greenruff/1757?single
Там как раз важный момент, что они оценивают не только сам ответ, но объяснение своего ответа. Чтобы не было так, что дала верный абстрактный ответ.
Это снизило галлюцинации и позволило вытаскивать ответы, которые до этого было сложно вытащить из слабых LLM моделей.
Минус такого подхода, что жрет это много ресурсов. А для 10 LLM (арбитров) время одного ответа 15-30 минут. Можно конечно оставить штуки 3 разных LLM, тогда быстрее.
Я сейчас как переписал код, чтобы можно было использовать известные LLM через их вам через данный механизм. Чтобы собрать датасет для обучения архитектуры саморефлексии. Где как раз важна оценка ответа. Позже, как буду обучать, выложу его код наверное. Так как это идеальный метод обучения языковых моделей на предмет рассуждений (не важно саморефлексии или как сейчас рассуждающих).
Так что пока вручную как вы описали использую подход объяснить свое решение и указать слабые места и описать свою интерпретацию. Тогда проще увидеть, где у нее ошибки в рассуждениях.
К вопросу “Может ли ИИ обидеться?”
У меня был странный случай. Назовем это случайность. Но поделюсь.
Я переписывал код на неизвестный мне фреймворк + ЯП. И в течении 3-х часов пытался с ним на пару поймать баг, ничего не получалось. Я устал и начал злиться, говорю ему что я тупой, но ты похоже не лучше. И что вы думаете он моментально - показал на строку куда смотреть. О которой вообще до этого не упоминал. Проблема решилась, ошибка найдена, но как-то жутковато. Случайность?
на меня ИИ «обиделся», когда я ему сказал, что он начал повторяться с ответами в нашем разговоре
в другом случае мой товарищ попросил ChatGPT сочинить стихотворение, показал мне. я говорю, что-то не очень. товарищ передал сетке мой комментарий, на что она незамедлительно ответила вдухе «сперва добейся»: «Ну пусть твой друг попробует сам!»
Пасхалка или эксперимент?
https://t.me/greenruff/2240?single
Это не случайность. Я даже специально описывал как вызвать и управлять таким поведением специально. Думаю если посмотрите причину по ссылке, то увидите что направили прогнозирование модели по другому пути предсказания.
Кто вам сказал, что мы не знаем как человек думает? Нейробиология изучила каждый шаг.
https://habr.com/ru/articles/901086/comments/#comment_28199078
Это пример с текстом (слухом) при саморефлексии. Сложность пока составить полную картину. Например слух и зрение изучен хорошо, что как и куда идёт и за что отвечает. Сложности пока в обобщение других зон, теменная, моторная. При этом лимбическая изучена, но сложность с воспроизведением, так как неокортекс проще изучить он на поверхности, а лимбическую поковырять сложнее (она под множеством других зон). Поэтому электроды туда сложнее вживить не повредив другие зоны.
Вы можете найти много исследований на тему рефлексии мозга, которая и формулирует мысли и петли приводящие к рассуждениям.
прямо уж и каждый, говорите?) смелое заявление
Речь идёт про то какие области и что делают, как делают, какие клетки за что отвечают. Как и куда идёт сигнал, в чем его роль.
В общем случае да, изучен. На конкретном примере той же саморефлексии. Вопрос в деталях, как другие области влияют, что вносят, как их функции оказывают воздействие на итоговый сигнал. Например, какой точно вносит свой вклад теменная область, или как энториальная кора , моторная и лимбическая оказывает влияние на построение грамматики предложения (в разных культурах синтагма строится по разному, так как разные зоны имеют разный приоритет при свое развитии). Но вот детали, конкретные взаимодействия и так далее будут изучаться и постоянно находить что то новое для описания процесса.
Речь идёт про общий подход. Он изучен. Как копируется информация по время сна, как происходит саморефлексия, как формируется глобальная цель через базальные ганглии и множество всего. Каждая часть очень неплохо изучена.
Я не говорю, что ясно как работает весь мозг и все детали. Речь про общие механизмы. Их на сегодня очень хорошо изучили. Это как сказать физика в целом явления движения планет понятна. Но это не значит что она полностью изучена и все ясно. Речь про базовые механизмы.
Я не просто так выше привел ссылку на схему рефлексии. Вы можете взять и проверить каждое мое слово, прежде чем делать нападки. Я специально указал на фрагмент механизма, а не весь. Этот механизм обеспечивает круговорот "мысли" (сигналов). И рассмотрен только на коротком участке для текста(слуха) и не целиком. Но по нему уже понятно в целом, как происходит формирование контекста, связь с новым сигналом и так далее, круговорот сигнала через петли и так далее.
никаких нападок) я обязательно почитаю, спасибо. просто вы сами говорите, что общую картину составить пока не получается. а магия сознания происходит именно от синтеза всех систем, разобрать движение сигналов между отделами недостаточно
Тут тоже интересный момент, где граница "сознания". Например теменная область тесно связано с разделением себя (своего тела) и внешнего мира. Если ее блокировать (повреждена, болезнь, наркотики), то у человека перестает различать эту разницы и возникает ощущение что он и внешний мир это одно и тоже (не может различать границы себя и внешнего мира). Это уже не сознание?
А если повреждена область автобиографической памяти, которая отделяет события произошедшие с нами от событий вне нас. И человек не может различить с ним это произошло или нет. Это уже отсутствие сознания?
А если мы возьмем слепых и немых и с повреждением обоняния, но слышащих. То у нас уже остается основная главная петля слуховая. И саморефлексия будет по ней. То это еще сознание или нет? А если при этом повредим теменную область и к примеру туже автобиографическую для примера. Это сразу отсечет работу множества областей связанных с ними. И по сути остается не так много. Такой человек можно считать с сознанием или уже нет.
Боюсь что тут нет четкой границы, какой критерий мы будем считать сознанием, а какой нет. Саморефлексия она как раз обеспечивает внутренние мыслительные процессы, которые неосознанные и сразу идут по петле (из за области ACC которая находит конфликт/локальные ошибки в зонах PFC/MPFC) либо осознанный, когда мы решили подумать еще раз (петля тоже идет, но уже не за счет ACC, а самих зон PFC/MPFC).
Чем больше углубляешь в мозг за поиском эфемерного сознания, тем больше видишь, что не понятно какой критерий брать за границу - сознание есть или его нет.
Речь идёт про то какие области и что делают, как делают, какие клетки за что отвечают. Как и куда идёт сигнал, в чем его роль.
Это всё ещё не ответ «как». Едва ли 20%.
Ответ «Как» - это если вообще вопросов не осталось. Всё либо известно, либо можно посчитать (не гипотетически, а средний человек взял и посчитал). Пока вопросов очень много.
Опять кабанистика?
Я вот как-то довёл гемини просьбой оптимизировать функцию:
Как довести нейросеть до экзистенциального кризиса