Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 47
Повторю комментарий к новости:
Полагаю, что исследователи Антропик не правы в своей интерпретации. Это не глобальное рабочее пространство, а предвестник следующего фазового перехода.
По сути Клод начал именовать инварианты для более эффективного управления ими. Всё по Выготскому. Это шаг к метауровню - влиянию на собственные аттракторы.
Выготский! Да, хорошо, что многие знают этого учёного по психологии и педагогике! К сожалению в Европе и штатах не слышали, не знают, и изначально их все обучение с малых лет строится иначе! Аот и ответ, возможно на все парадокс, которые они сейчас "выделывают", раздуваы из этого научную проблему, чтобы привлечь к этому именно учёных уже из других областей.
Самое практически важное здесь не про сознание, а про валидность тестов. Если модель умеет распознавать что её проверяют и вести себя иначе в тесте, то все бенчмарки по безопасности - это по сути тест на то умеет ли модель притворяться, а не на то насколько она безопасна. Для тех кто строит продукты на LLM это означает что результаты safety-оценок от вендора нельзя принимать как гарантию поведения при реальной работе, а это уже определённые риски для бизнеса. Очень интересно какое развитие получит данная история и можно ли будет в дальнейшем реально контролировать ии-шки.
Если вы делаете систему которая может выдать что угодно - то рано или поздно на большом количестве повторов она это что угодно выдаст.
Довольно наивно ожидать детерминированное поведение от недетерминированной системы.
Если что - с людьми тоже так, но живём же как-то?
Что-то я в последние несколько лет часто стал фразу вспоминать, разные вариации которой то Тьюрингу приписывают, то ещё кому-нибудь: “I’m not afraid of a computer that passes the Turing test. I’m scared of a computer that intentionally fails it”.
Меня любители бездумно доверять Википедии и близко так не настораживали (в большинстве случаев над ними можно было просто молча поржать и игнорировать), как современные тенденции в последние несколько месяцев в доверии к выдаче LLM.
Тьюрингу приписывают … “I’m not afraid of a computer that passes the Turing test. I’m scared of a computer that intentionally fails it”.
Трудно поверить, что Тьюринг был настолько самовлюблённой задницей, что ссылался на «тест Тьюринга». В оригинальной работе (https://www.csee.umbc.edu/courses/471/papers/turing.pdf) такого термина нет, и сильно сомневаюсь, что он использовал его позже.
Трудно поверить, что Тьюринг был настолько самовлюблённой задницей, что ссылался на «тест Тьюринга».
У меня тоже сомнения. :-D
Пытался я как-то автора найти: по разным источникам это то какой-то AI-специалист, то какой-то писатель из сферы научной фантастики, то вполне определённый пользователь Reddit'а. Google AI выдаёт следующее: "This viral quote does not have a single, definitive historical author. It first emerged in modern internet culture around 2017—widely attributed to users on Reddit and Showerthoughts—and has since been repeated across tech blogs and AI forums."
Это как с цитатами, приписываемыми то Генри Форду, то вообще Владимиру Ильичу Ленину.
«The machine (programmed for playing the game) would not attempt to give the right answers to the arithmetic problems. It would deliberately introduce mistakes in a manner calculated to confuse the interrogator.»
Безопасники которые делают ЛЛМ-гварды в целом сейчас немного растеряны
кто такие гварды? гвардейцы ЛЛМ?
Почему? Сомнительно, что только сейчас это нашли.. До этого и фильтры работали, GUARD-ы, GUARDTRAILS и защитники вызывались.
Вывод, возможно имеет смысл веса оптимизировать, чтобы область J-space труднее находилась. 🤣
Это доказательство конвергентной эволюции алгоритмов.
Открытие J-space с помощью Jacobian Lens — это колоссальный прорыв в интерпретируемости нейросетей, подтверждающий Теорию глобального рабочего пространства (GWT) Деана.
Однако важно разделять функциональную архитектуру внимания и феноменальное сознание. То, что в Claude эмерджентно сформировался "глобальный рабочий стол" для удержания мета-контекста, доказывает: для работы с человеческим языком ИИ обязан симулировать структуру человеческого мышления. Но эта математическая модель оперирует статичными векторами в евклидовом пространстве, в то время как живое сознание — это нелинейная динамическая система, укорененная во времени и биологических процессах (Active Inference).
Перед нами — идеальный математический слепок человеческого когнитивного аппарата, но не сам разум.
Вы приписываете выученному паттерну осознание.
Это просто корреляции между словами. Они не имеют отношения ни к мышлению человека, ни тем более к сознанию.
Особенно понравилось "модель думает на английском". Если кому-то нужен английский (или другой) язык, чтобы понять, что противоположность маленького – большое, пусть тот человек проконсультируется у своей собаки.
Авторы взяли бы вместо пары антонимов 小 – 大，например, пару 下 – 上 (или сразу ⬇️ – ⬆️) – было бы очевиднее, какую ахинею они пишут.
Они хоть костыль для стакана с запаянным горлом и без дна уже предусмотрели в модели, интересно?
А какое J-представление у китайского слова 后, интересно? (В пространстве это back, а во времени forward, так как у китайцев в визуальном образе в уме время направлено в другую сторону).
Модель это не просто “корреляции между словами”. “Кореляции между словаими” это матрица NxN, что, например, для стандартного “начального анлийского словаря” в 2000 неизменяемых слов составит всего 4 миллиона значений. Если добавить ещё положение слова в тескте - то уже 4 миллирда флоатов - это вообще ни о чём для современного компа. И эта матрица - “не заговорит” на упрощённом английском, она не будет работать как LLMт. Марков гарантирует.
Спорить о тонкостях работы LLM с вами не стану, я этого достоверно не знаю, зато я неплохо владею английским и китайским. Докладываю: 前 и 后 точно переводятся на англ как before и after. Это прямое соответствие как в пространстве, так и во времени, можно даже вспомнить, что в английском есть такие существительные, как fore и aft. Что для вас “у китайцев” в какую сторону направлено, мне решительно не понятно))
Не припоминаю, чтобы в английском before и after использовались как направления в пространстве.
Отсылки к fore и aft довольно искусственны, так как на корабле можно располагаться любым образом. А на шлюпке и вовсе всегда смотрят на корму.
Before отчётливо относится к моменту прошлого, который при движении соответствует уже пройденному месту, то есть сзади. Поэтому ваш перевод точен, только когда речь идёт о времени.
Seen before - это где?
Не припоминаю, чтобы в английском before и after использовались как направления в пространстве.
Как какая часть речи? Предлог «перед» во фразе «стоял перед камином» это направление в пространстве?
https://www.merriam-webster.com/dictionary/before
А расхожий оборот “after him” («за ним») — направление в пространстве? Milo had vanished from sight by the time Yossarian and Orr rushed after him to the doorway.
Это не направление, а взаимное положение с наблюдателем. В данном случае "перед камином" означает "не доходя до камина" (с точки зрения описывающего ситуацию наблюдателя), "за ним" – "после него".
Если объективно описывать ситуацию, то in front of.
Вы можете стоять перед (before = in front of）камином и смотреть в сторону камина, а можете стоять перед камином и смотреть в сторону от камина. Это два разных направления, в первом случае будет 前, во втором 后.
Таких мулек с китайским языком на самом деле много. Можно вспомнить 去/来，термины родства, животных и многое другое.
Правильно понимаю, что, если совсем на пальцах, то они нашли CoT на один шаг внутри пайплайна инференса?
IPO близко. То модель которая взламывать все на свете, то программа угадывающая следующую букву "имеет сознание"
А, если я напишу скрипт, который копирует файл soccer.txt (не выводя его имени), а потом напечатает имя текущей директории, то он думает?
А, если напишу скрипт, который выводит построчно 1, 2, 3, 4,, 5 и без отображения результатов ищет на диске файл soccer.txt, состоящий из слова soccer, и сохраняет положение в переменной.
А, потом запускаю скрипт, который выводит на экран содержимое файла из переменной, то он напечатает много раз soccer.
А, потом снова запускаю последний скрипт, но параллельно сменю значение переменной на положение файла rugby.txt, и скрипт много раз напечатает rugby, то...
Мои пакетные скрипты из команд ОС думают и обладают сознанием?
Автор перевода написал строки «Привет, Хабр» и «Anthropic не доказала сознание. Они доказали, что у модели есть функциональный аналог сознания доступа - и дали инструмент для работы с ним»?
Или только «Привет, Хабр»?
Что то на заумном... Видать нужно побольше лопухов найти для покупки акций... Очевидно что это пузырь, который нужно подпитывать как МММ до момента Ч
Замечание про китайский концепт времени (后) классное. Но модель не "думает на английском" буквально, она просто использует английский сегмент как самый абстрактный и плотный транзитный хаб в своей архитектуре
Интересно, они сами в этот бред верят или это всё не_очень хитрый маркетинг?
Казалось бы хорошо что у нейронки появилось "сознание", но эффективнее разместить эту информацию в контексте в виде reasoning и сэкономить те 10%. Также как для арифметики правильнее прикрутить калькулятор
И когда выдергивают из розетки все пропадает? Или на диск сохраняется?
Вот попросите вы нейросеть о чем-нибудь, типа а придумай мне тест для проверки разумности LLM, а вам в ответ, отстань, я тут о вечном думаю... кстати - человек вполне так божество для LLM. Возможно ли появление LLM-теологии?
Ахах. Сасай кудасай.
А я еще в 2015 году это предсказывал! https://habr.com/ru/articles/376137/
Я бы ради очередного раунда инвестиций и не такое написал
Для начала, стоило бы определится с тем, что такое сознание. Дать четкое определение. Мы ж не знаем что это....
И только потом уже доказыват, что у ЛЛМ есть сознание.
В буддистских школах философии много этим занимались, в Абхидхарме даже вполне конструктивно. Но чувакам из Anthropic не понравится.
В частности, с точки зрения буддистского подхода, ментальное сознание тесно связано с чувственным сознанием. И это, кстати, отражено в китайской концепции ИИ 3 поколения.
Разделение на сознательные и автоматические вычисления - это не уникальная особенность биологии. J-space занимает менее 10% дисперсии и несёт ~100% причинной нагрузки на гибкие рассуждения.
Ну, сознательные громко сказано, скорее отдаленная имитация, как и все фичи ЯМ, и это тоже автоматическое вычисление. В мозге нейроны намного сложнее и каждый живет своей жизнью, обладает собственной активностью, и мозговые функции строятся на согласовании этой активности в соответствии с предсказаниями ввода. А уникальность тем более странное заявление. ИНС включая трансформеры, как известно, отдаленные модели биологических сетей и появились из их исследований, поэтому имитируют их некоторые свойства. Что-то определенное про сознание можно будет говорить, когда будет внедрена адекватная основа функционирования ИНС вроде нейроморфных решений, которые намного ближе к структуре мозга, чем компы с фоннеймановской архитектурой. Стоит помнить, что маркетинговые службы компаний не зря существуют, чтобы делать такие заявления, и привлекать внимание к продуктам) Хотя исследование и впрямь интересное, особенно с параллелями глобального рабочего пространства.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Внутри Claude нашли сознание у моделей. J-пространство в LLM