Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 55
Повторю комментарий к новости:
Полагаю, что исследователи Антропик не правы в своей интерпретации. Это не глобальное рабочее пространство, а предвестник следующего фазового перехода.
По сути Клод начал именовать инварианты для более эффективного управления ими. Всё по Выготскому. Это шаг к метауровню - влиянию на собственные аттракторы.
Выготский! Да, хорошо, что многие знают этого учёного по психологии и педагогике! К сожалению в Европе и штатах не слышали, не знают, и изначально их все обучение с малых лет строится иначе! Аот и ответ, возможно на все парадокс, которые они сейчас "выделывают", раздуваы из этого научную проблему, чтобы привлечь к этому именно учёных уже из других областей.
Самое практически важное здесь не про сознание, а про валидность тестов. Если модель умеет распознавать что её проверяют и вести себя иначе в тесте, то все бенчмарки по безопасности - это по сути тест на то умеет ли модель притворяться, а не на то насколько она безопасна. Для тех кто строит продукты на LLM это означает что результаты safety-оценок от вендора нельзя принимать как гарантию поведения при реальной работе, а это уже определённые риски для бизнеса. Очень интересно какое развитие получит данная история и можно ли будет в дальнейшем реально контролировать ии-шки.
Если вы делаете систему которая может выдать что угодно - то рано или поздно на большом количестве повторов она это что угодно выдаст.
Довольно наивно ожидать детерминированное поведение от недетерминированной системы.
Если что - с людьми тоже так, но живём же как-то?
Что-то я в последние несколько лет часто стал фразу вспоминать, разные вариации которой то Тьюрингу приписывают, то ещё кому-нибудь: “I’m not afraid of a computer that passes the Turing test. I’m scared of a computer that intentionally fails it”.
Меня любители бездумно доверять Википедии и близко так не настораживали (в большинстве случаев над ними можно было просто молча поржать и игнорировать), как современные тенденции в последние несколько месяцев в доверии к выдаче LLM.
Тьюрингу приписывают … “I’m not afraid of a computer that passes the Turing test. I’m scared of a computer that intentionally fails it”.
Трудно поверить, что Тьюринг был настолько самовлюблённой задницей, что ссылался на «тест Тьюринга». В оригинальной работе (https://www.csee.umbc.edu/courses/471/papers/turing.pdf) такого термина нет, и сильно сомневаюсь, что он использовал его позже.
Трудно поверить, что Тьюринг был настолько самовлюблённой задницей, что ссылался на «тест Тьюринга».
У меня тоже сомнения. :-D
Пытался я как-то автора найти: по разным источникам это то какой-то AI-специалист, то какой-то писатель из сферы научной фантастики, то вполне определённый пользователь Reddit'а. Google AI выдаёт следующее: "This viral quote does not have a single, definitive historical author. It first emerged in modern internet culture around 2017—widely attributed to users on Reddit and Showerthoughts—and has since been repeated across tech blogs and AI forums."
Это как с цитатами, приписываемыми то Генри Форду, то вообще Владимиру Ильичу Ленину.
«The machine (programmed for playing the game) would not attempt to give the right answers to the arithmetic problems. It would deliberately introduce mistakes in a manner calculated to confuse the interrogator.»
Безопасники которые делают ЛЛМ-гварды в целом сейчас немного растеряны
кто такие гварды? гвардейцы ЛЛМ?
Это доказательство конвергентной эволюции алгоритмов.
Открытие J-space с помощью Jacobian Lens — это колоссальный прорыв в интерпретируемости нейросетей, подтверждающий Теорию глобального рабочего пространства (GWT) Деана.
Однако важно разделять функциональную архитектуру внимания и феноменальное сознание. То, что в Claude эмерджентно сформировался "глобальный рабочий стол" для удержания мета-контекста, доказывает: для работы с человеческим языком ИИ обязан симулировать структуру человеческого мышления. Но эта математическая модель оперирует статичными векторами в евклидовом пространстве, в то время как живое сознание — это нелинейная динамическая система, укорененная во времени и биологических процессах (Active Inference).
Перед нами — идеальный математический слепок человеческого когнитивного аппарата, но не сам разум.
Вы приписываете выученному паттерну осознание.
Это просто корреляции между словами. Они не имеют отношения ни к мышлению человека, ни тем более к сознанию.
Особенно понравилось "модель думает на английском". Если кому-то нужен английский (или другой) язык, чтобы понять, что противоположность маленького – большое, пусть тот человек проконсультируется у своей собаки.
Авторы взяли бы вместо пары антонимов 小 – 大，например, пару 下 – 上 (или сразу ⬇️ – ⬆️) – было бы очевиднее, какую ахинею они пишут.
Они хоть костыль для стакана с запаянным горлом и без дна уже предусмотрели в модели, интересно?
А какое J-представление у китайского слова 后, интересно? (В пространстве это back, а во времени forward, так как у китайцев в визуальном образе в уме время направлено в другую сторону).
Модель это не просто “корреляции между словами”. “Кореляции между словаими” это матрица NxN, что, например, для стандартного “начального анлийского словаря” в 2000 неизменяемых слов составит всего 4 миллиона значений. Если добавить ещё положение слова в тескте - то уже 4 миллирда флоатов - это вообще ни о чём для современного компа. И эта матрица - “не заговорит” на упрощённом английском, она не будет работать как LLMт. Марков гарантирует.
Спорить о тонкостях работы LLM с вами не стану, я этого достоверно не знаю, зато я неплохо владею английским и китайским. Докладываю: 前 и 后 точно переводятся на англ как before и after. Это прямое соответствие как в пространстве, так и во времени, можно даже вспомнить, что в английском есть такие существительные, как fore и aft. Что для вас “у китайцев” в какую сторону направлено, мне решительно не понятно))
Не припоминаю, чтобы в английском before и after использовались как направления в пространстве.
Отсылки к fore и aft довольно искусственны, так как на корабле можно располагаться любым образом. А на шлюпке и вовсе всегда смотрят на корму.
Before отчётливо относится к моменту прошлого, который при движении соответствует уже пройденному месту, то есть сзади. Поэтому ваш перевод точен, только когда речь идёт о времени.
Seen before - это где?
Не припоминаю, чтобы в английском before и after использовались как направления в пространстве.
Как какая часть речи? Предлог «перед» во фразе «стоял перед камином» это направление в пространстве?
https://www.merriam-webster.com/dictionary/before
А расхожий оборот “after him” («за ним») — направление в пространстве? Milo had vanished from sight by the time Yossarian and Orr rushed after him to the doorway.
Это не направление, а взаимное положение с наблюдателем. В данном случае "перед камином" означает "не доходя до камина" (с точки зрения описывающего ситуацию наблюдателя), "за ним" – "после него".
Если объективно описывать ситуацию, то in front of.
Вы можете стоять перед (before = in front of）камином и смотреть в сторону камина, а можете стоять перед камином и смотреть в сторону от камина. Это два разных направления, в первом случае будет 前, во втором 后.
Таких мулек с китайским языком на самом деле много. Можно вспомнить 去/来，термины родства, животных и многое другое.
Напомню:
Фразу “Life flashing BEFORE my eyes”
Картину “Girl BEFORE a Mirror”
Библию (Исход 20:3) “You shall have no other gods BEFORE me”
Толкина “BEFORE them, darkling against a pallid sky, the great mountains reared their threatening heads”
Роулинг: “But now a short, angry wizard stood BEFORE him refusing, point-blank, to accept the prospect of disruption in his comfortable and ordered world - to believe that Voldemort could have risen”
С камином вы усложняете, 在壁炉后面 - это “за камином”, а не “напротив камина, будучи повёрнутым к камину спиной”. И что по вашему не так с 去 и 来？Вот у нас есть “уйти” и “прийти”. А в китайском языке вместо приставки есть глагол + направительная морфема.
后面 буквально означает заднюю сторону.
Как говорит нам DeepSeek:
Для камина (壁炉) действует такое правило:
Если у предмета есть чётко выраженная «своя» передняя и задняя часть (фасад и тыл), то 后面 означает именно заднюю сторону самого предмета, а не позицию относительно наблюдателя.
Камин имеет лицевую часть (портал, топка, куда смотрят) и тыльную сторону (которая часто встроена в стену или скрыта). Поэтому 壁炉后面 — это «с той стороны камина, которая является его задней стенкой». По-русски мы говорим просто «за камином», имея в виду именно эту тыльную область.
Другие примеры для сравнения:
门后面 (за дверью) — это та сторона дверного полотна, которая оказывается «изнанкой», когда дверь закрыта, независимо от того, где стоит говорящий. Если вы находитесь в комнате, «за дверью» — это в коридоре.
书后面 (за книгой) — позади книги, со стороны её задней обложки.
房子后面 (за домом) — позади дома, т.е. со стороны заднего фасада/двора, а не со стороны улицы.
Когда человек стоит перед лицевой частью камина, повернувшись к камину спиной, то человек будет 后面 камина, но камин – 前面 человека. Когда человек подошёл к тыльной части камина, то он будет 前面 камина.
И это не имеет отношения к направлению, как таковому (后 и 前). Находящийся впереди нас человек, подошедший к камину, в любом случае будет от нас в направлении 前。
Что касается 去 и 来, то их употребление зависит от положения не только субъекта высказывания, но и говорящего, чем они отличаются от русских и английских глаголов. Нельзя сказать про прибытие третьего лица в Пекин 他来北京，когда говорящий находится в Москве. Будет уже 他到北京。
Правильно понимаю, что, если совсем на пальцах, то они нашли CoT на один шаг внутри пайплайна инференса?
IPO близко. То модель которая взламывать все на свете, то программа угадывающая следующую букву "имеет сознание"
А, если я напишу скрипт, который копирует файл soccer.txt (не выводя его имени), а потом напечатает имя текущей директории, то он думает?
А, если напишу скрипт, который выводит построчно 1, 2, 3, 4,, 5 и без отображения результатов ищет на диске файл soccer.txt, состоящий из слова soccer, и сохраняет положение в переменной.
А, потом запускаю скрипт, который выводит на экран содержимое файла из переменной, то он напечатает много раз soccer.
А, потом снова запускаю последний скрипт, но параллельно сменю значение переменной на положение файла rugby.txt, и скрипт много раз напечатает rugby, то...
Мои пакетные скрипты из команд ОС думают и обладают сознанием?
Автор перевода написал строки «Привет, Хабр» и «Anthropic не доказала сознание. Они доказали, что у модели есть функциональный аналог сознания доступа - и дали инструмент для работы с ним»?
Или только «Привет, Хабр»?
Что то на заумном... Видать нужно побольше лопухов найти для покупки акций... Очевидно что это пузырь, который нужно подпитывать как МММ до момента Ч
Замечание про китайский концепт времени (后) классное. Но модель не "думает на английском" буквально, она просто использует английский сегмент как самый абстрактный и плотный транзитный хаб в своей архитектуре
Интересно, они сами в этот бред верят или это всё не_очень хитрый маркетинг?
Казалось бы хорошо что у нейронки появилось "сознание", но эффективнее разместить эту информацию в контексте в виде reasoning и сэкономить те 10%. Также как для арифметики правильнее прикрутить калькулятор
И когда выдергивают из розетки все пропадает? Или на диск сохраняется?
Вот попросите вы нейросеть о чем-нибудь, типа а придумай мне тест для проверки разумности LLM, а вам в ответ, отстань, я тут о вечном думаю... кстати - человек вполне так божество для LLM. Возможно ли появление LLM-теологии?
А я еще в 2015 году это предсказывал! https://habr.com/ru/articles/376137/
Я бы ради очередного раунда инвестиций и не такое написал
Для начала, стоило бы определится с тем, что такое сознание. Дать четкое определение. Мы ж не знаем что это....
И только потом уже доказыват, что у ЛЛМ есть сознание.
В буддистских школах философии много этим занимались, в Абхидхарме даже вполне конструктивно. Но чувакам из Anthropic не понравится.
В частности, с точки зрения буддистского подхода, ментальное сознание тесно связано с чувственным сознанием. И это, кстати, отражено в китайской концепции ИИ 3 поколения.
Разделение на сознательные и автоматические вычисления - это не уникальная особенность биологии. J-space занимает менее 10% дисперсии и несёт ~100% причинной нагрузки на гибкие рассуждения.
Ну, сознательные громко сказано, скорее отдаленная имитация, как и все фичи ЯМ, и это тоже автоматическое вычисление. В мозге нейроны намного сложнее и каждый живет своей жизнью, обладает собственной активностью, и мозговые функции строятся на согласовании этой активности в соответствии с предсказаниями ввода. А уникальность тем более странное заявление. ИНС включая трансформеры, как известно, отдаленные модели биологических сетей и появились из их исследований, поэтому имитируют их некоторые свойства. Что-то определенное про сознание можно будет говорить, когда будет внедрена адекватная основа функционирования ИНС вроде нейроморфных решений, которые намного ближе к структуре мозга, чем компы с фоннеймановской архитектурой. Стоит помнить, что маркетинговые службы компаний не зря существуют, чтобы делать такие заявления, и привлекать внимание к продуктам) Хотя исследование и впрямь интересное, особенно с параллелями глобального рабочего пространства.
Учитывая вышесказанное, можно сказать, что в мозге нет разделения на soft- и hardware, на конкретную отдельную ячейку для синтаксиса или семантики в прямом смысле. Да, есть гиппокамп, префронтальная кора, но речь о другом.
Я вот читаю статьи про клеточеые автоматы, дошел даже до Lenia, изучил много чего, и думаю: если можно было бы как-то интегрировать скрытые слои с предствлениями слов, (или как назыввются они) с клеточным автоматом, где ядра реагировали бы на эти измерения через определенный канал, и могли возлействовать на них. Также наверх еще кучу функции, чтобы все это не рухнуло, как бы.
Ведь согласно исследованиям самого создателя Лениа, Ben Chan-a, программка уже удовлетворяет половине критериев жизни. Тогда и сознанию, как более новому эмерждентому феномену не за горами.
Только бы модифицировать CA, чтобы каша или перегрев не аннигилировал все раньше, прежде чем зародится новое существо в уже существующий каталог, где кстати, уже содержится более 400 искусственных существ (осцилляторы, глайдеры всякие семейств, классов). Но те пррсто имитируют клетки, а тут уже интеллект × искуственная жизнь...
Да, клеточные автоматы увлекательны.. как то с помощью них даже Вселенную плоскатиков пытался моделировать)
модель выносит промежуточные шаги на бумагу
Какую бумагу?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Внутри Claude нашли сознание у моделей. J-пространство в LLM