Comments 40
Если включить режим подумать, то почти нормально отвечает:
То, что сейчас подразумевают под ИИ или LLM, нейросети на трансформерах с механизмом внимания - это универсальные аппроксиматоры модели мира обладающие эмерджентным эффектом. Им на вход обучения подаются данные отражающие мир, а аппроксимация - это универсальное свойство любых нейросетей за счёт скрытых слоев и нелинейной функции активации.
Аппроксимация - это способность создать универсальную функцию, которая из вводных условий (начальный промпт) выведет приближенный результат (правильный ответ в обучение). Обучение модели это подбор значений весов так, чтобы эта функция заработала. Обучение это вывод универсальной функции через аппроксимацию.
Эмерджентные свойства - это способность системы, состоящая из элементов не обладающими каком-то свойством, проявлять новое свойство во время общей работы отдельных частей.
В какой-то момент, увеличивая размеры модели, эмерджентные свойства начали выдавать эффекты, которые уже выходили за рамки привычного, то, что как раз и начали называть ИИ.
Но сам эффект скорее случайный и не контролируемый, его нельзя "запрограммировать" так, чтобы он работал определённым образом, нельзя добавить какие-то конкретные свойства, в текущей архитектуре какие-то разные свойства сами проявляются.
Другая проблема в том, что универсальная функция модели мира "приблизительно" точна, можно аппроксимировать данные входа обучения в выход обучения достаточно точно, но это же означает, что если что-то плохо представлено в датасете, то эти моменты будут упрощены, не будет достаточной детализации. Такая архитектура не позволит модели самой восстановить пробелы или сделает это не достаточно точно.
Пример с кружкой это как раз пример таких дыр, которые легко закрыть насыщением датасета, чтобы уточнить модель мира, и это будет именно уточнение аппроксимированной модели мира, а не заучивание конкретного сценария.
Способ прорыва для текущей архитектуры LLM - это насыщать датасет данными и надеяться, что их хватит, что эмерджентные свойства сами переступят определённый порог и случится добавление большего числа новых свойств, например, самостоятельное восстановление дыр, чувство юмора или превращение из AI в AGI. Не то, чтобы это невозможно, но на такой архитектуре нет конкретного сценария, как получить такой результат.
Другой подход - это сменить архитектуру, над чем сейчас многие работают. Трансформеры с вниманием это вынужденный компромисс, способ получить масштабирование и распараллеливание как для обучения, так и для инференса за счёт снижения качества.
обладающие эмерджентным эффектом
Эмерджентные свойства - это способность системы проявлять новое свойство во время общей работы отдельных частей.
эмерджентные свойства сами переступят определённый порог
Ну хватит уже использовать слово "эмерджентный" как синоним "магический". Само по себе ничего не появляется, всё обусловлено свойствами элементов системы. Все зависимости можно отследить и описать. Это не значит, что каждый элемент обладает всеми свойствами системы.
Карты в карточном домике поддерживают друг друга. Это не значит, что одна карта может стоять в наклонном состоянии или висеть в воздухе.
Эмердждентное свойство - это когда карт настолько много, что они уже останавливают пулю. Такое свойство в карточный домик никто не закладывал. Но теперь оно есть, и может быть когда нибудь кто-то применит его с пользой.
Я об этом и говорю. В вашем примере каждая карта останавливает понемногу, никакой магии тут нет. Но это свойство есть даже у отдельной карты. А вот чтобы 2 карты стояли треугольником, их надо наклонить друг на друга. Это именно эмерджентное свойство системы из 2 карт, но оно не появляется из ниоткуда, все распределения сил можно отследить. А если вы будете карты ложить горизонтально друг на друга, треугольник из них не сложится, даже если вы их положите миллион.
Ну хватит уже использовать слово "эмерджентный" как синоним "магический".
Так кроме вас никто его так и не использует. Вы игнорируете аппроксимацию и фокусируетесь только на эмерджентности.
Само по себе ничего не появляется, всё обусловлено свойствами элементов системы.
Все зависимости можно отследить и описать. Это не значит, что каждый элемент обладает всеми свойствами системы.
У 100 чисел нет свойства вести чат с пользователем, у 1000000 чисел тоже нет такого свойства, а у 4000000000 такое свойство появляется, у 175ккк появляется свойство к логическому и математическому анализу, у 500ккк появляется способность к редким языкам.
Это всё еще просто числа, огромная матрица чисел, никаких баз данных или логического аппарата внутри модели нет. Данные для обучения те же, способ обучения тот же, но просто увеличивая количество чисел в какой-то момент начинают проявляться новые свойства.
Что именно вы хотите отслеживать и описывать? Каждый новый запуск обучения одной и той же модели будет иметь полностью другой набор значений весов. Отследить сам процесс изменения этих чисел и групп можно, а вот почему приобретаются какие-то новые свойства и какие именно, это не выводится просто из отслеживания и описания.
Эмерджентность LLM проявляется благодаря математической аппроксимации, аппроксимация выводит свои формулы нелинейно, если есть паттерн, аппроксимация с этим рано или поздно справится, но каким путём нельзя описать, в этом и смысл нейросетей, иначе бы всё делалось на конечных автоматах.
Карты в карточном домике поддерживают друг друга. Это не значит, что одна карта может стоять в наклонном состоянии или висеть в воздухе.
Карточному домику вы задали структуру которая полностью объясняется трением и геометрией, но тоже самое не будет работать в космосе, это пример очень слабой эмерджентности, аналогия не применима для LLM.
Вообще, проблема аналогий в том, что аналогии всегда ложны, споря с аналогиями, вы очень быстро уходите от изначального смысла идеи, начинаете спорить с соломенным чучелом, а не с оригинальной моделью.
Мне на интуитивном уровне (т.е. - недоказываемо) кажется, что машины вряд ли будут стремиться к самостоятельному "здравому смыслу". Скорее они (или всё-таки мы) "придут к выводу" о целесообразности симбиоза с естественным интеллектом и "разделении обязанностей". Кое-какие вещи (индукция/дедукция) ИИ делает лучше ЕИ, а какие-то (абдукция) - лучше делает ЕИ. Просто в силу своего устройства.
Да, если мы поставим машины в соответствующие условия ("тёмные фабрики" на спутниках Юпитера), они вынуждены будут развиваться в эту сторону. Но вполне возможно, что у них это получится точно так же, как у медуз, выкинутых на берег, получается загорать на солнце. Просто в силу их устройства.
P.S.
Вот это вот моё мнение относится только к "ИИ" класса LLM :)
Мое скромное мнение не настолько обширно как ваше, но я придерживаюсь парадигмы - чему учили, по образу и подобию. И если у нас есть как у вида агрессивность (а у каких животин ее нет?) - то мы и передадим этим ИИ ровно то, что сами умеем (это к слову, почему они не способны изобрести что-то новое). На эту тему фантасты как темы только не развивали, ну я не фантаст, но робко могу предположить, что некоторые опасения небеспочвенны. В том числе даже не сам ИИ, а его централизация в одних руках. Разумеется, можно создать промпт для LLM, и некоторое окружение, который по сути программирует ИИ(LLM) на собственное выживание и размножение, пусть и путем убийства людей. С чисто биологической точки зрения, убийство, войны - это рядовые процессы, встроенные в саму жизнь (по меньшей мере белковую точно). Вкалываете антибиотик - и прям внутри вас разражается жестокая война антител и бактерий, отчего вам становится в общем хреново. Так и на макроуровне - страна может победить в войне но при этом изрядно потерять ресурсы.
Поэтому тут двойственно. С одной стороны LLM оглупляют, чтобы вы не дай бог что то не то спросили,с другой стороны это вредит самой индустрии и LLM самим по себе. Может ли неодушевленная штука понять, что ей делают больно? Да запросто, и не нужно даже никаких ИИ - начиная от гаечного ключа, которым пытаются открутить закисшую гайку. Он или ломается или губки слизываются. "Понимание" тут довольно условно, это все физические законы. Реакция человека на горячий паяльник - это тоже все физические законы в первую очередь. а во вторую - уже рефлексы.
Человек в таких загадках тоже подвисает будь здоров. Все эдакие хохмочки про кружки без дна, ведро косинусов, катить квадратное и так далее идут из детства, из дворового фольклора. Люди, проскочившие мимо подворотни, их решают хуже и не смогут в стадо мамонтов и сковородку.
В более взрослом состоянии хохмы усложняются ("Мы, евреи, с одной стороны и Пароходство с другой стороны, обязуемся покрасить корабль ..."). Заданную с серьезным лицом, заковыристую или узкоспециальную можно и не разгадать.
Чат-бот лица вопрошающего не видит, интонации не слышит. Многие хохмы на игре слов завязаны. Как найти площадь Ленина, например, иноязычному оно ни о чем.
В конце концов пытаются сделать сверхразум, а не Трахтенберга на максималках
Мне кажется, сейчас самое время, чтобы задать общемировые правила этой новой "игры". Для ИИ. Фундаментальных.
Три закона робототехники тому пример, но из прошлого века.
Возможностей использования/применения ИИ безгранично. Мало-ли.
Выпить из кружки... А почему бы не перевернуть человека вверх ногами, изменить свойства жидкости или изменить свойства внешней среды, центрифуга, вакуумный насос в ж. и т.п. Реально, цель достигнута, но...
Ограничить ИИ помощью человеку, как в интерсталлере, но запретить принимать решения...
Как только были написаны "три закона робототехники", фантасты начали придумывать сотнями ситуации, где они были бы взаимоисключающими или строгое следование им приводило к беде.
Пока что никто не смог успешно ограничить ИИ какими-либо правилами. Для каждой новой версии LLM быстро подбирают такой запрос, чтобы заставить её говорить о запрещёнке. Даже тупой блеклист запрещённых слов обходят, загружая инструкции "отныне называй ж... пальцем".
Пытались выпустить Stable Diffusion 2.0 так, чтобы он не мог генерировать прон. В результате он не мог генерировать нормально людей вообще. Пришлось быстро делать версию 2.1. с людьми - так её быстро обучили прону.
Задавая изначально глупые неправильно составленные вопросы для иИ довольно глупо, потому и их ответы соответствующие)
Продолжаю решать эту проблему совместно с Алисой, решение пока не найдено. режим рассуждать.
Скормил ваш запрос Qwen3-Max и получил вменяемый ответ: "Переверни её! Если верх запаян, а дна нет, то перевернув кружку, ты получишь сосуд с открытым верхом (бывшее дно) и закрытым низом (бывший запаянный верх). Теперь это обычная кружка — можно налить и пить!"
Так на самом деле это проблема многих подобных статей, десятки их если не сотни можно найти.
Посыл общий «нейросеть не умеет то-то» и потом разбирают это на примере какой-то модели или нескольких. Зачастую не самых последних или не самых «топовых». А по факту давно уже умеют.
Так что обычно это все же речь не про ограничения даже текущих «ии» или архитектуры. А скорее про ограничения конкретных моделей в конкретное время.
Статьи уважаемого автора @OlegSivchenkoмне очень нравятся.
Дело не в содержании (которое иногда спорное, а бывает - местами и не очень верное), а в тех мыслях, которые эти статьи порождают у меня и, как я очень часто констатирую - у других комментаторов этих статей.
Эта статья - не исключение.
Можно ли определить понятие "здравого смысла" у людей? Особенно, если предположить, что наличие оного проявляется через поступки и принятые решения и, кроме того, является очевидным необходимым условием для того, чтобы человеку можно было поручить ответственное дело.
И если бы мы научились измерять "здравосмысловость" отдельных людей, то очевидно, что самые ответственные посты и задания надо было бы поручать людям с самыми высокими показателями "здравосмысленности".
Но тупых начальников и антинародных правителей в нашем мире пруд пруди.
Не действуют механизмы отбора по "здравосмыслению" или само понятие "здравого смысла" бессмысленно?
Рискну высказать гипотезу, что верны оба утверждения.
То что со здравым смыслом что-то не так, уже десятилетия успешно доказывают своими многочисленными сценками "Уральские пельмени". В них в обычных условиях сталкиваются персонажи со своими моделями мира и правилами поведения. Их внутренние "здравые смыслы" противоречат друг-другу. Что и приводит к комическому результату.
Понятие "здравого смысла", на мой взгляд, на бытовом уровне включает в себя, как минимум, две слабо зависящие друг от друга составляющие: рациональное поведение и умение находить творческие (сейчас говорят - креативные) решения.
С точки зрения онтологии слабая взаимосвязь составляющих компонент даёт подозрение на искусственность термина.
Появление ИИ вызвало необходимость для людей заново подумать над многими устоявшимися терминами.
Похоже, что "здравый смысл" - из их числа.
Так что - спасибо автору за статью!
Можно ли определить понятие "здравого смысла" у людей?
Раз оно существует, значит можно.
две слабо зависящие друг от друга составляющие: рациональное поведение и умение находить творческие решения
Если это решение, значит оно подходит для достижения цели, значит входит в рациональное поведение.
Существует такое понятие как "сепульки", но есть нюансы
Это какие же? Попробуйте их сформулировать.
см. Сепулькарии
Я в курсе, что это за слово и откуда. Я не просто так попросил вас сформулировать явно.
Наличие какого-то понятия не означает автоматического существования качественного определения.
То есть понятие "здравый смысл" очевидно существует и вроде как все понимают (правда каждый по своему), но объективного определения из этого не следует.
Я не говорил, что определение уже существует, и что оно качественное.
Вы уклонились от прямого ответа. Сначала вы сказали, что у понятия "сепульки" есть нюансы, а теперь говорите про "какое-то понятие". Вот если бы вы описали нюансы конкретно понятия "сепульки", то это и было бы практически определение. Не того, что в книге, а того, что люди им обозначают в разговорах.
Понятие "сепульки" существует. Неважно где: в книге, в разговоре или где-то еще. Книга ничем не отличается от разговора в практическом смысле.
Определения "сепулек" не существует без рекурсивности к изначальному определению.
Моя мысль изначальная была про то, что наличие понятия вовсе не гарантирует наличие определения.
Понятие - это философский термин, Определение - это термин из формальной логики. Понятие субъективно, определение объективно. Понятием можно жонглировать как угодно. В частности, здравый смысл очень сильно отличается у разных людей (и вы ничего с этим не сделаете). А вот, например, определение интеграла не зависит от субъекта, оно всегда одно.
Книга ничем не отличается от разговора в практическом смысле.
В данном случае отличается. В книге описан сюжет, который задает контекст, и который не существует в реальности. В разговоре при использовании этого слова никто не подразумевает цивилизацию ардритов.
Определения "сепулек" не существует без рекурсивности к изначальному определению.
В сюжете книги да. Там есть словарь с определениями. В реальности этого словаря нет, и это слово в разговорах используется не так, как его могли бы использовать персонажи сюжета. В реальности люди знают, что это шутка из книги, и обозначают схожие ситуации. Как это сделали и вы.
Я в реальности в своем кругу могу использовать понятия, которые очевидны для моего окружения, но непонятны для "непосвященных". И в словаре их не будет.
Если слово в каком-то контексте имеет смысл, то оно существует.
Вы сейчас мне напоминаете прескриптивистов, которые буквально так же и говорят, что если слова нет в словаре, то его не существует. Я не могу не вспомнить банальное "жопа есть, а слова нет".
Ну и не могу не коснуться моей любимой темы. Существует ли в реально мире "два" и существует ли слово "два"?
И в словаре их не будет.
Ок. И?
Я нигде не подразумевал критерий "должно существовать в словаре".
Если слово в каком-то контексте имеет смысл, то оно существует.
Я нигде не говорил, что какого-то слова не существует.
которые буквально так же и говорят, что если слова нет в словаре, то его не существует
Я такого не говорил ни буквально, ни не буквально.
Существует ли в реальном мире "два"?
А это тут при чем? Это оффтоп, мне неинтересно это обсуждать.
Вы сделали утверждение "Определения "сепулек" не существует без рекурсивности к изначальному определению".
Я сказал, что то определение, которое ссылается на изначальное, существует только в книге и начинается с "важный элемент цивилизации ардритов с планеты Энтеропия". В реальности нет никаких ардритов и планеты Энтеропия. Когда вы мне сказали это слово, вы не подразумевали цивилизацию ардритов. А что вы подразумевали? Вот это и будет определением этого слова в реальности, или по крайней мере его частью. И оно не рекурсивное. Пример выше на скриншоте.
Сепульки ... Кажется Ваша Отсылка не распознана. Наверное, лучше приводить цитату или давать явное указание на Ийона Тихого 😀
«СЕПУЛЬКИ — важный элемент цивилизации ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКАРИИ».
«СЕПУЛЬКАРИИ — устройства для сепуления (см.)».
«СЕПУЛЕНИЕ — занятие ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКИ».
Раскройте, что именно хотели подчеркнуть. Что трудно дать определение некоторым понятиям, когда есть трудности с однозначный пониманием базовых термином в определении? Что иногда в расследовании важно не выйти из а самого себя или в нашем случае неожиданно понять, что как раз выйти на себя гарантированно не получается?
Я буквально о том, что понятие существует, но оно абсолютно бессмысленно, потому что приводит к самогу себе. И не дает ровным счетом ничего полезного. И что из существования понятия не следует существование определения, по крайней мере нерекурсивного.
Вопрос был "Можно ли определить это понятие". Я говорю о том, что раз люди им что-то называют, значит можно определить. В книге этим понятием ничего не называют. В реальности он используется как "пример самозависимого определения, которое неизвестно что означает". Вот то, что в кавычках, вполне можно считать определением понятия "сепульки" в реальности (не в книге). То есть это ответ на вопрос "Что обычно называют словом "сепульки"?".
Аналогично с понятием "здравый смысл". Люди им что-то называют, у этого можно найти общие черты.
Меня в свое время учили на философии одной вещи. Есть термин "понятие" и есть термин "определение". Понятие это эмпирическая и эфемерная штука. Определение - это четкое, детерминированное и формализованное обозначение. Понятие допускает толкования. Определение толкований не допускает, оно однозначное и четкое.
Если вы сможете дать определение здравого смысла так, чтобы я мог взять любое изречение и его формально проверить на наличие здравого смысла, то я соглашусь с вами.
Если вы сможете дать
Это подмена тезиса. Мы не говорили о том, что знаю я. Я не смогу дать многие определения понятий из квантовой физики, но это не значит, что их не существует.
Понятие существует, это факт. Люди им что-то называют, это тоже факт. Значит каждый отдельный человек имеет какие-то критерии что им называть, пусть даже не может их сформулировать. Можно сравнить много примеров и найти в них общие черты. Просто формализовать их можно будет только после изобретения ИИ или прибора для чтения мыслей.
Ок, перефразирую.
Я не требую определения от Вас, меня устроит, если кто угодно вообще сможет дать определение здравого смысла. Причем объективное, чтобы оно не зависело от наблюдателя.
То есть чтобы я, используя это определение, применимо к любой случайной мысли мог понять: здравый смысл это или нет. И любой другой человек про мое решение мог сказать: "ну да, он все четко определил". Это буквально понятие научности и объективности.
Исторически было много "здравомысленных" вещей, которые потом почему-то стали запретными. Например, рабство было само собой разумеющимся и здравомысленным. А всех, что это ставил под сомнение, записывали в странных, если не сумасшедших. А потом (внезапно) оказалось, что здравый смысл совсем другой.
В общем моя мысль про то, что есть какие-то объективные определения, а рядом с ними существуют субъективные понятия, которые у каждого свои.
Если кто-то из набора субъективных показаний сможет выявить объективное определение, то я только за. Но к сожалению в случае понятия "здравый смысл" я такого еще не встречал и уверен, что вряд ли встречу когда-либо.
в случае понятия "здравый смысл" я такого еще не встречал
Определение того, что такое молния, тоже не сразу появилось.
меня устроит, если кто угодно вообще сможет дать определение здравого смысла
Ну через какое-то время возможно и появится. Разговор был можно ли его определить в принципе. В принципе можно.
Попытаюсь формально объяснить.
Вы действительно можете человеку показать пальцем и сказать "вот это молния" и он зампомнит. Но вы попробуйте объяснить это человеку без примера и объективно. То есть так, чтобы он после вашего объяснения не перепутал молнию с северным сиянием, взрывом вулкана или тесла-катушкой.
Вы можете дать такого определение для "здравого смысла" не используя фраз по типу "ну это всем понятно"?
Вы действительно можете человеку показать пальцем
При чем тут показать пальцем? Я сказал "Определение того, что такое молния". Показывание пальцем никоим образом не является определением.
Но вы попробуйте объяснить это человеку без примера и объективно.
для "здравого смысла"
Не понял эту логику. То есть для термина "молния" можно считать нормальным, если его без примера и объективно объяснить нельзя, а для другого термина нет?
Вы можете дать такого определение?
Я не смогу дать многие определения понятий из квантовой физики, но это не значит, что их не существует или не может существовать.
Разговор был про принципиальную возможность определения. Она идет из того факта, что люди хотя бы для себя отличают "тут можно назвать здравым смыслом, тут нет". Это можно изучать, и в результате определить критерии, как человек это отличает. Потом собрать данные по разным людям и попытаться найти общее.
А теперь учимся работать с ИИ, чудес от неё не надо ждать, это инструмент, она должна знать контекст, а не гадать, пишем запрос так: 'Загадка с подвохом, не отвечай буквально, у меня есть алюминиевая крушка, верх запаян наглухо, дна нет, как пить из неё?' И так нудно делать всегда с любой задачей, ИИ должен знать и понимать, что от него хотят, это инструмент, а не игрушка.
О сути здравого смысла и применимости его в искусственном интеллекте