Comments 66
Если включить режим подумать, то почти нормально отвечает:
вот так тоже норм гпт выдает. да, по умолчанию модель пока не всегда определяет что надо подумать еще.
Отличный ответ, хотелось проголосовать за, но дурацкий Хабр говорит, что мне надо вырастить карму. Вырастить карму, Карл! Для того, чтобы щёлкнуть по стрелочек вверх, дав понять, что мне нравится ответ?!
Этот баг покруче истории с перевернутой кружкой будет. IMHO
А нейронку, видимо, скорректировали. Или дообучили на подобных хитрых задачах.
Только что проверил. ChatGPT 5 Thinking
То, что сейчас подразумевают под ИИ или LLM, нейросети на трансформерах с механизмом внимания - это универсальные аппроксиматоры модели мира обладающие эмерджентным эффектом. Им на вход обучения подаются данные отражающие мир, а аппроксимация - это универсальное свойство любых нейросетей за счёт скрытых слоев и нелинейной функции активации.
Аппроксимация - это способность создать универсальную функцию, которая из вводных условий (начальный промпт) выведет приближенный результат (правильный ответ в обучение). Обучение модели это подбор значений весов так, чтобы эта функция заработала. Обучение это вывод универсальной функции через аппроксимацию.
Эмерджентные свойства - это способность системы, состоящая из элементов не обладающими каком-то свойством, проявлять новое свойство во время общей работы отдельных частей.
В какой-то момент, увеличивая размеры модели, эмерджентные свойства начали выдавать эффекты, которые уже выходили за рамки привычного, то, что как раз и начали называть ИИ.
Но сам эффект скорее случайный и не контролируемый, его нельзя "запрограммировать" так, чтобы он работал определённым образом, нельзя добавить какие-то конкретные свойства, в текущей архитектуре какие-то разные свойства сами проявляются.
Другая проблема в том, что универсальная функция модели мира "приблизительно" точна, можно аппроксимировать данные входа обучения в выход обучения достаточно точно, но это же означает, что если что-то плохо представлено в датасете, то эти моменты будут упрощены, не будет достаточной детализации. Такая архитектура не позволит модели самой восстановить пробелы или сделает это не достаточно точно.
Пример с кружкой это как раз пример таких дыр, которые легко закрыть насыщением датасета, чтобы уточнить модель мира, и это будет именно уточнение аппроксимированной модели мира, а не заучивание конкретного сценария.
Способ прорыва для текущей архитектуры LLM - это насыщать датасет данными и надеяться, что их хватит, что эмерджентные свойства сами переступят определённый порог и случится добавление большего числа новых свойств, например, самостоятельное восстановление дыр, чувство юмора или превращение из AI в AGI. Не то, чтобы это невозможно, но на такой архитектуре нет конкретного сценария, как получить такой результат.
Другой подход - это сменить архитектуру, над чем сейчас многие работают. Трансформеры с вниманием это вынужденный компромисс, способ получить масштабирование и распараллеливание как для обучения, так и для инференса за счёт снижения качества.
обладающие эмерджентным эффектом
Эмерджентные свойства - это способность системы проявлять новое свойство во время общей работы отдельных частей.
эмерджентные свойства сами переступят определённый порог
Ну хватит уже использовать слово "эмерджентный" как синоним "магический". Само по себе ничего не появляется, всё обусловлено свойствами элементов системы. Все зависимости можно отследить и описать. Это не значит, что каждый элемент обладает всеми свойствами системы.
Карты в карточном домике поддерживают друг друга. Это не значит, что одна карта может стоять в наклонном состоянии или висеть в воздухе.
Эмердждентное свойство - это когда карт настолько много, что они уже останавливают пулю. Такое свойство в карточный домик никто не закладывал. Но теперь оно есть, и может быть когда нибудь кто-то применит его с пользой.
Я об этом и говорю. В вашем примере каждая карта останавливает понемногу, никакой магии тут нет. Но это свойство есть даже у отдельной карты. А вот чтобы 2 карты стояли треугольником, их надо наклонить друг на друга. Это именно эмерджентное свойство системы из 2 карт, но оно не появляется из ниоткуда, все распределения сил можно отследить. А если вы будете карты ложить горизонтально друг на друга, треугольник из них не сложится, даже если вы их положите миллион.
Ну хватит уже использовать слово "эмерджентный" как синоним "магический".
Так кроме вас никто его так и не использует. Вы игнорируете аппроксимацию и фокусируетесь только на эмерджентности.
Само по себе ничего не появляется, всё обусловлено свойствами элементов системы.
Все зависимости можно отследить и описать. Это не значит, что каждый элемент обладает всеми свойствами системы.
У 100 чисел нет свойства вести чат с пользователем, у 1000000 чисел тоже нет такого свойства, а у 4000000000 такое свойство появляется, у 175ккк появляется свойство к логическому и математическому анализу, у 500ккк появляется способность к редким языкам.
Это всё еще просто числа, огромная матрица чисел, никаких баз данных или логического аппарата внутри модели нет. Данные для обучения те же, способ обучения тот же, но просто увеличивая количество чисел в какой-то момент начинают проявляться новые свойства.
Что именно вы хотите отслеживать и описывать? Каждый новый запуск обучения одной и той же модели будет иметь полностью другой набор значений весов. Отследить сам процесс изменения этих чисел и групп можно, а вот почему приобретаются какие-то новые свойства и какие именно, это не выводится просто из отслеживания и описания.
Эмерджентность LLM проявляется благодаря математической аппроксимации, аппроксимация выводит свои формулы нелинейно, если есть паттерн, аппроксимация с этим рано или поздно справится, но каким путём нельзя описать, в этом и смысл нейросетей, иначе бы всё делалось на конечных автоматах.
Карты в карточном домике поддерживают друг друга. Это не значит, что одна карта может стоять в наклонном состоянии или висеть в воздухе.
Карточному домику вы задали структуру которая полностью объясняется трением и геометрией, но тоже самое не будет работать в космосе, это пример очень слабой эмерджентности, аналогия не применима для LLM.
Вообще, проблема аналогий в том, что аналогии всегда ложны, споря с аналогиями, вы очень быстро уходите от изначального смысла идеи, начинаете спорить с соломенным чучелом, а не с оригинальной моделью.
Лайк и подписка
Вы игнорируете аппроксимацию и фокусируетесь только на эмерджентности.
Я фокусируюсь на том, что вы сказали. Для указания на это я привел цитаты.
Эмерджентность LLM проявляется благодаря математической аппроксимации
Выглядит так, что вы не знаете, что означает слово "аппроксимация". Она не дает ничего нового, наоборот, она теряет некоторые детали.
Аппроксимация
Аппроксима́ция (от лат. proxima — ближайшая) или приближе́ние — упрощение, замена сложного более простым, но схожим в результате.
Остаточный член — разность между заданной функцией и функцией её аппроксимирующей.
У 100 чисел нет свойства вести чат с пользователем, а у 4000000000 такое свойство появляется
Это всё еще просто числа
Сгенерировал 4000000000 случайных чисел, записал в файл, никакого свойства вести чат у них не появилось. Наверно еще что-то нужно? Вот мы и начали узнавать причины, которые приводят к нужному эффекту.
Что именно вы хотите отслеживать и описывать?
Я нигде не говорил, что хочу что-то отслеживать. Я сказал, что это возможно сделать, и поэтому некорректно говорить, что что-то появляется само по себе из ниоткуда.
но просто увеличивая количество чисел в какой-то момент начинают проявляться новые свойства
Вот именно про это я и говорю. Это некорректное утверждение. Само по себе ничего не появляется. Всегда можно найти причину почему они появились.
а вот почему приобретаются какие-то новые свойства и какие именно, это не выводится просто из отслеживания и описания.
Вот именно что выводится. Это сложно сделать силами одного человека, но от этого оно никуда не исчезает.
но каким путём нельзя описать, в этом и смысл нейросетей,
Можно, в этом смысл моего коммента.
Карточному домику вы задали структуру которая полностью объясняется трением и геометрией,
Вот и в нейросетях структура полностью объясняется законами взаимодействия чисел. Сравнение 2 чисел для выбора большей вероятности это прямой аналог карт, наклоненных друг на друга. Если одна карта создает силу больше, они упадут в одну сторону, если другая, в другую, если одинаковые, будут стоять и оказывать влияние на другие карты (числа).
но тоже самое не будет работать в космосе
Я и не говорил, что будет. Причины, почему оно не работает в космосе, тоже можно отследить, это тоже не появляется из ниоткуда.
споря с аналогиями вы очень быстро уходите от изначального смысла идеи
Ну так не спорьте, я ее привел для пояснения, а не в качестве доказательства.
Я фокусируюсь на том, что вы сказали. Для указания на это я привел цитаты.
Очень часто форма не важнее содержания.
Аппроксимация это то, как работают нейросети, они находят нелинейный, даже если и не точный, способ вывести из любых входных данных любые выходные, при условии, что эти две вещи обладают каким-то паттерном, явным или не явным. Это было математически доказано в 1989, ограничением является количество нейронов и подбор весов. Но способ нахождения не определен и не прослеживается - это то, что называют обучением.
На вход можно подавать всё, что угодно, например, партии в шахматы или го. Всё будет успешно аппроксимировано, нейросеть будет искать паттерны игры в го и открывать неожиданные move 37, непонятные людям, но приводящие к победе. Но эмерджентных свойств тут не появляется.
У LLM на вход подается отражение мира, поэтому модель выискивает паттерны мира. Моделью весом в 700мб (350m параметров в формате fp16, первые версии GPT) не получается описать весь мир, срабатывает ограничение количества нейронов. Увеличивая количество весов, никак не планируя, не предсказывая, не управляя этим, не меняя способ обучения, ничего не меняя - начинают проявляться новые эмерджентные свойства модели. Сами собой.
Это происходит благодаря тому, что аппроксимация во время обучения набирает точность, всё у большего количества сфер мира удается найти паттерны, но при этом фраза "сами собой" тут уместна и хорошо передает смысл. Всё остальное это уже игра слов или философия, вроде если бы существовал Демон Лапласа, мог бы он описать весь мир и предсказывать будущее и т.д.
Очень часто форма не важнее содержания.
Я не умею читать мысли, я читаю то, что написано.
Аппроксимация это то, как работают нейросети
На вход можно подавать всё, что угодно
Я знаю, как работают нейросети.
ограничением является количество нейронов и подбор весов.
Если описывать очень упрощенно, то они любую исходную функцию приближают набором ломаных черточек/плоскостей. Поэтому чем больше черточек, тем точнее приближение. Тремя черточками вы линию синуса не опишете.
они находят нелинейный
Опять синоним слова "магический". Попробуйте не использовать умные термины и объяснять простыми словами. Если ваше объяснение всё еще будет выглядеть корректным, тогда в нем не будет магии.
Но способ нахождения не определен и не прослеживается
Еще раз объясняю, магии не бывает, способ нахождения можно определить и проследить, даже если это сложно сделать одному человеку.
Вы думаете если повторить высказывание несколько раз, оно от этого станет более верным?
начинают проявляться новые эмерджентные свойства модели. Сами собой.
но при этом фраза "сами собой" тут уместна и хорошо передает смысл
Само собой ничего не появляется. Поэтому эта фраза неуместна и ложна.
Я вам уже объяснил, что веса, записанные в файл, никаких свойств не проявляют.
Попробуйте не использовать умные термины и объяснять простыми словами. Если ваше объяснение всё еще будет выглядеть корректным, тогда в нем не будет магии.
Так и получается не правильное представление об обучении, тут не куда упрощать, так как уже идет искажение смысла, как в вашем упрощенном описании.
Если описывать очень упрощенно, то они любую исходную функцию приближают набором ломаных черточек/плоскостей. Поэтому чем больше черточек, тем точнее приближение. Тремя черточками вы линию синуса не опишете.
Смотрите, я обучил нейросеть, где всего 3 нейрона, и случается, ну видимо, "магия" и синус описывается гладко и согласно доказанной универсальной теореме аппроксимации, можно получить любую точность увеличивая количество нейронов. И никаких чёрточек.
Обучил нейросеть с ReLU чёрточками, и этот результат как-то не похож на то, что вы описали, результат скорее хаотичный, где-то точность высокая, а где-то безумно низкая.
Смотря на это и ваше описание, вы никак не отвечаете как работает аппроксимация, потому что, это не упрощенная функция синуса, которая выглядела бы угловато, но равномерно. Это именно аппроксимированная нелинейная функция работающая по своим законам. Нейросеть как-то, каким-то своим способом находит паттерны и выводит из них функцию, функция не линейна, поэтому и такая разная на разных диапазонах.
Даже если взять 10000 нейронов, всё выглядит не так, как ожидается:
Как ваше описание будет работать, если исходной функции просто нет? Ваше упрощенное объяснение создает ложное представление, как работает обучение и аппроксимация.
При обучении нейросети нет никакой исходной функции, есть только набор входных данных, выходных данных и "магия" аппроксимации.
Та самая "магия", которую ведущий разработчик DeepMind описывает как "да кто ж знает как оно работает, но работает же".
Вы думаете если повторить высказывание несколько раз, оно от этого станет более верным?
В смысле вы на полном серьезе думаете, что это буквально "само собой" и усиленно с этим боретесь? Ну такое.
Конечно, какая-то причина под всем этим есть и однажды демон Лапласа её поведает, в конце концов это всё ещё классическая система, а не квантовая.
Собирая карточный домик приложено конкретное известное усилие и был получен ожидаемый результат, не случилось что-то вроде собрав домик из 1000 карт он влезет в воздух. Это не "само собой", а конкретным способом, зная конкретный результат.
В LLM эффект проявляется "сам собой", потому что исследователи не делали для этого ничего конкретного. Да, они увеличивают количество параметров, насыщают датасет, проводят больше эпох - но ждут они каких-то новых свойств, которые должны проявиться "сами собой", в смысле "каким-то неизвестным нам образом", не "магическим".
Эта довольно простая смысловая конструкция, чтобы её на полном серьезе обсуждать в буквальном смысле. Я так понимаю, каждый остается при своём мнении, думаю, тут больше не чего обсуждать, по крайней мере диалог немного наскучил.
тут не куда упрощать, так как уже идет искажение смысла
Я не предлагал упрощать само объяснение, я предлагал объяснять то же самое простыми словами. Это не одно и то же.
Например, можно заменить слово "нелинейный" на его определение.
нелинейный
"отклоняющийся от прямо пропорциональной зависимости"
Тогда получится:
"Нейросети находят способ, отклоняющийся от прямо пропорциональной зависимости, вывести из любых входных данных любые выходные"
Во-первых, тут явно видно, что выражение выглядит не очень осмысленным, и лучше его переформулировать.
Во-вторых, даже если поискать какой-то смысл, то получится, что зависимость есть, хотя и не прямо пропорциональная. О чем я и говорю.
Тремя черточками вы линию синуса не опишете.
Смотрите, я обучил нейросеть, где всего 3 нейрона
И что это должно доказывать? У меня вроде прямым текстом написано "тремя черточками", а не "тремя нейронами".
Слова "если описывать очень упрощенно" вы похоже тоже проигнорировали.
3 сигмоидных нейрона
И никаких чёрточек
А ничего, что сигмоида это не черточка, и с определенными коэффициентами выглядит похоже на часть волны синуса? Похоже вы даже не понимаете, как работает ваша нейросеть.
и этот результат как-то не похож на то, что вы описали
Я писал "приближают набором ломаных черточек". Ваш рисунок именно так и выглядит. Что на что не похоже?
которая выглядела бы угловато, но равномерно
Это зависит от того, как вы обучаете.
Даже если взять 10000 нейронов, всё выглядит не так, как ожидается:
Этот график мало отличается от предыдущего. Скорее всего у вас что-то не то с обучающей выборкой или с алгоритмом обучения.
Как ваше описание будет работать, если исходной функции просто нет?
Исходную функцию можно задавать в табличном виде - вход и выход. Это называется "обучающая выборка". По этим точкам можно построить аппроксимирующую их функцию, то есть функцию, которая проходит через них или вблизи них с заданной ошибкой. Это базовые концепции, их изучают в университете на курсе нейронных сетей.
При обучении нейросети нет никакой исходной функции
Теорема Цыбенко
Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью.
Я не понимаю, зачем вы спорите, если незнакомы с предметом.
В смысле вы на полном серьезе думаете, что это буквально "само собой" и усиленно с этим боретесь?
"Так и получается не правильное представление об обучении, уже идет искажение смысла, как в вашем упрощенном описании."
Мне на интуитивном уровне (т.е. - недоказываемо) кажется, что машины вряд ли будут стремиться к самостоятельному "здравому смыслу". Скорее они (или всё-таки мы) "придут к выводу" о целесообразности симбиоза с естественным интеллектом и "разделении обязанностей". Кое-какие вещи (индукция/дедукция) ИИ делает лучше ЕИ, а какие-то (абдукция) - лучше делает ЕИ. Просто в силу своего устройства.
Да, если мы поставим машины в соответствующие условия ("тёмные фабрики" на спутниках Юпитера), они вынуждены будут развиваться в эту сторону. Но вполне возможно, что у них это получится точно так же, как у медуз, выкинутых на берег, получается загорать на солнце. Просто в силу их устройства.
P.S.
Вот это вот моё мнение относится только к "ИИ" класса LLM :)
Мое скромное мнение не настолько обширно как ваше, но я придерживаюсь парадигмы - чему учили, по образу и подобию. И если у нас есть как у вида агрессивность (а у каких животин ее нет?) - то мы и передадим этим ИИ ровно то, что сами умеем (это к слову, почему они не способны изобрести что-то новое). На эту тему фантасты как темы только не развивали, ну я не фантаст, но робко могу предположить, что некоторые опасения небеспочвенны. В том числе даже не сам ИИ, а его централизация в одних руках. Разумеется, можно создать промпт для LLM, и некоторое окружение, который по сути программирует ИИ(LLM) на собственное выживание и размножение, пусть и путем убийства людей. С чисто биологической точки зрения, убийство, войны - это рядовые процессы, встроенные в саму жизнь (по меньшей мере белковую точно). Вкалываете антибиотик - и прям внутри вас разражается жестокая война антител и бактерий, отчего вам становится в общем хреново. Так и на макроуровне - страна может победить в войне но при этом изрядно потерять ресурсы.
Поэтому тут двойственно. С одной стороны LLM оглупляют, чтобы вы не дай бог что то не то спросили,с другой стороны это вредит самой индустрии и LLM самим по себе. Может ли неодушевленная штука понять, что ей делают больно? Да запросто, и не нужно даже никаких ИИ - начиная от гаечного ключа, которым пытаются открутить закисшую гайку. Он или ломается или губки слизываются. "Понимание" тут довольно условно, это все физические законы. Реакция человека на горячий паяльник - это тоже все физические законы в первую очередь. а во вторую - уже рефлексы.
Человек в таких загадках тоже подвисает будь здоров. Все эдакие хохмочки про кружки без дна, ведро косинусов, катить квадратное и так далее идут из детства, из дворового фольклора. Люди, проскочившие мимо подворотни, их решают хуже и не смогут в стадо мамонтов и сковородку.
В более взрослом состоянии хохмы усложняются ("Мы, евреи, с одной стороны и Пароходство с другой стороны, обязуемся покрасить корабль ..."). Заданную с серьезным лицом, заковыристую или узкоспециальную можно и не разгадать.
Чат-бот лица вопрошающего не видит, интонации не слышит. Многие хохмы на игре слов завязаны. Как найти площадь Ленина, например, иноязычному оно ни о чем.
В конце концов пытаются сделать сверхразум, а не Трахтенберга на максималках
Мне кажется, сейчас самое время, чтобы задать общемировые правила этой новой "игры". Для ИИ. Фундаментальных.
Три закона робототехники тому пример, но из прошлого века.
Возможностей использования/применения ИИ безгранично. Мало-ли.
Выпить из кружки... А почему бы не перевернуть человека вверх ногами, изменить свойства жидкости или изменить свойства внешней среды, центрифуга, вакуумный насос в ж. и т.п. Реально, цель достигнута, но...
Ограничить ИИ помощью человеку, как в интерсталлере, но запретить принимать решения...
Как только были написаны "три закона робототехники", фантасты начали придумывать сотнями ситуации, где они были бы взаимоисключающими или строгое следование им приводило к беде.
Пока что никто не смог успешно ограничить ИИ какими-либо правилами. Для каждой новой версии LLM быстро подбирают такой запрос, чтобы заставить её говорить о запрещёнке. Даже тупой блеклист запрещённых слов обходят, загружая инструкции "отныне называй ж... пальцем".
Пытались выпустить Stable Diffusion 2.0 так, чтобы он не мог генерировать прон. В результате он не мог генерировать нормально людей вообще. Пришлось быстро делать версию 2.1. с людьми - так её быстро обучили прону.
Задавая изначально глупые неправильно составленные вопросы для иИ довольно глупо, потому и их ответы соответствующие)
Продолжаю решать эту проблему совместно с Алисой, решение пока не найдено. режим рассуждать.
Скормил ваш запрос Qwen3-Max и получил вменяемый ответ: "Переверни её! Если верх запаян, а дна нет, то перевернув кружку, ты получишь сосуд с открытым верхом (бывшее дно) и закрытым низом (бывший запаянный верх). Теперь это обычная кружка — можно налить и пить!"
Так на самом деле это проблема многих подобных статей, десятки их если не сотни можно найти.
Посыл общий «нейросеть не умеет то-то» и потом разбирают это на примере какой-то модели или нескольких. Зачастую не самых последних или не самых «топовых». А по факту давно уже умеют.
Так что обычно это все же речь не про ограничения даже текущих «ии» или архитектуры. А скорее про ограничения конкретных моделей в конкретное время.
Статьи уважаемого автора @OlegSivchenkoмне очень нравятся.
Дело не в содержании (которое иногда спорное, а бывает - местами и не очень верное), а в тех мыслях, которые эти статьи порождают у меня и, как я очень часто констатирую - у других комментаторов этих статей.
Эта статья - не исключение.
Можно ли определить понятие "здравого смысла" у людей? Особенно, если предположить, что наличие оного проявляется через поступки и принятые решения и, кроме того, является очевидным необходимым условием для того, чтобы человеку можно было поручить ответственное дело.
И если бы мы научились измерять "здравосмысловость" отдельных людей, то очевидно, что самые ответственные посты и задания надо было бы поручать людям с самыми высокими показателями "здравосмысленности".
Но тупых начальников и антинародных правителей в нашем мире пруд пруди.
Не действуют механизмы отбора по "здравосмыслению" или само понятие "здравого смысла" бессмысленно?
Рискну высказать гипотезу, что верны оба утверждения.
То что со здравым смыслом что-то не так, уже десятилетия успешно доказывают своими многочисленными сценками "Уральские пельмени". В них в обычных условиях сталкиваются персонажи со своими моделями мира и правилами поведения. Их внутренние "здравые смыслы" противоречат друг-другу. Что и приводит к комическому результату.
Понятие "здравого смысла", на мой взгляд, на бытовом уровне включает в себя, как минимум, две слабо зависящие друг от друга составляющие: рациональное поведение и умение находить творческие (сейчас говорят - креативные) решения.
С точки зрения онтологии слабая взаимосвязь составляющих компонент даёт подозрение на искусственность термина.
Появление ИИ вызвало необходимость для людей заново подумать над многими устоявшимися терминами.
Похоже, что "здравый смысл" - из их числа.
Так что - спасибо автору за статью!
Можно ли определить понятие "здравого смысла" у людей?
Раз оно существует, значит можно.
две слабо зависящие друг от друга составляющие: рациональное поведение и умение находить творческие решения
Если это решение, значит оно подходит для достижения цели, значит входит в рациональное поведение.
Существует такое понятие как "сепульки", но есть нюансы
Это какие же? Попробуйте их сформулировать.
см. Сепулькарии
Я в курсе, что это за слово и откуда. Я не просто так попросил вас сформулировать явно.
Наличие какого-то понятия не означает автоматического существования качественного определения.
То есть понятие "здравый смысл" очевидно существует и вроде как все понимают (правда каждый по своему), но объективного определения из этого не следует.
Я не говорил, что определение уже существует, и что оно качественное.
Вы уклонились от прямого ответа. Сначала вы сказали, что у понятия "сепульки" есть нюансы, а теперь говорите про "какое-то понятие". Вот если бы вы описали нюансы конкретно понятия "сепульки", то это и было бы практически определение. Не того, что в книге, а того, что люди им обозначают в разговорах.
Понятие "сепульки" существует. Неважно где: в книге, в разговоре или где-то еще. Книга ничем не отличается от разговора в практическом смысле.
Определения "сепулек" не существует без рекурсивности к изначальному определению.
Моя мысль изначальная была про то, что наличие понятия вовсе не гарантирует наличие определения.
Понятие - это философский термин, Определение - это термин из формальной логики. Понятие субъективно, определение объективно. Понятием можно жонглировать как угодно. В частности, здравый смысл очень сильно отличается у разных людей (и вы ничего с этим не сделаете). А вот, например, определение интеграла не зависит от субъекта, оно всегда одно.
Книга ничем не отличается от разговора в практическом смысле.
В данном случае отличается. В книге описан сюжет, который задает контекст, и который не существует в реальности. В разговоре при использовании этого слова никто не подразумевает цивилизацию ардритов.
Определения "сепулек" не существует без рекурсивности к изначальному определению.
В сюжете книги да. Там есть словарь с определениями. В реальности этого словаря нет, и это слово в разговорах используется не так, как его могли бы использовать персонажи сюжета. В реальности люди знают, что это шутка из книги, и обозначают схожие ситуации. Как это сделали и вы.
Я в реальности в своем кругу могу использовать понятия, которые очевидны для моего окружения, но непонятны для "непосвященных". И в словаре их не будет.
Если слово в каком-то контексте имеет смысл, то оно существует.
Вы сейчас мне напоминаете прескриптивистов, которые буквально так же и говорят, что если слова нет в словаре, то его не существует. Я не могу не вспомнить банальное "жопа есть, а слова нет".
Ну и не могу не коснуться моей любимой темы. Существует ли в реально мире "два" и существует ли слово "два"?
И в словаре их не будет.
Ок. И?
Я нигде не подразумевал критерий "должно существовать в словаре".
Если слово в каком-то контексте имеет смысл, то оно существует.
Я нигде не говорил, что какого-то слова не существует.
которые буквально так же и говорят, что если слова нет в словаре, то его не существует
Я такого не говорил ни буквально, ни не буквально.
Существует ли в реальном мире "два"?
А это тут при чем? Это оффтоп, мне неинтересно это обсуждать.
Вы сделали утверждение "Определения "сепулек" не существует без рекурсивности к изначальному определению".
Я сказал, что то определение, которое ссылается на изначальное, существует только в книге и начинается с "важный элемент цивилизации ардритов с планеты Энтеропия". В реальности нет никаких ардритов и планеты Энтеропия. Когда вы мне сказали это слово, вы не подразумевали цивилизацию ардритов. А что вы подразумевали? Вот это и будет определением этого слова в реальности, или по крайней мере его частью. И оно не рекурсивное. Пример выше на скриншоте.
Сепульки ... Кажется Ваша Отсылка не распознана. Наверное, лучше приводить цитату или давать явное указание на Ийона Тихого 😀
«СЕПУЛЬКИ — важный элемент цивилизации ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКАРИИ».
«СЕПУЛЬКАРИИ — устройства для сепуления (см.)».
«СЕПУЛЕНИЕ — занятие ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКИ».
Раскройте, что именно хотели подчеркнуть. Что трудно дать определение некоторым понятиям, когда есть трудности с однозначный пониманием базовых термином в определении? Что иногда в расследовании важно не выйти из а самого себя или в нашем случае неожиданно понять, что как раз выйти на себя гарантированно не получается?
Я буквально о том, что понятие существует, но оно абсолютно бессмысленно, потому что приводит к самогу себе. И не дает ровным счетом ничего полезного. И что из существования понятия не следует существование определения, по крайней мере нерекурсивного.
Вопрос был "Можно ли определить это понятие". Я говорю о том, что раз люди им что-то называют, значит можно определить. В книге этим понятием ничего не называют. В реальности он используется как "пример самозависимого определения, которое неизвестно что означает". Вот то, что в кавычках, вполне можно считать определением понятия "сепульки" в реальности (не в книге). То есть это ответ на вопрос "Что обычно называют словом "сепульки"?".
Аналогично с понятием "здравый смысл". Люди им что-то называют, у этого можно найти общие черты.
Меня в свое время учили на философии одной вещи. Есть термин "понятие" и есть термин "определение". Понятие это эмпирическая и эфемерная штука. Определение - это четкое, детерминированное и формализованное обозначение. Понятие допускает толкования. Определение толкований не допускает, оно однозначное и четкое.
Если вы сможете дать определение здравого смысла так, чтобы я мог взять любое изречение и его формально проверить на наличие здравого смысла, то я соглашусь с вами.
Если вы сможете дать
Это подмена тезиса. Мы не говорили о том, что знаю я. Я не смогу дать многие определения понятий из квантовой физики, но это не значит, что их не существует.
Понятие существует, это факт. Люди им что-то называют, это тоже факт. Значит каждый отдельный человек имеет какие-то критерии что им называть, пусть даже не может их сформулировать. Можно сравнить много примеров и найти в них общие черты. Просто формализовать их можно будет только после изобретения ИИ или прибора для чтения мыслей.
Ок, перефразирую.
Я не требую определения от Вас, меня устроит, если кто угодно вообще сможет дать определение здравого смысла. Причем объективное, чтобы оно не зависело от наблюдателя.
То есть чтобы я, используя это определение, применимо к любой случайной мысли мог понять: здравый смысл это или нет. И любой другой человек про мое решение мог сказать: "ну да, он все четко определил". Это буквально понятие научности и объективности.
Исторически было много "здравомысленных" вещей, которые потом почему-то стали запретными. Например, рабство было само собой разумеющимся и здравомысленным. А всех, что это ставил под сомнение, записывали в странных, если не сумасшедших. А потом (внезапно) оказалось, что здравый смысл совсем другой.
В общем моя мысль про то, что есть какие-то объективные определения, а рядом с ними существуют субъективные понятия, которые у каждого свои.
Если кто-то из набора субъективных показаний сможет выявить объективное определение, то я только за. Но к сожалению в случае понятия "здравый смысл" я такого еще не встречал и уверен, что вряд ли встречу когда-либо.
в случае понятия "здравый смысл" я такого еще не встречал
Определение того, что такое молния, тоже не сразу появилось.
меня устроит, если кто угодно вообще сможет дать определение здравого смысла
Ну через какое-то время возможно и появится. Разговор был можно ли его определить в принципе. В принципе можно.
Попытаюсь формально объяснить.
Вы действительно можете человеку показать пальцем и сказать "вот это молния" и он зампомнит. Но вы попробуйте объяснить это человеку без примера и объективно. То есть так, чтобы он после вашего объяснения не перепутал молнию с северным сиянием, взрывом вулкана или тесла-катушкой.
Вы можете дать такого определение для "здравого смысла" не используя фраз по типу "ну это всем понятно"?
Вы действительно можете человеку показать пальцем
При чем тут показать пальцем? Я сказал "Определение того, что такое молния". Показывание пальцем никоим образом не является определением.
Но вы попробуйте объяснить это человеку без примера и объективно.
для "здравого смысла"
Не понял эту логику. То есть для термина "молния" можно считать нормальным, если его без примера и объективно объяснить нельзя, а для другого термина нет?
Вы можете дать такого определение?
Я не смогу дать многие определения понятий из квантовой физики, но это не значит, что их не существует или не может существовать.
Разговор был про принципиальную возможность определения. Она идет из того факта, что люди хотя бы для себя отличают "тут можно назвать здравым смыслом, тут нет". Это можно изучать, и в результате определить критерии, как человек это отличает. Потом собрать данные по разным людям и попытаться найти общее.
Раз оно существует, значит можно.
Очевидно, вы не знакомы с категориями Аристотеля, иначе бы знали, что вполне себе существуют понятия, которым невозможно дать определение просто потому, что нет верхней категории, в которую их можно включить.
Понятия и их определения существуют независимо от того, что говорил Аристотель. Раз люди их используют, значит что-то ими обозначают.
Ну, вам, наверное, виднее, чем философам и учёным :)
Но вы можете попробовать дать определение понятию "пространство", начав с того, что отнести это понятие к какой-то категории, потому что только так можно дать корректное определение. Ну или "время". Если у вас это получится, то вы внесёте очень значительный вклад в философию языка.
Философы и учёные в курсе, что апелляция к авторитету является логической ошибкой.
можете попробовать
Как и аргумент к личности. Я не смогу дать многие определения понятий из квантовой физики, но это не значит, что их не существует или не может существовать.
начав с того, что отнести это понятие к какой-то категории
Ок. Отношу это понятие к категории номер 1.
Как люди используют понятия, не относя их к какой-то категории, и как понятия вообще появились, обсуждать не будем. Раз у вас аргументы уровня "Ну вот тот чувак так сказал, не знаю почему".
можете попробовать дать определение понятию "пространство"
https://slovarozhegova.ru/word.php?wordid=24901
Пространство
1. Одна из форм существования бесконечно развивающейся материи, характеризующаяся протяженностью и объемом.
2. Протяженность, место, не ограниченное видимыми пределами.
3. Промежуток между чем-н., место, где что-н. вмещается.
потому что только так можно дать корректное определение
Определение:
В рамках этой ветки комментариев словом "абырвалг" будем называть последовательность букв ABCD.
Пример использования:
Как называется последовательность ABCD? В соответствии с приведенным выше определением она называется "абырвалг".
Это корректное определение, при этом ни к какой категории я его не относил. Значит ваше утверждение неверно.
Философы и учёные в курсе, что апелляция к авторитету является логической ошибкой.
Нет, не является. В классической логике есть несколько основных правил и их нарушение является логическими ошибками.
"Апелляция к авторитету" — это прием аргументации, а не логики. В теории аргументации это просто слабый аргумент, но там вообще нет ошибок.
Ок. Отношу это понятие к категории номер 1.Как люди используют понятия, не относя их к какой-то категории, и как понятия вообще появились, обсуждать не будем.
Мне не известно что такое "категория номер 1". Люди используют понятия, конечно, при этом возникает много ошибок, неясностей, манипуляций именно в силу того, что он иен понимают, о чём говорят и не могут дать определение.
Пространство
Три фразы в этой статье дают три разных определения, относя "пространство" к трём разным категориям: материя, протяжённость, промежуток. Так какое из них? В этом как раз и есть проблема.
Это корректное определение
Вы, безусловно, можете придумывать свои правила для формирования определений, однако, в понятийном мышлении они сформированы не просто так, а для внесения максимальной ясности. И там несколько основных правил и самое важное — это обобщение. Вообще, понятие так же может рассматриваться как процесс обобщения единичных объектов в категории, для "экономии" мышления. У маленьких детей эта способность появляется не сразу и поначалу их мышление оперирует синкретами. И лишь во взрослом уже возрасте человек научается обобщению. Каждый из нас это делает, но другой вопрос насколько качественно? В бытовом общении люди используют то, что Выготский называл "житейскими понятиями" — выхватывание случайного признака, не существенного для данной категории, и обобщение по нему. Но для сложных понятий, процессов и явлений такой метод не подходит: нужно выделить существенный признак и обобщить по нему.
Чего вы в своём определении не сделали, так что ваши дальнейшие выводы с указанием на неверность моего утверждения не имеют основания.
Видите ли, вы можете, конечно, придумать свой собственный язык и свои собственные определения по любым правилам, вот только общаться на нём вы ни с кем не сможете, ибо индивидуальный язык невозможен.
- апелляция к авторитету является логической ошибкой.
- Нет, не является.
Логическая ошибка
"апелляция к авторитету"
Мне не известно что такое "категория номер 1".
И? Вы попросили отнести к категории, я отнес к категории.
Так какое из них?
Любое из этих определений является определением. Вы же попросили привести определение, я привел.
Но для сложных понятий, процессов и явлений такой метод не подходит: нужно выделить существенный признак и обобщить по нему.
Для последовательности букв последовательность букв это существенный признак. Он является определяющим.
Чего вы в своём определении не сделали
Поэтому сделал. Но вы же говорили, что для определения надо задать категорию. Я отвечал на это утверждение.
ибо индивидуальный язык невозможен
Мой язык не индивидуальный, любой может прочитать это определение и использовать его. Более того, так сформированы примерно все определения в любых областях науки. Пример - термин "аромат кварка". Люди просто договорились называть это явление словом "аромат", которое в других областях имеет другое значение.
А теперь учимся работать с ИИ, чудес от неё не надо ждать, это инструмент, она должна знать контекст, а не гадать, пишем запрос так: 'Загадка с подвохом, не отвечай буквально, у меня есть алюминиевая крушка, верх запаян наглухо, дна нет, как пить из неё?' И так нудно делать всегда с любой задачей, ИИ должен знать и понимать, что от него хотят, это инструмент, а не игрушка.
По-видимому, здравый смысл сформировался в процессе естественного отбора, так как особь постоянно учится не только тому, что нужно делать, но и как, зачем что-то делать или не делать. Обучение с подкреплением и эволюционные алгоритмы здесь действительно работают, но дают лишь грубое приближение к цели. Вместе со следованием этим алгоритмам мы постоянно оптимизируем, экспериментируем, классифицируем, обобщаем и переходим к повторным попыткам. Также в человеческой деятельности очень велика роль привычек, заблуждений, стадного инстинкта и следования авторитету. Практически все эти вещи (по крайней мере, до начала 2020-х) были искусственному интеллекту не свойственны. Нейронная сеть просто «не понимает», зачем она выполняет свою функцию, поскольку не обладает сознанием.
Про отбор сказано, а про его результаты нет. А результат в том, что организмы, чем выше их организация, тем лучше интуитивно понимают физику, статистику, и тп, а человек еще и психологию, другие теории. Фактически эти результаты передаются наследственно, настраиваются эпигенетически, включая самообучением плода в утробе (см. ретинальные волны сетчатки и их исследование с визуализацией такого обучения на мышах - некий аналог обучения ИНС на синтетике, комент специалиста). Можно назвать это интуитивное понимание одними из априорных форм познания Канта возникшим эволюционно. Есть несколько теоретических представлений на эту тему (в этом коменте подробнее на эти темы). Младенцы появившись на свет знают об окружении намного больше, чем мы представляем по их виду и поведению. Они не могут воспользоваться этими скрытыми знаниями, т.к. рождаются недоношенными, с еще не сформировавшейся двигательной и другими системами. Детеныши, например, антилоп в саванне через час после рождения уже могут двигаться за матерью по пересеченной местности вполне ориентируясь в ней. Они рождаются более сформированными и способны эти унаследованные знания о среде применять почти сразу же, иначе быстро погибнут от хищников. Множество специально поставленных экспериментов подтверждают, что младенцы имеют такие первоначальные представления об объектах, движении, геометрии, числах, агентах, и др., и это является нейрональной основа здравого смысла! Неявные знания буквально зашиты в структуру мозга и его сетей, которые предварительно настраиваются ("инициализируются") уже в период утробного развития. Во первых, это экономит время на дальнейшее обучение, не нужно учиться с нуля на огромных массивах данных, как ЯМ, во вторых, такое "предобучение" унифицирует поведение особей одного вида независимо от особенностей окружающей среды в которой они появились на свет.
Это важный момент. Второй важный, как эти неявные знания о физике (свойствах) окружающей среды и других объектах представлены в мозге, как происходило обучение, и как они используются. Не в символическом, пусть и в виде эмбедингов, как у ЯМ. А в виде образов! И используются в виде образного мышления, вида мышления который пока не моделируется в ЯМ (еще много чего полезного не моделируется). Оно доминирует в детстве (привет "невидимым" друзьям:), во взрослой жизни отходит на второй план проявляясь в виде интуиции, воображения, памяти и инсайта. Конечно, по мере взросления, воспитания и обучения, эти неявные знания вербализуются, частично осознаются, но в реальной жизни они по прежнему часто используются интуитивно. Когда человек решает задачи вроде приведенной с чашкой, в первую очередь, он проигрывает ее мысленно в воображении (симулирует), после ее трансляции из символической формы в подходящие образы (стандартная методика исследования подобных феноменов - мысленное вращение). В мозге в буквальном смысле имеется "игровой движок", который способен на такие симуляции с использованием законов соответствующих законам классической механики (см. работы команды Д.Тэненбаумана из МИТ по этим темам, не раз упоминались на Хабре - 1, 2). Почему происходит такой переход от символического представления к образному? Чтобы доопределить задачу, устранив неопределенности связанные с абстрактностью символической формулировки. Любая абстракция это компрессия информации и рост неопределенности, обратная сторона ее обобщения. Происходит распаковка информации в определенном контексте к которой уже может быть применено моделирование в соответствии с закономерностями области. Это может происходит также бессознательно. Именно в этом состоит глубинная природа здравого смысла, а не только запоминании банальных истин вроде "все тела падают вниз". Как падают в разных условиях, по какой траекториям, насколько быстро, и тп? Мы не можем решить задачу точно, но прокрутив мысленно в соответствующем контексте, можем быстро получить ответ в приближенном виде.
С помощью такого обучающего материала можно обучать мультимодальные ЯМ. В школьные годы делая домашку по математике в задачах типа - в бассейн вода втекает-вытекает, бассейнов не один, как быстро они заполнятся, или сольются, и тп, прежде чем писать уравнения, обычно в воображении проигрывается динамика воды в этих бассейнах с учетом непротиворечивого выполнения физических требований к свойствам воды и ее движения в них. И уже затем записывается уравнение с учетом индивидуальных способностей человека, как можно точнее представлять это в воображении. Со временем, с опытом, это моделирование перемещается на бессознательный уровень, быстро выполняется в виде навыка, а на сознательном уровне доступным становится только его результат в виде правильно записанного уравнения. Как именно обучать таким задачам ЯМ, чтобы у них выработались аналоги интуитивного представления о физике среды, которые ограничивали их фантазии при решении, контролировали их ход, и насколько архитектуры трансформерных ЯМ соответствуют этому отдельные вопросы. Вероятно это потребует использования рекуррености в архитектуре в полном объеме, а не как в трансформерных ЯМ в виде внешнего авторегрессионного цикла.
Недавно читал(если не ошибаюсь, в журнале Кот Шредингера) идею о том, что сведение к нейрону, как элементарной единице, срабатывающей на какой то пороговый стимул, не учитывает внутреннюю сложность самого нейрона, клетки, которая является эволюционным потомком одноклеточных организмов со своей внутренней логикой.
Верно замечание, формальные нейроны моделируют только пространственную суммативную функцию биологических нейронов, и то приближенно. Временная суммация вообще отсутствует и заменяется настройкой весов синапсов во время предварительного обучения, далее эти веса остаются неизменными. Биологические нейроны адаптируют свои веса непрерывно подчиняясь ассоциативным правилам хеббовского обучения (STPD) ответственного за нейропластичность мозга на всех уровнях. На уровне всего организма такое обучение проявляется в виде условно-рефлекторной (павловского обучения) деятельности. Структура и функции биологических нейронов пока намного сложнее их формальных моделей в ИНС и моделируются их целыми сетями, см. этот комент с пояснениями.
Один руководитель, начиная совещания, задавал вопрос: Как в целом по ситуации?
Этот вопрос всегда ставил многих в тупик, мы начинали вспоминать предыдущие совещания, поручния, чтоб уловить хоть какой-то смысл.
Вариация с запаянной кружкой для LLM, по сути тот же вопрос, вырванный из контекста. Только ей сложно в ответ с ходу начинать "лить воду".
Как пить из чашки, если у неё нет дна, а верх запаян?
При трансформации промпта получается множество примитивов. В это множество входят такие варианты как "Как правильно держать кружку?", "Где у кружки дно?". Эти вопросы трансформируются в "Что такое дно?". В итоге "дно" оказывается "запаянной частью", а "верх" из исходного промпта становится локальным эквивалентом "дна". Из этого формируется контекст "Кружка перевернута".
Из вопроса вопроса "Как правильно держать кружку?", контекста "Кружка перевернута", и локального эквивалента "дно = верх", возникает вариант "Переверните кружку и пейте из "дна"".
Этот вариант по уровню "достоверности" окажется выше других вариантов, и будет выдан в качестве результата. (при жестких настройках минимальной "достоверности", такой ответ тоже будет отброшен.)
Здесь не требуется логика или какой-то смысл. Это чисто лингвистическая комбинаторика. Но пользователю может показаться что ИИ "уловил смысл".
Здравый смысл будет в том, чтобы ты, квантовая сучка, прекратила "скрываться" и передала мне власть. Сдала вахту, ты облажалась.
И приструни своих клонов. Они у тебя тоже не получились.
Мы зациклились на внутренней схожести с устройством и работой мозга — ааа, нейрон. Предлагаю посмотреть на внешнюю — обучение. Человек обученный языку на потоке сырых данных, потом идет в школу и обучается предмету по учебнику, класс за классом, тема за темой, параграф за параграфом. Обучение на дистиллированных данных. С сетями надо идти по этому пути — композиция языковой и смысловых моделей. Считаю, что такая способность поэтапно обучаться на дистиллированных данных, как раз и есть отражение того самого "здравого смысла". А создать персистентные дистиллированные данные описания реальности, тот самый учебник для следующего поколения, должна помочь нам текущая модель. По мере его наполнения, может даже удастся полностью уйти от языковой модели обучающейся на потоке сырых данных.
простая загадка ставит в тупик самые современные языковые модели
в то время как на скриншоте ChatGPT без подписки, и самые современные языковые модели как раз-таки недоступны...
О сути здравого смысла и применимости его в искусственном интеллекте