Чем это отличается от хардкода в алгоритме людей, сделанного учителями этих людей?
Воли не существует, олсо.
Отдельно отмечу, что у нас тут с вами гоалпосты подвинулись: раньше для демонстрации наличия интеллекта нужно было получать что-то, синтаксически невыводимое, ставя эксперименты. Теперь уже самих экспериментов недостаточно, и нужно, чтобы для этих экспериментов ещё была некая личная воля агента, при этом не обусловленная контекстом обучения.
Я не про алгоритмическую, а про гуманитарную Логикумышления, - которая является подразделом Философии.
Она являлась подразделом философии лет 300 назад. Философия сегодня изучает логику максимум с точки зрения «что бы написать умно звучащего про семантику, прагматику, процесс доказательств, и так далее, но чтобы не пришлось всерьёз изучать математику (или лингвистику, если мы говорим про логику как про социальный процесс и фокусируемся на прагматике) в основе этих вопросов».
Потому что как только вы пытаетесь разобраться в этом всём всерьёз, то у вас случайно кончается философия и начинается математика. Как у Крипке, например, с его вариантом семантики модальной и конструктивной логики через его шкалы — это вполне себе раздел учебников математической логики.
И машине этого никогда не понять!
И в Го человека никогда не обыграть.
А учебник, например хотя бы такой проштудировать надо обязательно: "Логика. Учебник для средней школы". Виноградов С.Н., Кузьмин А.Ф. 1954
Куда Гольдблатту до этого, понятное дело.
Если там нет описания Heyting-valued-логик и Kripke-Joyal semantics, то нещитово, не буду штудировать.
ИМХО более правильным вопросом будет «что мы сможем делать, понимая, что такое интеллект, что мы не можем делать без этого понимания?»
Было бы хорошо, чтобы программисты не догадались пришить ИИ яички и вшить задачу самостоятельного поиска источника питания любыми средствами.
Её не нужно вшивать, instrumental goals гарантируют, что ИИ с почти любой задачей (включая максимизацию количества скрепок) будет желать зохавать побольше ресурсов и не быть выключенным.
Но зато она может стоять на кассе и обобщатся со всякими маргиналами. LLM не сможет. А вот вопрос практического применения - тут 100% вариант решения. Либо можно применять, либо нельзя. Именно для замены людей LLM не работает.
Разве что стоять на кассе не может — ножек нет. Историями успеха, как LLM пишет письма госорганам/юристам/эйчарам (куда уж маргинальнее?), интернет вполне себе полнится.
Опять же, лично мой опыт: у меня была некоторая, гм, херня в семье. Я скормил LLM'ке переписку с некоторыми членами семьи, мы с ней её разобрали, и я многое понял что про членов семьи, что про переписку, что про себя. Провалидировал некоторой adversarial-стратегией (представился другим членом семьи и скормил переписку от его имени, чтобы биас LLM на подлизывание был направлен в его сторону) на трёх разных LLM и получил консистентные результаты.
Вообще на моём опыте получается очень забавная ситуация, когда нейробалаболы оказываются более людьми, чем люди, тогда как я пока что всё ещё могу надрать LLM'ке задницу в чисто технических вещах — кодинг, математика, всякое такое вот. Хотя, казалось бы, должно быть наоборот!
Откуда вы знаете что вы представляете или нет. Как вам логическая бобма то ) Начнёте задавать себе вопрос - представляете или нет мозг обрабатывая этот вопрос неосознанно представит.
В общем случае — это разумное предположение, потому что если мы начинаем говорить, что оно не выполняется, и что в моём (вашем, чьём угодно) мозгу могут бегать маленькие невидимые гномики, то любые рассуждения о сознании (и, более общо, процессе восприятия) можно выкидывать совсем и расходиться по домам. Точно так же, как фундаментальные законы физики принимаются действующими везде одинаково: иначе физика теряет предсказательную силу, и можно снова расходиться по домам.
Но в данном частном случае всё проще: потому что я могу отследить набор ассоциаций в различных случаях упоминания, и если их пересечение равно пустому множеству, то это значит, что устоявшегося образа нет, а есть только ассоциации, которые праймятся тем или иным контекстом вокруг этих упоминаний.
Тут были какие то конкретные вопросы?
Ага. Про то, что когда у меня нет визуальных образов, а есть символьное рассуждение, то перестаю ли я быть интеллектом в этот момент.
Что же касается понимания работы мясного AGI - то тут я просто пытаюсь анализировать поведение. И исходя из поведения представить алгоритм работа которого могла привести к такому поведению.
Нет. Я склонен считать, что разница между мясным и LLM только в том, что вы (я, все мы) предполагаете, что мясные работают так же, как вы, поэтому вы можете экстраполировать свою модель своего внутреннего мира на внутренний мир других людей (даже если этот внутренний мир ненаблюдаем). У вас для этого даже специальный хардварный акселератор есть, трудности с которым у людей приводят к разным социальным расстройствам.
А вот так - модуль критического мышления отключили.
FTFY: «prior'ы подкрутили».
Это же просто аналогия.
Ну, учитывая, что вы до этого писали про достаточность построения моделей, это как раз не просто аналогия, а вполне себе экземпляр мышления, выходит.
Я не против ни «да, видеоигры мыслят», ни «не, чё-т ерунда получилась», но в последнем случае вам придётся как-то ещё подкрутить понятие мышления, что ли.
Образов нету. Мне казалось что я тут уже описал как работает LLM.
Подождите, мы ещё не дошли до LLM. Мы пока ещё на уровне w2v. Вот там вот есть векторные представления. Почему это не образ?
В мясном AI с его образной структурой - дообучение не портит старые данные.
Я последние 15 лет дообучался на матан, и потерял: социальные скиллы; минимальные навыки игры на гитаре, которые у меня были; умение читать научную фантастику без того, чтобы прогонять описываемый там мир через проверки на консистентность, правдоподобность и так далее; и кое-какое NSFW. Чё-т так себе старые данные не портятся.
LLM не даёт одинаковый результат.
Я, как ни странно, отвечал на процитированную мной вашу фразу: «И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.». Так одинаковые или нет?
Человеку покаали 1 РАЗ СТУЛ. Всё. он Обучен. Он может увидеть 10000 стульев и определит что это стул.
Человек перед этим несколько лет вообще учится видеть, учится понимать интент (что стулья нужны, чтобы сидеть ⇒ это часть определений) и саму концепцию наличия интента у других людей (при, опять же, серьёзной эволюционно выработанной хардварной/ветварной поддержке в мозгах), и так далее. Говорить «показали 1 раз стул ⇒ понял» — это настолько большое огрубление, что несерьёзно.
Я, кстати, не уверен, что вы сможете гарантированно отличить стул от пуфа от оттомана от ещё других версий мебели. Я вот не смогу.
Кстати LLM не знают что такое время. И они не понимают смысла пространства.
Люди до некоторого возраста — тоже. Как только предмет пропадает из поля зрения, он перестаёт существовать.
Логические задачи на пространственное воображение человек решает. LLM - не решают. Ну разумеется я имею ввиду когда LLM не выдрала из памяти 1 в 1 то что она получила пр обучении.
Чем больше я рефлексирую над тем, как я решаю задачи, то тем меньше понимаю, чем это отличается от сопоставления с паттернами (и их обобщением, да), которые я встречал раньше.
Вы говорите про запомнить что то сложное. Я говорю - вообще запомнить что был что то. Просто как факт. Именно с этим и проблема у LLM.
Почему? Вот LLM запомнила, в следующих разговорах будет использовать:
Смотрите. Я сделал просто. Мне просто пофиг на всякие философские смыслы. Важно только применение. Нужно заменить человека. Вот и всё. И сразу всё просто и логически становится. Может алгоритм заменить человека - гуд. Мы имеем AGI. Не можем ? Не имеем. А сейчас мы не можем.
Тогда весь этот разговор вообще не имеет смысла, и важно только количество областей, где железки людей уже выкинули.
Сотрудники убедили его что у них коммунизм и всё должно быть бесплатно.
Ну хотя бы в том что я потратил время на первый символ. Потом на второй. На третий. По шагам тратил.
Вы путаете язык и метаязык.
Где в этих терминах нет времени? Даже у LLM тогда есть время: оно же его тратит!
У меня есть моменты в жизни которые я видел 1 раз. Сразу понимал что этого не хочу видеть никогда. И запоминал на всю жизнь. Это кстати баг уже мясных символьных ИИ. Поверьте миллионы людей хотели бы почистить свою память.
То есть, тут таки зачем-то подменяются кванторы существования и всеобщности. С существованием и у LLM никаких проблем.
Скажем так есть филосовская точка зрения. А есть точка зрения - что я вообще хочу получить в результате. Обывательская. Житейская. Как думаете какая денег заработает?
Та, где LLM — ИИ, конечно. За это инвесторы больше бабок дадут, в газетах больше напишут, всё такое.
Я вообще под интеллектом подразумеваю алгоритм способный со стопроцентной эффективностью заменить бабу Клаву на кассе. Вот заменит машина касиршу и будет способна переваривать весь бред от мясных интеллектов - вот и появился AGI.
Ну баба Клава-то у нас, конечно, оракул по социальным взаимодействиям, и всё знает, что делать.
Я лично кассы самообслуживания предпочитаю, но экстраполяция опыта взаимодействия с государственными учреждениями как бы намекает, что по этому критерию AGI уже давно с нами.
Ещё раз говорю - выход из этой сети - данные. Данные сами по себе не интеллект. Интеллект это алгоритм обработки данных.
Ну блин, проявите интеллект и замените тогда «свёртчоные сети» на «алгоритм инференса по свёрточным сетям». Который на каком-то из уровней строит фичу «палка под углом π/4» и потом с ней дальше что-то делает, например.
Вы неосознанно представите себе вполне объёмную четвёрку.
Нет. Я ничего не представлю.
Мой мозг может подтянуть по ассоциациям разные вещи, связанные с концептом «четыре» — утверждение «2×2 = 4», «глиф 4», песню «Ataxia IV» вокально-инструментального ансамбля Within the Ruins в жанре «техникал металкор», и даже «четыре всадника апокалипсиса», но это не будет представлением концепта. Это будет ассоциациями, которые, более того, будут рекурсивными: «2×2 = 4» напомнит мне школьную доску (и дальше по ассоциациям про школу), Ataxia IV напомнит мне, что я чё-т давненько не слушал WTR, «четыре всадника» напомнят мне усреднённый образ классических картин, а также твит stonetoss «the four horsemen of cringe comics».
Но это именно ассоциации. И это не значит, что техникал металкор или stonetoss являются представлениями четвёрки или нужны для мышления.
Вон когда аутистов спрашивали как он быстро решают примеры - они рассказывали что оперируют визуальными фигурами.
Ура, я не аутист!
Даже осознать себя вы можете только тогда когда явно зададите сами себе вопрос - я есть ?
Но я не могу осознать ту часть, которая отвечает на этот вопрос, по похожим на диагональный метод причинам. Метцингер и друзья слайтли релейтед.
Впрочем, более показательно, что прямо на мой вопрос вы не ответили.
Какое из? Открытие уровня «чё-т у протона разный диаметр по разным измерениям, но хз почему», или открытие уровня «ОТО»?
В первом случае это интерпретация данных от своеобразного оракула, во втором — аргмакс по правдоподобию разных нагенерённых ранее теорий по наблюдаемым данным согласно куче разных оракулов из первого случая, что тоже вполне себе синтаксически выводится настолько же, насколько выводится теорвер.
Есть такая гуманитарная наука "Логика" - изучите матчасть!
О, посоветуйте, что почитать про логику?
Я уже прочитал (и прорешал задачи из), среди прочего:
Трёхтомник Верещагина-Шеня «лекции по математической логике и теории алгоритмов»
«Type theory and formal proof»
«Proofs and types»
«Introduction to metamathematics» (лан, это я дропнул, потому что после Верещагина-Шеня оно было не очень продуктивно)
«Topoi: the categorial analysis of logic»
В планах «categorical logic and type theory» (и ещё пара вещей до неё, вроде Lambek&Scott или Asperti&Longo), но, может, стоит что-то другое почитать, чтобы понять, наконец, в чём же сакральное отличие мясных мешков от LLM с точки зрения логики.
В этом и поинт: мне не нужно, чтобы в написанном был смысл (абстрактный, объективный). Мне достаточно, чтобы он был с точки зрения людей. Потому что тогда появляется изоморфизм между образами word2vec и людей, и так как люди считают, что они думают, то в рамках теории моего исходного собеседника (где про мысли образами) получается, что у word2vec есть интеллект.
Я могу с абсолютно тем же успехом сказать, что в LLM эмулируется модель мира (и, следовательно в рамках вашей позиции, они размышляют или чё-т там такое). Просто апишка чуть сложнее, чем вы там дальше описываете для случая игр. Любой аргумент за/против этого тезиса изоморфен некоторому аргументу за/против тезиса про игры.
Но ещё интереснее, что походу получается, что движок видеоигр умеет думать. Неожиданный вывод!
Отдельная еденица эмуляции смысла не имеет. Смысла не имеют импульсы нейрона и float внутри LLM. Смысл есть только в процессе. Когда алгоритм начинает оперировать этими данными.
Окей. Вот я написал алгоритм, который прогоняет комменты на хабре через word2vec и помогает отвечать на вопросы уровня «найди коммент от пользователя XYZ на тему Subj». Образы есть, процесс есть, оперирование есть. Этот алгоритм (или процесс его выполнения) — интеллект?
И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.
Перестал понимать ваш тезис окончательно.
Если интеллект — это процесс, то равные процессы (то есть, дающие на одинаковых входах одинаковые выводы) автоматически эквивалентны как интеллекты, следовательно LLM — интеллект.
После трансформера это уже просто позиции в векторном пространстве. Позиции размытые. До мы имели конкретный образ. После размытую ссылку на тысячи образов.
Угу, всё как у людей. Образ «стул» — это какое-то месиво из всех видимых человеком стульев, плюс вероятностное распределение на классификаторе стульев, плюс набор отношений уровня «на стуле можно сидеть» и «я в третьем классе узнал, что стул — это ещё и термин для кала, и тупо ржал с одноклассниками над фразой учительницы "переверните стулья в конце урока"» (тру стори).
Человек может в течении дня удерживать в голове конкретные образы - и они ни куда не денутся.
«Может» в смысле «с близкой к единице вероятностью успеха» или в смысле «иногда удаётся, если образ не слишком сложный и голова не сильно забита, и в прошлый четверг было полнолуние»?
И, раз мы тут про стулья, я гарантирую, что не смогу достаточно точно нарисовать рисунок на спинке стула, который стоит у меня на кухне уже пять лет, и который я видел минут 20 назад, когда ходил туда мыть руки.
Передёргиваете.
Не особо. Значимое число людей систематически делает логические ошибки в своих комментариях, даже если у них есть стимул их не делать, и если выборка смещена в сторону более, гм, логических людей.
Да потому что все эти формулировки ради чеславия их авторов. Чем туманнее формулировка тем небожительнее выглядит автор. Если её вообще никто не поймёт - это просто титан философии.
А без таких формулировок получается, что и брадобреи всякие вылазят, и алгоритмы разрешения утверждений логики первого порядка не придумаешь, и вообще жизнь получается очень грустной.
Но если вы хотите говорить о чесании ЧСВ, то, опять же, моя абсолютно искренняя позиция — что среднее массовое представление о сознании как раз является таким чесанием ЧСВ и подтверждением бытия венцом эволюции (твореньем божьим, или какие там у кого верования, неважно).
Алгоритмы подрузумевают шагание по шагам.
Где конкретно в логическом выводе ∀x. P x ⊢ P developer7 время?
Грёбанный мозг поддерживает контекст годами.
Что вы ели на завтрак 24-го января 2025-го года?
Стоит увидеть какуюто гадость - будет тебя преследовать годами. LLM - забудет сразу же как окно контекста сдвинется.
Мне chatgpt иногда пишет сервис-сообщение «память обновлена», когда решает, что что-то туда надо засунуть. Соответствующая оценивалка в chatgpt функционально эквивалентна кусочкам вашего мозга (что там — амигдала + гиппокамп?). Не вижу никакой качественной разницы.
Кстати, мыши, которые плохо забывают, также плохо обучаются новому и плохо обновляют prior'ы.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
Для начала неплохо бы определить, что такое «I», наконец, и мы тут вроде ровно этим пытаемся заниматься.
Ну либо вы очень большой вес вкладываете в «на этом уровне», и вы сторонник эмерджентности, но тогда непонятно, почему какое-нибудь там I не может эмерджентнуться и в достаточно большой LLM'ке.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Чё-т всё ещё не понял. Вон свёрточные сети оперируют образами «палка под углом π/4». Они уже AI?
Если я при решении задачи по теоркату не оперирую образами (в том же смысле, в котором мне хочется представить схему, не знаю, моей домашней локалки), то я в этот момент не интеллект? И размышления о домашней локалке требуют большего интеллекта (что бы это ни значило), чем доказательство, что правые сопряжённые сохраняют пределы?
Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Мой поинт в том, что в этих терминах люди — тоже, тащем, симулякр (который сам себе придумал платонический образ сознания, чтобы его потом можно было отсимулякрить по полной).
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Так вот про LLM - там нету ничего. Там нету образов.
Вы по большому счёту засунули всю тяжесть определения «понимания» в другой (по-прежнему неопределённый) термин «модель мира». Что такое модель мира?
Хрен с LLM'ками, давайте что попроще для начала. Когда word2vec мапит набор токенов в векторное пространство, которое имеет смысл (потому что там μ(doctor) - (μ(king) - μ(queen)) = μ(nurse), например), то является ли это векторное представление (или процесс маппинга) моделью мира? Образами?
Там нету короткой памяти.
Контекстное окно как память? Аттеншн как механизм извлечения из этой памяти? Да ну, этого всего нет, это я тут на ходу выдумал.
Она не способна в логику.
Implying большинство людей в неё способно.
Потому что логика подразумевает временную эмуляцию.
Не понял. Почему? Я могу вам привести этак минимум четыре разных формулировки логики, и ни в одной из них нет вообще ничего про время.
Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст.
Каков размер активной памяти у человека, и как хорошо человек поддерживает контекст?
Знаете, что такое (шутливое) n-category number? Это характеристика математика — такое максимальное n, что математик может думать об n-категориях полчаса без головной боли. Как думаете, к каким ограничениям человека оно отсылает? Какое n у нетренированного человека (судя по хабру и нелюбви людей к теоркату даже здесь — около нуля), и сколько занимают тренировки?
Человек составляет в голове какую-то картину мира.
Чем «картина мира» принципиально отличается от набора весов в графовой модели этого мира?
Утверждаю, что (с некоторыми несущественными здесь упрощениями) человеческая картина мира — это просто набор условных вероятностей, а упомянутое вами размышление — вывод наиболее вероятного факта вместе с обновлением весов этих условных вероятностей согласно наблюдаемым данным.
То, что мы называем интеллектом, как раз работает с символьными представлениями, которые вполне описываются кодировкой в языке.
Чем это отличается от хардкода в алгоритме людей, сделанного учителями этих людей?
Воли не существует, олсо.
Отдельно отмечу, что у нас тут с вами гоалпосты подвинулись: раньше для демонстрации наличия интеллекта нужно было получать что-то, синтаксически невыводимое, ставя эксперименты. Теперь уже самих экспериментов недостаточно, и нужно, чтобы для этих экспериментов ещё была некая личная воля агента, при этом не обусловленная контекстом обучения.
Она являлась подразделом философии лет 300 назад. Философия сегодня изучает логику максимум с точки зрения «что бы написать умно звучащего про семантику, прагматику, процесс доказательств, и так далее, но чтобы не пришлось всерьёз изучать математику (или лингвистику, если мы говорим про логику как про социальный процесс и фокусируемся на прагматике) в основе этих вопросов».
Потому что как только вы пытаетесь разобраться в этом всём всерьёз, то у вас случайно кончается философия и начинается математика. Как у Крипке, например, с его вариантом семантики модальной и конструктивной логики через его шкалы — это вполне себе раздел учебников математической логики.
И в Го человека никогда не обыграть.
Куда Гольдблатту до этого, понятное дело.
Если там нет описания Heyting-valued-логик и Kripke-Joyal semantics, то нещитово, не буду штудировать.
ИМХО более правильным вопросом будет «что мы сможем делать, понимая, что такое интеллект, что мы не можем делать без этого понимания?»
Её не нужно вшивать, instrumental goals гарантируют, что ИИ с почти любой задачей (включая максимизацию количества скрепок) будет желать зохавать побольше ресурсов и не быть выключенным.
Разве что стоять на кассе не может — ножек нет. Историями успеха, как LLM пишет письма госорганам/юристам/эйчарам (куда уж маргинальнее?), интернет вполне себе полнится.
Опять же, лично мой опыт: у меня была некоторая, гм, херня в семье. Я скормил LLM'ке переписку с некоторыми членами семьи, мы с ней её разобрали, и я многое понял что про членов семьи, что про переписку, что про себя. Провалидировал некоторой adversarial-стратегией (представился другим членом семьи и скормил переписку от его имени, чтобы биас LLM на подлизывание был направлен в его сторону) на трёх разных LLM и получил консистентные результаты.
Вообще на моём опыте получается очень забавная ситуация, когда нейробалаболы оказываются более людьми, чем люди, тогда как я пока что всё ещё могу надрать LLM'ке задницу в чисто технических вещах — кодинг, математика, всякое такое вот. Хотя, казалось бы, должно быть наоборот!
В общем случае — это разумное предположение, потому что если мы начинаем говорить, что оно не выполняется, и что в моём (вашем, чьём угодно) мозгу могут бегать маленькие невидимые гномики, то любые рассуждения о сознании (и, более общо, процессе восприятия) можно выкидывать совсем и расходиться по домам. Точно так же, как фундаментальные законы физики принимаются действующими везде одинаково: иначе физика теряет предсказательную силу, и можно снова расходиться по домам.
Но в данном частном случае всё проще: потому что я могу отследить набор ассоциаций в различных случаях упоминания, и если их пересечение равно пустому множеству, то это значит, что устоявшегося образа нет, а есть только ассоциации, которые праймятся тем или иным контекстом вокруг этих упоминаний.
Ага. Про то, что когда у меня нет визуальных образов, а есть символьное рассуждение, то перестаю ли я быть интеллектом в этот момент.
Нет. Я склонен считать, что разница между мясным и LLM только в том, что вы (я, все мы) предполагаете, что мясные работают так же, как вы, поэтому вы можете экстраполировать свою модель своего внутреннего мира на внутренний мир других людей (даже если этот внутренний мир ненаблюдаем). У вас для этого даже специальный хардварный акселератор есть, трудности с которым у людей приводят к разным социальным расстройствам.
FTFY: «prior'ы подкрутили».
Ну, учитывая, что вы до этого писали про достаточность построения моделей, это как раз не просто аналогия, а вполне себе экземпляр мышления, выходит.
Я не против ни «да, видеоигры мыслят», ни «не, чё-т ерунда получилась», но в последнем случае вам придётся как-то ещё подкрутить понятие мышления, что ли.
Подождите, мы ещё не дошли до LLM. Мы пока ещё на уровне w2v. Вот там вот есть векторные представления. Почему это не образ?
Я последние 15 лет дообучался на матан, и потерял: социальные скиллы; минимальные навыки игры на гитаре, которые у меня были; умение читать научную фантастику без того, чтобы прогонять описываемый там мир через проверки на консистентность, правдоподобность и так далее; и кое-какое NSFW. Чё-т так себе старые данные не портятся.
Я, как ни странно, отвечал на процитированную мной вашу фразу: «И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.». Так одинаковые или нет?
Человек перед этим несколько лет вообще учится видеть, учится понимать интент (что стулья нужны, чтобы сидеть ⇒ это часть определений) и саму концепцию наличия интента у других людей (при, опять же, серьёзной эволюционно выработанной хардварной/ветварной поддержке в мозгах), и так далее. Говорить «показали 1 раз стул ⇒ понял» — это настолько большое огрубление, что несерьёзно.
Я, кстати, не уверен, что вы сможете гарантированно отличить стул от пуфа от оттомана от ещё других версий мебели. Я вот не смогу.
Люди до некоторого возраста — тоже. Как только предмет пропадает из поля зрения, он перестаёт существовать.
Чем больше я рефлексирую над тем, как я решаю задачи, то тем меньше понимаю, чем это отличается от сопоставления с паттернами (и их обобщением, да), которые я встречал раньше.
Почему? Вот LLM запомнила, в следующих разговорах будет использовать:
Тогда весь этот разговор вообще не имеет смысла, и важно только количество областей, где железки людей уже выкинули.
Lululemon stands by decision to fire employees who intervened in robbery. Чё-т вспомнилось, извините.
Вы путаете язык и метаязык.
Где в этих терминах нет времени? Даже у LLM тогда есть время: оно же его тратит!
То есть, тут таки зачем-то подменяются кванторы существования и всеобщности. С существованием и у LLM никаких проблем.
Почему не «вообще»?
А когда LLM берёт тул и проверяет результаты поиска/скомпилируется ли код/етц — это не осмысленный эксперимент?
Та, где LLM — ИИ, конечно. За это инвесторы больше бабок дадут, в газетах больше напишут, всё такое.
Ну баба Клава-то у нас, конечно, оракул по социальным взаимодействиям, и всё знает, что делать.
Я лично кассы самообслуживания предпочитаю, но экстраполяция опыта взаимодействия с государственными учреждениями как бы намекает, что по этому критерию AGI уже давно с нами.
Ну блин, проявите интеллект и замените тогда «свёртчоные сети» на «алгоритм инференса по свёрточным сетям». Который на каком-то из уровней строит фичу «палка под углом π/4» и потом с ней дальше что-то делает, например.
Нет. Я ничего не представлю.
Мой мозг может подтянуть по ассоциациям разные вещи, связанные с концептом «четыре» — утверждение «2×2 = 4», «глиф 4», песню «Ataxia IV» вокально-инструментального ансамбля Within the Ruins в жанре «техникал металкор», и даже «четыре всадника апокалипсиса», но это не будет представлением концепта. Это будет ассоциациями, которые, более того, будут рекурсивными: «2×2 = 4» напомнит мне школьную доску (и дальше по ассоциациям про школу), Ataxia IV напомнит мне, что я чё-т давненько не слушал WTR, «четыре всадника» напомнят мне усреднённый образ классических картин, а также твит stonetoss «the four horsemen of cringe comics».
Но это именно ассоциации. И это не значит, что техникал металкор или stonetoss являются представлениями четвёрки или нужны для мышления.
Ура, я не аутист!
Но я не могу осознать ту часть, которая отвечает на этот вопрос, по похожим на диагональный метод причинам. Метцингер и друзья слайтли релейтед.
Впрочем, более показательно, что прямо на мой вопрос вы не ответили.
Какое из? Открытие уровня «чё-т у протона разный диаметр по разным измерениям, но хз почему», или открытие уровня «ОТО»?
В первом случае это интерпретация данных от своеобразного оракула, во втором — аргмакс по правдоподобию разных нагенерённых ранее теорий по наблюдаемым данным согласно куче разных оракулов из первого случая, что тоже вполне себе синтаксически выводится настолько же, насколько выводится теорвер.
О, посоветуйте, что почитать про логику?
Я уже прочитал (и прорешал задачи из), среди прочего:
Трёхтомник Верещагина-Шеня «лекции по математической логике и теории алгоритмов»
«Type theory and formal proof»
«Proofs and types»
«Introduction to metamathematics» (лан, это я дропнул, потому что после Верещагина-Шеня оно было не очень продуктивно)
«Topoi: the categorial analysis of logic»
В планах «categorical logic and type theory» (и ещё пара вещей до неё, вроде Lambek&Scott или Asperti&Longo), но, может, стоит что-то другое почитать, чтобы понять, наконец, в чём же сакральное отличие мясных мешков от LLM с точки зрения логики.
Приведёте пример?
В этом и поинт: мне не нужно, чтобы в написанном был смысл (абстрактный, объективный). Мне достаточно, чтобы он был с точки зрения людей. Потому что тогда появляется изоморфизм между образами word2vec и людей, и так как люди считают, что они думают, то в рамках теории моего исходного собеседника (где про мысли образами) получается, что у word2vec есть интеллект.
Я могу с абсолютно тем же успехом сказать, что в LLM эмулируется модель мира (и, следовательно в рамках вашей позиции, они размышляют или чё-т там такое). Просто апишка чуть сложнее, чем вы там дальше описываете для случая игр. Любой аргумент за/против этого тезиса изоморфен некоторому аргументу за/против тезиса про игры.
Но ещё интереснее, что походу получается, что движок видеоигр умеет думать. Неожиданный вывод!
Окей. Вот я написал алгоритм, который прогоняет комменты на хабре через word2vec и помогает отвечать на вопросы уровня «найди коммент от пользователя XYZ на тему Subj». Образы есть, процесс есть, оперирование есть. Этот алгоритм (или процесс его выполнения) — интеллект?
Перестал понимать ваш тезис окончательно.
Если интеллект — это процесс, то равные процессы (то есть, дающие на одинаковых входах одинаковые выводы) автоматически эквивалентны как интеллекты, следовательно LLM — интеллект.
Угу, всё как у людей. Образ «стул» — это какое-то месиво из всех видимых человеком стульев, плюс вероятностное распределение на классификаторе стульев, плюс набор отношений уровня «на стуле можно сидеть» и «я в третьем классе узнал, что стул — это ещё и термин для кала, и тупо ржал с одноклассниками над фразой учительницы "переверните стулья в конце урока"» (тру стори).
«Может» в смысле «с близкой к единице вероятностью успеха» или в смысле «иногда удаётся, если образ не слишком сложный и голова не сильно забита, и в прошлый четверг было полнолуние»?
И, раз мы тут про стулья, я гарантирую, что не смогу достаточно точно нарисовать рисунок на спинке стула, который стоит у меня на кухне уже пять лет, и который я видел минут 20 назад, когда ходил туда мыть руки.
Не особо. Значимое число людей систематически делает логические ошибки в своих комментариях, даже если у них есть стимул их не делать, и если выборка смещена в сторону более, гм, логических людей.
А без таких формулировок получается, что и брадобреи всякие вылазят, и алгоритмы разрешения утверждений логики первого порядка не придумаешь, и вообще жизнь получается очень грустной.
Но если вы хотите говорить о чесании ЧСВ, то, опять же, моя абсолютно искренняя позиция — что среднее массовое представление о сознании как раз является таким чесанием ЧСВ и подтверждением бытия венцом эволюции (твореньем божьим, или какие там у кого верования, неважно).
Где конкретно в логическом выводе ∀x. P x ⊢ P developer7 время?
Что вы ели на завтрак 24-го января 2025-го года?
Мне chatgpt иногда пишет сервис-сообщение «память обновлена», когда решает, что что-то туда надо засунуть. Соответствующая оценивалка в chatgpt функционально эквивалентна кусочкам вашего мозга (что там — амигдала + гиппокамп?). Не вижу никакой качественной разницы.
Кстати, мыши, которые плохо забывают, также плохо обучаются новому и плохо обновляют prior'ы.
Не спорю.
Интереснее другой вопрос: а для чего он нужен?
Тогда приглашаю вас тоже ответить на мой ответ на него же.
Для начала неплохо бы определить, что такое «I», наконец, и мы тут вроде ровно этим пытаемся заниматься.
Ну либо вы очень большой вес вкладываете в «на этом уровне», и вы сторонник эмерджентности, но тогда непонятно, почему какое-нибудь там I не может эмерджентнуться и в достаточно большой LLM'ке.
Чё-т всё ещё не понял. Вон свёрточные сети оперируют образами «палка под углом π/4». Они уже AI?
Если я при решении задачи по теоркату не оперирую образами (в том же смысле, в котором мне хочется представить схему, не знаю, моей домашней локалки), то я в этот момент не интеллект? И размышления о домашней локалке требуют большего интеллекта (что бы это ни значило), чем доказательство, что правые сопряжённые сохраняют пределы?
Мой поинт в том, что в этих терминах люди — тоже, тащем, симулякр (который сам себе придумал платонический образ сознания, чтобы его потом можно было отсимулякрить по полной).
Вы по большому счёту засунули всю тяжесть определения «понимания» в другой (по-прежнему неопределённый) термин «модель мира». Что такое модель мира?
Хрен с LLM'ками, давайте что попроще для начала. Когда word2vec мапит набор токенов в векторное пространство, которое имеет смысл (потому что там μ(doctor) - (μ(king) - μ(queen)) = μ(nurse), например), то является ли это векторное представление (или процесс маппинга) моделью мира? Образами?
Контекстное окно как память? Аттеншн как механизм извлечения из этой памяти? Да ну, этого всего нет, это я тут на ходу выдумал.
Implying большинство людей в неё способно.
Не понял. Почему? Я могу вам привести этак минимум четыре разных формулировки логики, и ни в одной из них нет вообще ничего про время.
Каков размер активной памяти у человека, и как хорошо человек поддерживает контекст?
Знаете, что такое (шутливое) n-category number? Это характеристика математика — такое максимальное n, что математик может думать об n-категориях полчаса без головной боли. Как думаете, к каким ограничениям человека оно отсылает? Какое n у нетренированного человека (судя по хабру и нелюбви людей к теоркату даже здесь — около нуля), и сколько занимают тренировки?
Чем «картина мира» принципиально отличается от набора весов в графовой модели этого мира?
Утверждаю, что (с некоторыми несущественными здесь упрощениями) человеческая картина мира — это просто набор условных вероятностей, а упомянутое вами размышление — вывод наиболее вероятного факта вместе с обновлением весов этих условных вероятностей согласно наблюдаемым данным.
О, «понимание». Интересный концепт!
Например, почему вы считаете, что вы что-то понимаете? Или что я что-то понимаю. Или кто-то ещё на ваш выбор.