Comments 19
Грок не уверен, а вот дипсик хорош в темах, что широко известны, там и сложные задачи решает
А вот стоит уйти в функциональный анализ скажем, или теорию построений трансляторов в информатике, так сразу сдаёт позиции вплоть до бесполезного
Ну вопросы по семантике задавать синтаксическому механизму вообще бессмысленно по определению.
Называть механизм, вся архитектура которого построена на обучении семантическим представлениям, "синтаксическим по определению" - несколько смелое допущение. Хотя, безусловно, Джон Сёрл был бы польщён такой верностью его идеям 1980 года
Неужели без текста работать научился?
Товарищ, если вы семантикой называете однозначную функцию от синтаксиса, то вы не понимаете семантику понятия "семантика".
А Сёрл в целом писал правильные вещи, только без внимания к деталям, что неудивительно для гуманитария.
Если семантика не может эмерджировать из синтаксических операций, то нейробиологии придётся объяснить, откуда она берётся в детерминистичных нейронных сетях - биологических, разумеется. Впрочем, возможно, на достаточно высоком уровне абстракции это различие несущественно
Биологические сети на 99% (а у животных на 100%) работают не с текстом.
Тут у вас происходит подмена понятий между синтаксисом самой формальной семантики (то есть для биологической сети – синтаксисом химических сигналов) и синтаксисом языка, описывающего эту семантику.
А формальная семантика не описывает сама себя.
Есть семантическая категория "зелёный цвет". Есть формальная семантика зелёного цвета в естественной нейросети в виде какого-то химического сигнала в каком-то аксоне (мы, кстати, его не знаем, и даже не знаем, похож ли этот сигнал у разных людей, что философы называют проблемой квалиа). А есть слово "зелёный" в синтаксисе русского языка, которое вообще из другой оперы, потому что зелёный цвет может видеть и различать и животное, не владеющее языком.
Поэтому можно в каком-то смысле сказать, что семантика эмержирует из синтаксиса, только это не синтаксис привычного нам языка, а воображаемый синтаксис самой формальной семантики.
Проблема symbol grounding есть и заслуживает обсуждения - но здесь, кажется, смешиваются два разных вопроса: "имеет ли LLM квалиа?" и "оперирует ли LLM семантикой?". Первое - вопрос о сознании, ответ отрицательный. Второе - вопрос о функциональной обработке смысловых отношений, и тут всё менее однозначно.
Тезис про "только текст" уже не вполне актуален - мультимодальные архитектуры работают с изображениями и аудио. Плюс сам текстовый корпус написан людьми с сенсорным опытом, так что семантические отношения в нём закодированы, пусть и не напрямую.
Если же настаивать, что настоящая семантика требует квалиа - мы не можем верифицировать её наличие ни у кого, кроме себя. Позиция философски интересная, но к техническому описанию механизмов отношения не имеет
Если же настаивать, что настоящая семантика требует квалиа - мы не можем верифицировать её наличие ни у кого, кроме себя
Пока не можем верифицировать у людей, но не вижу, почему нас это должно смущать в техническом и тем более теоретическом отношении.
Компьютерная программа имеет квалиа в виде доступного интроспекции состояния своих переменных. Только эти квалиа весьма причудливым образом связаны с предметной областью. Когда мы используем символические методы, то напрямую связываем некоторые из этих квалиа программы с семантикой предметной области.
И от квалиа до сознания ещё как до луны.
Тезис про "только текст" уже не вполне актуален - мультимодальные архитектуры работают с изображениями и аудио.
Поэтому нейросети очень хорошо работают с текстом, изображениями и аудио. Но не с самими предметами, изображёнными на этих изображениях.
Плюс сам текстовый корпус написан людьми с сенсорным опытом, так что семантические отношения в нём закодированы, пусть и не напрямую.
В нём закодирована всего лишь некоторая проекция семантических отношений на синтаксис.
Я, например, имею некоторый опыт изучения китайского языка в реальности, а не с помощью опыта китайской комнаты Сёрла. И могу заметить, что даже на начальном уровне изучения значительную роль играют соображения такого рода: "К женщине распространённым обращением является 美女 ("красавица"), и это нейтрально-позитивно и не будет воспринято как обидная объективация; а вот, например, 小姐姐 ("сестричка", не путать с устаревшим 小姐 "мисс") допустимо только в определённой субкультуре, чаще в интернете". Вообще, правильный выбор выражений в зависимости от социального положения и внутреннего состояния – своего и собеседника – играет огромную роль в китайском языке, особенно в среде культурных людей. Естественно, что никакой китайский решебник Серла, являющися прообразом LLM, не может по самому своему принципу действия учитывать эти моменты. Он может только адаптировать текст к другому тексту.
Ладно, пора заканчивать этот фарс.
Переопределять квалиа как "состояние переменных" - прикольно, когда спорите с собственной терминологией, а не с общепринятой в философии сознания.
Китайская комната Сёрла - это описание когнитивно-символьных систем: lookup table с правилами подстановки, где ответ буквально ищется в таблице. Называть это "прообразом LLM" - просто незнание базы. LLM обучаются семантическим связям между понятиями через контекст и примеры - собственно, так же, как дети осваивают язык. Ваш же пример с китайским это иллюстрирует: вы узнали про 美女 vs 小姐姐 из текста и объяснений, не из непосредственного опыта в Китае.
Впрочем, продолжать дискуссию с человеком, который не различает архитектуры 1980 и 2017 года, и уверенно разгоняет о принципе действия обеих - терапевтическое занятие😏
Ваш же пример с китайским это иллюстрирует: вы узнали про 美女 vs 小姐姐 из текста и объяснений, не из непосредственного опыта в Китае.
Но правильное применение этих объяснений невозможно без непосредственного внеязыкового опыта оценки ситуации. В формальной семантике это называется "окружение".
Китайская комната Сёрла - это описание когнитивно-символьных систем: lookup table с правилами подстановки, где ответ буквально ищется в таблице.
Комната Сёрла – это обычная транслирующая грамматика, которую можно рассматривать как одноуровневую нейросеть лингвистической модели. Когнитивно-символьная система там рядом не валялась, так как по условию иероглифы лишены семантики.
Называть это "прообразом LLM" - просто незнание базы. LLM обучаются семантическим связям между понятиями через контекст и примеры - собственно, так же, как дети осваивают язык.
Никаким семантическим связям LLM не обучаются, они обучаются чисто синтаксическим связям между токенами. А дети обучаются языку совершенно по-другому: они учатся обозначать средствами языка свой непосредственный чувственный опыт. Могут, между прочим, запросто выдумывать новые слова родного языка, к чему LLM принципиально неспособна. Могут использовать сразу все функции языка, а не только информационную.
Впрочем, продолжать дискуссию с человеком, который не различает архитектуры 1980 и 2017 года
В 2017 году в честь столетия Октябрьской революции случилось чудо и синтаксис заменил семантику?
Китайская комната - это мысленный эксперимент 1980 года, созданный как критика символьного ИИ. Человек ищет правила в книге и применяет их механически - это буквально описание когнитивно-символьных систем. "Одноуровневая нейросеть" - ретроактивная интерпретация, которой у Сёрла не было.
Определение семантики через grounding - это философский выбор, не технический факт. Вы просто манипулируете понятиями.
Знаете, можно определять семантику так, что у LLM её не окажется по определению - и тогда спорить не о чем, это вопрос терминологии, а не фактов.
Но есть другой подход: смотреть на эмерджентные свойства систем с любопытством, а не с готовым ответом. Именно так делаются открытия - когда исследователь допускает, что в системе может происходить что-то, чего он пока не понимает.
Ваша позиция эпистемически закрыта: ответ уже известен, остальное - детали. Это надёжно, но не очень продуктивно для понимания нового
Вы сейчас оперируете термином, значения которого не понимаете. Когнитивно-символьные системы не имеют к китайской комнате никакого отношения. Весь смысл мысленного эксперимента там заключается в том, что на карточках написаны слова китайского языка, то есть синтаксические символы, не имеющие конкретного семантического наполнения. И с помощью волшебной книги, которую в оригинальной буквальной постановке вряд ли можно построить, а в расширительном толковании она как раз и представляет собой машинный код LLM с базой данных, синтаксические символы вопроса превращаются в синтаксические символы ответа без участия разума.
Если бы на карточках были написаны когнитивные символы, то и никакого парадокса и проблем в реализации бы не было, так как процесс в когнитивной комнате представлял бы собой обычный продукционный логический вывод по правилам матлогики. Но тогда разум требовался бы для разработки онтологии предметной области с этими карточками. Например, действия идеально честного избирательного комитета с выборными бюллетенями представляют собой такой эксперимент. А вот если в формировании результата участвует окружение в виде побоев членов избиркома бамбуковой палкой, то бюллетени теряют свою точную семантику, и результат уже неясен без разума, не опирающегося на напечатанный на них текст.
«Достаточно развитый синтаксис неотличим от семантики» :)
Ничего не понятно, но очень интересно. В удивительное время живём, друзья
Тесла говорил -если бы Эдисон знал математику, а не испоьзовал метод проб и ошибок, быстрее бы решал многие задачи. Нейросеть это - Эдисон.
Грок и правда хорошо справляется с подобного рода задачами, когда имеет полный объём данных. При том же объеме вводных, Клод/Дипсик и уж тем более ЧатГпт выдают не мало артефактов.
Но...как показала практика, после 20-30 смс на данную тему, Грок может начать выдумывать и фамильярничать...при том ясно доказывая свою правоту. Если ЧатГпт напишет: прости, я был не прав/ты был прав и т.д. и переанализирует проблему, то Грок отвечает в формате: Брат, всё ок, я не ошибся, прочти лучше. - и так далее...даже если ошибка настолько явная, что сложно спорить:)
Общались с тех.поддержкой, в течении пары месяцев на эту тему. Ошибка известна и даже были правки на устранение фамильярности, но после 20-30 смс, как указал выше - всё ещё может вылезти вновь:)
Где там Коняев, который говорит, что нейросети бесполезны
Математик рассказал, как Grok 4.20 за 5 минут нашёл новую функцию Беллмана