Comments 24
Спасибо, только недавно, изучая ответы нескольких LLM на вопрос "напиши эссе о роли Кржижановского в энергетике" (для большинства LLM это сложный вопрос - масса галлюцинаций) задумался - она формулирует на английском и только потом переводит на русский или сразу пытается построить фразы на русском?
Теперь становится примерно понятно, как это происходит...
Интересно, а что было бы на средних слоях, если бы модель учили на всех языках в равных долях?
Языковые модели ни на каком языке не думают, они вообще не думают. Называть мышлением построение условной вероятности для следующего токена это как называть рнн-ку искусственным интеллектом.
А, погодите, так ведь и делают.
А где гарантия, что человеческое мышление не является похожим нанизыванием токенов на нить разворачивающейся мысли?
Этот вопрос, думаю, станет философским вопросом десятилетия: человек, произнося фразу или обдумывая мысль, не отбирает ли наиболее вероятные токены в ответ на входные токены?
А если человеческое мышление и самосознание - пусть очень большая и сложная, но все же - языковая модель? Иначе мы должны ввести некое ключевое "качество" человеческого мышления и создания, которого у LLM в принципе быть не может - и это не особое устройство "мокрой сети" (любое устройство сети и алгоритмы можно повторить и в "сухой сети"), это... душа?..
Хм, пожертвовать атеизмом ради доказательства того, что LLM никогда к человеку не приблизятся?
Для этого совершенно не нужно жертвовать атеизмом, достаточно посмотреть как работает трансформер и понять что из-за фиксированного размера эмбеддинга LLM может "анализировать слово" с позиции фиксированного и ограниченного количества концептов, что разумеется совершенно не дотягивает до естественного интеллекта.
Мне кажется, что у людей тоже размер эмбеддинга ограничен, хоть и не так. Но вот что есть у людей, чего нет у нынешних нейросетое - рефлексия.
С людьми коренное отличие в том что эмбеддинг не фиксирован и подбирается под задачу для каждой смысловой единицы в процессе мышления. Причем человеку можно в самих данных определить новые концепты, мы вполне решаем задачи про сепулирующие сепулькарии если их смысл объяснён.
Среди мумбряков есть серые мумбряки. Также среди них есть белые мумбряки. Серые мумбряки ташерят бузду, а белые никогда.
Мумбряки ташерят бузду. Какой вывод из этого можно сделать?
Из этих утверждений можно сделать следующий вывод: если мумбряки ташерят бузду, и известно, что серые мумбряки ташерят бузду, а белые никогда, значит, мумбряки, которые ташерят бузду, являются серыми. Следовательно, все мумбряки, которые ташерят бузду, принадлежат к группе серых мумбряков.
Что забавно, модель свалилась в ту же логическую ловушку, что и валятся люди, не привыкшие анализировать подобные задачи.
Но каково?!! Модель справилась не хуже среднего человека с незнакомыми словами. Нет, это не просто подстановка следующих слов.
Это именно что подстановка следующих слов)
Ваша задача множество раз встречалась в обучающей выборке среди каких-то задач для дошкольников, с точностью до замены оригинальных слов на мумбряков ташерящих бузду. В данном случае модель построила вывод по "скелету" вокруг этих слов, и это совершенно не признак понимания.
Серьезно, потратьте неделю на то чтобы понять как работает трансформер и как обучается GPT, это очень интересно (но и очень разочаровывающие в контексте способностей LLM).
ChatGPT4o не справился и с 10 попыток, даже после моей подсказки о том, что единственный вывод, который можно сделать вообще не относится к серым мумбрякам...
из-за фиксированного размера эмбеддинга LLM может "анализировать слово" с позиции фиксированного и ограниченного количества концептов, что разумеется совершенно не дотягивает до естественного интеллекта.
Есть такая вещь, как Natural semantic metalanguage и конкретно концепция Semantic primes, которая показывают, что количество концептов в естественном языке, через которые можно определить все другие не просто ограничено, а составляет всего лишь несколько десятков штук.
Возьмите словарь, например, английского языка и вы увидите, как одни слова определяются через другие. Но существует ли минимальный набор слов и концепций, через которые можно определить все другие и которые сами являются неопределяемыми? Semantic primes как раз дает ответ на этот вопрос. Можно взять всего 65 базовых слов и определить через них почти все другие. Концепция эмбеддинга в LLM еще более гибкая - берется несколько сотен или даже тысяч измерений, через которые определяется смысл каждого слова.
Скорее в итоге окажется, что человеческое мышление включает что-то LLM-подобное, но не ограничивается им. Хотя бы потому, что может обрабатывать информацию, не закодированную словами. Я бы предположил, что к человеческому мышлению с разных сторон приближаются системы генерации/описания изображений, языковые модели и игровые системы типа AlphaGo.
Кстати, вспомнил ещё одну штуку.
Лет 20 назад мы с друзьями забавлялись тем, что весь вечер говорили верлибром. Это не так сложно, если приноровиться.
Но вот тогда я чувствовал, как следующее слово вытекает из предыдущего,подчиняясь ритму. И что-то подобное я вижу в LLM.
И не удержался, от того, чтобы попросить чатжпт сгенерить.
Ну нет, это совсем не верлибр, но это прекрасно, как по мне.:
You said:
Напиши верлибром о хабре.
ChatGPT said:
На холме высоком, среди степей пустынных,
лежит старый город,
где камни говорят о времени,
а улицы шепчут истории.
Там рождаются мысли,
как птицы в небе,
летят над домами,
проникая в сердца прохожих.
Хабр — это слово на языке ветра,
это мост между мирами,
где идеи встречаются,
переплетаются,
и уходят, оставляя следы.
Нет границ у стен его,
нет замков на дверях,
только тишина ночная
и свет далекой звезды,
которая ведет путников
к новым горизонтам.
Здесь каждый найдет свое место,
каждый услышит свой зов,
ведь хабр — это не просто город,
это мысль, это жизнь,
это дорога,
ведущая в бесконечность.
Чижик-пыжик, где ты ... фуникулёр.
у меня что-то с весами.
Вы чрезвычайно упрощаете принимая признаки мышления за его суть.
Из-за того что существует течение времени любое мышление хочется представить в виде линейного процесса из-за того что его результаты нередко появляются в виде последовательности слов, но таким образом слишком легко поддаться соблазну объявить всё мышление конечным автоматом, просто с невероятно большим вектором состояния.
Человеческое мышление оперирует не просто тем какое слово вероятнее всего лучше продолжает мысль, оно совершенно точно имеет в своей основе модель мира, причем не фиксированную при обучении а обновляющуюся в рантайме (у LLM вообще никакой модели мира нет), причем модель мира не только физического но и логического, из-за чего способно применять абстракции (LLM в абстракции вообще не может).
Но ведь были же исследования, которые показывали, что у LLM и правда есть своя модель мира.
Я тоже задавал глупые вопросы, типа, "что будет, если карандаш поставить на помидор" - и она отвечала, что "карандаш упадёт, если это не идеальный мир". С дальнейшим объяснением разницы между идеальным миром и реальным.
А в идеальном мире карандаш не упадёт? Или в идеальном мире по дефолту помидор имеет идеальную сферическую форму, а карандаш - идеальную цилиндрическую, и, также по дефолту, карандаши всегда ставятся на сферы так, чтобы их продольные оси совпадали с направлением вектора гравитации и при этом эти оси (или их продолжения, как будет угодно) проходили через центр сферо-помидоров? Многовато допущений, особенно, если учесть, что в исходном вопросе про идеальный мир ничего спрошено не было (да и вообще про мир). Есть устойчивое ощущение, что в ответ "вероятностно" затесался связанный осколок информации из обучающего датасета и чат "вероятностно" подлил воды. И у кого-то другого в ответе могло бы и не быть ничего про идеальные условия.
Да, и ещё. Вероятностный ответ сильно отличается от конечного автомата.
Гарантии нет. Есть даже теория предиктивного кодирования (Predictive coding), которая примерно это же и утверждает.
Не может быть это связано с тем, что при обучении обратное распространение ошибки просто не добивает до первых слоёв, из-за чего там творится хаос внутренней абстракции, а на более верхние слои оно как раз добивает? А из-за того, что англотексов просто больше, чем китайских, то английские термины глубже опускается к другим слоям, чем китайские?
Насчёт различия качества английских и не английских ответов, слышал такую идею: сначала генерировать предварительный ответ на английском, потом отправить этот ответ обратно той же модели с просьбой перевести на целевой язык. По идее в этом случае модель действительно будет "думать" на английском, что в теории должно увеличить качество выдачи. Но вроде так никто и не реализовал.
На каком языке думают языковые модели