Comments 9
"Удивительно, что кто-то считает, будто недавние успехи статистических языковых моделей имеют хоть какое-то отношение к интеллекту или даже к лингвистике"
- Ноам Хомски
Надо было добавить цитату в текст.... О, черт, частично ее же и добавили:)
"Удивительно, что кто-то считает, будто недавние успехи статистических языковых моделей имеют хоть какое-то отношение к интеллекту или даже к лингвистике"
- Ноам Хомски
Многие считают, что в 95 лет классик не до конца понимает что из себя представляют современные большие языковые модели, не отслеживает актуальные научные работы. Считают, что он судит о LLM по старым n-gram-моделям и не понимает явления обобщающей способности больших языковых моделей.
Существует также понятие эмерджентных свойств сложных систем, наличие у сложных систем свойств, не присущих её компонентам по отдельности. Часто говорят, что примером эмерджентных свойств как раз и является сознание.
Явно не верны его тезисы об отстутсвии вклада открытий в сфере LLM в лингвистику.
Некоторые считают, что, возможно, в такой сознательно провокативной манере он пытается привлечь большее внимание к необходимости работ на стыке глубокого обучения и (психо)лингвистики. (Он известен своей провокативной позицией по многим общественно-политическим вопросам.)
Он не отрицает масштаб LLM, а отрицает подмену - выдавать статистическую экстраполяцию за понимание. Наличие эмерджентных свойств у сложной системы не доказательство её разума. Сознание - это результат определённой организации: модели мира, рефлексии, способности к осознанному выбору, у LLM этого нет.
Его теории о "глубинной грамматике", ограничениях восприятия, связи языка и мышления - остаются вне поля LLM. А если кто-то считает, что масштабирование трансформеров объясняет природу смысла, ему стоит начать с вопроса: почему ребёнок, услышав фразу впервые, понимает её, а GPT-5, обученный на "триллионах" примеров, до сих пор не проходит тест на "теорию разума"?
Интересно, как человек, положивший основу NLP, оказался его главным критиком
"Ряд экспериментов над обучением животных языку жестов был призван опровергнуть Хомского. Но среди них не оказалось таких, в которых животное научилось бы самостоятельно составлять именно уникальные высказывания"
И Франц же Валь, Зоя Зорина и ко. этологов (+ компакт весёлых ребят ккоим можно отнести и Бурлак с других лингвистов) такие ну да ну да пошли мы нах...:)
Типо есть куча материала где гоминиды шутят, подклалывают персонал и др. Но зачем их читать, тут же сказано их нет, значит нет:)
куча материала где гоминиды шутят, подкалывают персонал
В другой интерпретации гоминиды просто несут какую-то ересь, а персонал делает вид что, это шутка такая. Очеловечивание - страшная сила, некоторые вообще с резиновой уточкой советоваться способны.
Есть куча материалов, где экспериментатор утверждает, что гоминиды шутят.
Но довольно сложно найти материал, где гоминиды без суфлёра экспериментатора демонстрируют те же способности.
Ноам Хомский: его вклад в IT и ИИ