Самый частый вопрос к тезису о том, что языковые модели не думают - чисто практический.
В предыдущей публикации я выдвинул тезис, который многих заставил почувствовать себя неуютно: большие языковые модели не мыслят. Они не рассуждают так, как это делает человек. Они лишь предсказывают следующий токен.
Самым частым возражением было не философское, а практическое:
«Если это правда, то как ИИ удается заниматься арифметикой?»
Сложение, вычитание, умножение - эти процессы кажутся точными, механическими и основанными на строгих правилах. Они выглядят полной противоположностью «размытому» предсказанию языка. Поэтому естественно предположить, что где-то внутри модели спрятан калькулятор или нечто очень на него похожее.
Но его там нет. Однако происходит кое-что весьма любопытное.