Ключевая ошибка в ожиданиях неискушённых пользователей от LLM состоит в непонимании того, как именно получается ответ.
LLM по своей природе последовательно строит продолжение исходного контекста, на каждом шаге выбирая один из вероятных следующих вариантов. Но между постановкой сколько-нибудь сложной задачи, особенно инженерной или инфраструктурной, и её правильным решением лежит огромное пространство возможных промежуточных решений и решений на каждом следующем шаге.
Правильный ответ требует пройти через это пространство по вполне определённой последовательности переходов. При этом число возможных ветвлений быстро становится комбинаторно огромным.
LLM не выполняет непрерывный вывод от исходной постановки задачи к конечному решению, при котором правильность всей траектории каким-либо образом гарантирована. Тут как раз уместно вспомнить метафору про обезьян и их шансы набрать «Войну и мир»: речь, конечно, не о случайности генерации LLM, а о том, что длинная правильная последовательность должна пережить огромное число возможных ответвлений.
LLM по самой сути своего устройства последовательно выбирает правдоподобный следующий шаг из текущей точки. Поэтому чем длиннее и сложнее цепочка необходимых решений, тем больше вероятность, что на каком-то этапе модель выберет вполне правдоподобную, но не ту ветвь. Потом ещё. И ещё.
Поскольку дальнейший вывод уже строится от ошибочно выбранного промежуточного состояния, он может оставаться внутренне связным с предыдущими шагами и оттого убедительным, одновременно всё дальше отдаляясь от правильного решения. Построить верную траекторию от исходной постановки до конечного результата — задача сама по себе нетривиальная, а LLM-способ её решения принципиально не обеспечивает правильность этой траектории. Лучше всего он работает там, где пространство решений достаточно узко, задача близка к уже известному классу, а правильное решение хорошо представлено существующими шаблонами.
Именно поэтому высокая способность LLM генерировать правдоподобные отдельные шаги сама по себе не означает высокой вероятности получить правильное решение сложной задачи целиком.
