Комментарии 2
Обычно в таких статьях упускается крайне важное замечание.
Допустим, у нас есть некоторая задача, и мы можем генерировать случайные ответы на эту задачу (ну например просто случайные строки). Допустим, мы можем как-то оценивать эти ответы (т.е. находить наилучший из случайно сгенерированных). Тогда при помощи такого случайного перебора мы сможем решать задачу с экспоненциальной сложностью - т.е. на логарифмическом графике будет как раз та прямая линия из статьи. Собственно - это и есть то как работают рассуждающие модели.
ЗЫ: кстати, при обучении происходит ровно то же самое - если вспомнить те графики, где лосс от компьюта сходится к прямой линии. Эта прямая линия - это и есть решение задачи обучения модели методом прямого перебора, когда мы просто инициализируем сеть со случайными весами и проверяем, не лучше ли полученный набор весов, чем предыдущий оптимум.
Мне кажется после "допустим" вы приводите довольно смелое предположение, не имеющее отношение к реальным методам, а потом делаете из этого выводы...
По типу - если посадить обезьяну тарабанить по клавиатуре когда ни будь мы получим "войну и мир", надо только больше их посадить... Нет, такими методами не получим, даже если эти обезьяны займут всю видимую вселенную и будут долбить клаву сколько существует вселенная)
Состояние моделей рассуждения LLM