Комментарии 7
Закреплённые комментарии
Задам пожалуй свой любимый вопрос. А человек то ты не так что ли работает?
есть заметная разница. По кр. мере в случае не с абстрактным «человеком», а достаточно умным специалистом — профессиональная натренированность и интеллект которого, позволяет ему не только лучше оценивать отдельные решения, но и гораздо эффективнее строить саму траекторию поиска: заранее придавать разный вес разным деталям и «моментам», отсекать незначимые ветви и концентрироваться на тех участках пространства решений, где действительно может находиться правильный ответ. У LLM общего назначения такая предметно-специфическая система приоритетов существенно слабее, если вообще имеется, ну и уж точно менее устойчива — поэтому-то её гораздо чаще и сносит на правдоподобные, но малополезные или вообще неверные направления.
И есть ещё одно важное отличие специалиста от LLM: человек в норме понимает границы собственной компетентности. Он знает не только что он знает, но хотя бы приблизительно и где заканчивается область, в которой его оценки вообще чего-то стоят.
Достаточно разумный специалист не полезет уверенно строить сложное решение в области, в которой сам плохо разбирается. А если полезет — с хорошей речью, уверенностью и способностью убедительно имитировать понимание — то мы прекрасно знаем, чем это обычно заканчивается.
— А вот-то тут уже разница с LLM почти исчезает. 🤗 LLM как раз чрезвычайно хороша в том, чтобы продолжать рассуждение с одинаково убедительным видом независимо от того, находится ли она в области, где её знания и выученные шаблоны действительно дают хорошую опору, или уже давно вышла за её пределы. Она может выражать неуверенность, но устойчивого внутреннего механизма вида «здесь я специалист, а здесь уже нет» у неё нет.
То есть проблема не только в том, что LLM хуже выбирает траекторию решения. Она ещё и гораздо хуже понимает, когда вообще не должна эту траекторию уверенно строить.
Задам пожалуй свой любимый вопрос. А человек то ты не так что ли работает?
Тоже подумать - выписать важное - подумать дальше. Так как голова - не резиновая, целиком траектория в нее не влезет так же, как и в ЛЛМ.
Задам пожалуй свой любимый вопрос. А человек то ты не так что ли работает?
есть заметная разница. По кр. мере в случае не с абстрактным «человеком», а достаточно умным специалистом — профессиональная натренированность и интеллект которого, позволяет ему не только лучше оценивать отдельные решения, но и гораздо эффективнее строить саму траекторию поиска: заранее придавать разный вес разным деталям и «моментам», отсекать незначимые ветви и концентрироваться на тех участках пространства решений, где действительно может находиться правильный ответ. У LLM общего назначения такая предметно-специфическая система приоритетов существенно слабее, если вообще имеется, ну и уж точно менее устойчива — поэтому-то её гораздо чаще и сносит на правдоподобные, но малополезные или вообще неверные направления.
И есть ещё одно важное отличие специалиста от LLM: человек в норме понимает границы собственной компетентности. Он знает не только что он знает, но хотя бы приблизительно и где заканчивается область, в которой его оценки вообще чего-то стоят.
Достаточно разумный специалист не полезет уверенно строить сложное решение в области, в которой сам плохо разбирается. А если полезет — с хорошей речью, уверенностью и способностью убедительно имитировать понимание — то мы прекрасно знаем, чем это обычно заканчивается.
— А вот-то тут уже разница с LLM почти исчезает. 🤗 LLM как раз чрезвычайно хороша в том, чтобы продолжать рассуждение с одинаково убедительным видом независимо от того, находится ли она в области, где её знания и выученные шаблоны действительно дают хорошую опору, или уже давно вышла за её пределы. Она может выражать неуверенность, но устойчивого внутреннего механизма вида «здесь я специалист, а здесь уже нет» у неё нет.
То есть проблема не только в том, что LLM хуже выбирает траекторию решения. Она ещё и гораздо хуже понимает, когда вообще не должна эту траекторию уверенно строить.
А это уже харнеса задача и внешней памяти и прописанных алгоритмов проверки и саморефлексии.
А это уже харнеса задача и внешней памяти и прописанных алгоритмов проверки и саморефлексии.
А это в теории. Но не на практике. 🤷♂️
А откуда тогда появился принцип Питера? Увы, люди часто переоценивают свои возможности, а ещё чаще выдают желаемое за действительное при выполнении задач.
И ещё, как уже упомянули другие комментаторы, вы путаете большие языковые модели и агентские циклы. И, к слову, Судя по всему, эффективными агентскими циклами люди особо не склонны делиться…
Имхо дело больше в алгоритме внимания (какие токены в какой момент считать важными), LLM на вход всегда занимается обработкой всего инпута (текста).
Если представить LLM большой формулой, а текст на вход как переменная в виде вектора, а веса коэффициентами, то получается через алгоритм внимания в векторе (массиве чисел/токенов) выбираются токены, которые будут иметь больший вес, далее входные токены идут в формулу где считаются вероятности возможных токенов.
Ну а по вероятностям можно определять на сколько модель уверена в своем ответе - так и работают многие популярные харнесы, когда начинают задавать уточняющие вопросы по задаче или писать "я запутался" (если уверенность ниже порога/threshold)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ключевая ошибка в ожиданиях неискушённых пользователей от LLM состоит в непонимании того, как именно получается ответ. ...