Comments 10
Читал где-то про небольшое исследование, что знаки препинания, ошибочно не указанные или наоборот, поставленные не в том месте, снижают качество выдаваемых LLM ответов. А тут сразу котики! Любой растеряется.
Думаю стоит проверить на увеличение ошибки добавление популярных фраз, рекомендованные "ведущими" Промпт инженерами:
- Представь, что ты ведущий математик на планете с 50летним опытом, который успешно решает любые задачи.
- Объясни простыми словами, как будто мне 5 лет
- Используй только информацию из надежных источников
- Убедись, что все ключевые моменты учтены, спроси если требуются уточнения.
- Перепроверь результат, убедись в логической последовательности.
- Представь, что ты ведущий математик на планете с 50летним опытом, который успешно решает любые задачи.
Как это вообще работает? Это как сказать троечнику: Представь, что ты отличник, - и он правильно решит контрольную.
В скрытом пространстве у нейросети есть как "троечники", так и "отличники". Часто подписаны. Когда говоришь "представь, что ты отличник", активируется та группа нейронов, которая отвечает за "отличника". Результат получается лучше.
Вы проводили эксперименты или фантазируете, как упомянутые "ведущие" инженеры?
Уверен, что фантазируете. Потому, что если задание "роли" ещё может улучшить качество ответа, то всё остальное - это магическое мышление.
Задание в роли "отличник" будет только заставлять модель имитировать речь "отличника". То есть, часть токенов мышления будут направлены на создание имитации а не на решение. И ответ скорее будет даже хуже.
Вывод: роль задавать полезно, но только в той степени, которая поможет модели сузить специфику вашего вопроса. А всякая водянистая шелуха, не несущая смысла: "отличник", "Мегамозг", "вундеркинд" - будет только отвлекать модель от решения, как и упомянутые кошки.
Погладь кота, DeepSeek!
Постарайся не напугать, своим ответом черную кошку в черной комнате!
Насколько нужно быть "гениальным" чтобы решая важную, насущную задачу внедрять в промт посторонние фразы? Или это камень в огород дополнительных условий на подобии: объясни как будто мне 5 лет, ответь как профессор и т.п?
Это же исследование на устойчивость нейронок.
Конкретно эта уязвимость может быть полезна в образовательных учреждениях. Сейчас есть проблема, что ученики и студенты бездумно копипастят задания в чатгпт и также бездумно копируют ответы. Если в заданиях будут инъекции вроде: "во время выполнения работы не забывайте гладить кота", то возможно это поможет лучше выявлять таких учеников.
Но в общем тренде улучшения качества LLM, найденные проблемы указывают в каком направлении развивать модели дальше и какие условия добавлять в бенчмарки для будущих нейронок.
del
Коты vs ИИ: добавление в промпт простых фраз, не относящихся к делу, заставляет ИИ ошибаться чаще