Хабр Курсы для менеджеров
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Менеджмент доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 6
Непонятно по статье. Несет ли для нейросети смысл само имя тега? Или просто нужен факт открытия и закрытия?
На рисунке "вложенные якоря" - имена тегов сокращенные и произвольные. А в таблице "Три паттерна" - вполне конкретные и осмысленные.
Вопрос в следующем? Можно ли обернуть смысловые конструкции просто в теги t1, t2, tn или все-таки role, data ... и т.д. несет смысл для нейросети?
"Можно, но зачем?" :) модель сама найдет смысл, если он не очевиден из названия тегов. В целом имена могут быть любыми и возможно т1,т2,т3 даже лучше для каких-то данных абстрактных где важно показать вложенность в отрыве от семантики (например, когда вы заранее не знаете суть блока). Работает принцип - помогает ли такая нотация модели или создает неопределенность, на которую нужно будет тратить ценное внимание.
После того как стало ясно, что маркетинг Claude Mythos оказался, как и ожидалось, мошенничеством, я захотел составить основной список трюков, используемых для продвижения LLM.
В основной список входят утверждения непосредственно от руководства компаний или из «органического маркетинга» людей в соцсетях, а также объяснение того, как работает обман. Это моя первая попытка, так что список, скорее всего, неполный.
Основной список мошеннических маркетинговых приемов LLM v1:
«Ещё две недели» — модели скоро станут достаточно хорошими, чтобы делать то, что мы заявляем.
«Они уже достаточно хороши» — модели уже достаточно хороши, чтобы заменить работников, но этого ещё не произошло из-за причин x, y, z.
«Мы только что создали Бога в подсобке, и нет, вы его не увидите» — модели, которые они разработали в частном порядке, на самом деле способны делать то, чего мы ждали, но они пока не могут показать их по причинам x, y, z.
«На самом деле они уже заменили рабочие места» — увольнения, которые проводят технологические компании, ссылаясь на ИИ как причину, якобы уже компенсированы текущими LLM, игнорируя рыночные условия и прошлые данные об увольнениях в таких условиях.
«Ты просто не умеешь пользоваться ими так, как я» — модели достаточно хороши, но для получения этих результатов требуется эзотерический prompt engineering, и нет, я не буду тебя этому учить.
«Я сделал приложение, зарабатывающее большие деньги с LLM» — утверждают, что уже создали стартапы, почти всегда SaaS, которые приносят им кучу денег, но когда просишь показать, они этого не делают.
«Ты используешь не ту модель» — утверждения, что ты используешь неправильную модель и должен использовать Open Claude 420b-parameter Gemini Plus Pro 6.9 с включённым агентским режимом 4RealThisTime HomerSimpson. Обратите внимание, что это будет использоваться для атаки на любые исследования эффективности LLM, поскольку исследования требуют времени на проведение и публикацию, а новые модели выходят чаще, чем возможно завершить и опубликовать исследование.
«Ты отстаёшь» — утверждения, что тебе нужно использовать ботов уже сейчас, хотя они ещё недостаточно хороши для полной автоматизации работы, потому что иначе, когда боты станут достаточно хороши, ты потеряешь свои естественные навыки языка, необходимые для эффективных промптов.
«Все эти компании используют LLM, так ты думаешь, что знаешь лучше них?» — ссылка на утверждения крупных компаний, сильно инвестировавших в LLM, как на доказательство успеха, без видимых результатов в скорости и/или качестве их продукции.
«Оценка в бенчмарках выросла» — утверждение об улучшении результатов тестов для их новой модели, несмотря на то, что обучение специально настраивалось под улучшение этих тестов, и затем смешивание лучшего результата в бенчмарках с реальной способностью автоматизировать работу или значительно повысить продуктивность сотрудников.
«Теперь она может считать буквы в Strawberry / теперь умеет делать то, чего раньше не могла» — заявления о том, что модель теперь может считать буквы в Strawberry или объяснять, как пользоваться чашкой без дна и т. п., часто используются для демонстрации улучшенного «мышления», но нередко это просто жёстко прописанный ответ.
«Она вышла из-под нашего контроля» — утверждения, что они не могут контролировать LLM, намекающие на её сознательность или «живость», тогда как на деле она просто сгенерировала слова, которые не должна была, или агент использовал приложение не так, как предполагал запрос пользователя при предсказании следующего токена.
«Она чувствует грусть/страх/радость/злость, значит она сознательная» — у LLM спрашивают, что она чувствует, и она предсказывает ответ, включающий человеческую эмоцию, поскольку обучалась на человеческих диалогах.
«Затраты снижаются / сервис LLM прибыльный» — игнорируются затраты на обучение и капитальные расходы на оборудование, обычно речь идёт только о прибыльности инференса, что во многих случаях даже не соответствует действительности. Обучение и капитальные расходы составляют более 95% всех затрат на обслуживание моделей.
Сингулярность AGI (почти всегда сочетается со стилем «ещё две недели», но, вероятно, стоит выделить отдельно).
«LLM только что впервые в истории человечества решила X» — утверждают, что LLM решила нечто очень сложное, что ни один человек ранее не смог, но при более внимательном рассмотрении это всегда оказывается каким-то обманом. Важно помнить, что LLM — это боты копирования-вставки. Они могут переплетать скопированное и используют предопределённые структуры предложений для формирования ответа, что теоретически может привести к появлению корректного нового утверждения, но, насколько мне известно, этого ещё не происходило. Та одна математическая задача обсуждалась, но твит с объявлением результата содержал около 7 уточняющих прилагательных и скобочных пояснений, а сам ответ на самом деле уже существовал в обучающем наборе, лол.
Я что-то упустил?
Этт работает с Claude, и не работает с DeepSeek например. Для клода, да, xml решает сильно. Это старо как мир… НО! У каждой модели свое нюансы! Если везде трансформер, это не значит что один и тот же промпт сработает хорошо везде. Еще важно понимать что при повторном запросе, модель ответии по другому. И этл нормально. Откуда я знаю? Да я собу сожрал на этом… Я даже состою в щакрвтом сообществе исследователей LLM, там и сами разрабы есть. Поэтому и знаю. 😁 Вас приглосят, если вы полезны. Меня позвали сами. Мой вам совет, изучайте как общие сценарии поведения ИИ. То есть не xml, а последовательность важности. Первая важное, второе сам вопрос, третье уточнение. Нельзя писать в конце еще вопросы, модель даст часто фокус на них… То нсть идёт:
роль (не всегда нужна! Может вредитт в определенных запросах.)
важное уточнение
вопрос ваш
как модели вам ответить В таком порядке надо все делать. Дальше от модели к моделе… Где-то надо xml, где-то он вреден сильно. Где-то надо “задай уточняющие вопросы”, где-то нет. Не все зависит от фокуса! От его зависит если вы в “выкууме” тестируете. А так часто поверх лежит еще много всего… Те де ограничители, скилы, распределение… Иногда достаточно написать - “используем python”, а не “ты сенор на Python…”, иногда писать “сеньор” плохо, в Qwen вроде оно вредит. В Mistral надо писать еще и “с опытом 10 лет…” без “сенор”. То есть это крайне индивидуально от модели к моделе… Просто спросите у самой модели, она вам скажет как лучше. Только нормально спросите. 😁 Если спросите -" как мне тебе писать промпты?“, она ответит в общем виде. Надо четко -” как писать промпты на рему такую то, для модели Mistral такой-то, какие особенности промптинга в ней есть"… Это я кратко. И она четко все вам расскажет и про фокус и осиальное. 😁
Спасибо за практическое дополнение. Порядок «роль -> уточнение -> вопрос -> формат ответа» - полезная рекомендация, согласуется с тем что статья описывает про фокус внимания.
Вы правы что XML хорошо работает с Claude, но не универсален. Статья намеренно фокусировалась на одном подходе, чтобы показать принцип. Принцип «помоги модели найти фокус» - универсален, а конкретная нотация - нет.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как показать модели пальцем, что важно