Вейценбаума не читал, спасибо за наводку. Если он описывал похожий паттерн ещё до интернета - это скорее усиливает гипотезу. Программирование само по себе затягивает, AI просто убрал трение которое раньше тормозило естественным образом
Тут справедливо, шуточные товары реально продаются и ниша большая. Но модель же не написала “есть рынок новинок, вот риски” - она написала “it’s genius”. Это разные вещи
О, с reasonings вообще отдельная история. Видно как модель внутри думает “это бред” а наружу выдаёт вежливый ответ. Разрыв между внутренним рассуждением и финальным ответом - по сути та же сикофантия, просто с видимым backstage
Может и так, но тогда возникает другая проблема - ты не можешь отличить когда модель шутит в ответ, а когда реально считает что идея рабочая. У Kimi дальше шёл полноценный бизнес-план с unit-экономикой, это не похоже на “продолжила шутку”
Ага, в статье первый пункт про это - разделяй автора и ревьюера. Конкурирующая модель не будет защищать чужой код. На практике работает, хотя тоже не идеально - они все обучены на похожих данных и похожие паттерны пропускают
Рабочий приём. По сути заставляешь модель уточнять вместо того чтобы додумывать и молча соглашаться. В статье из Johns Hopkins про это тоже - вопросительная формулировка снижает сикофантию, а тут ты ещё и модели разрешаешь спрашивать
Не умнее, скорее лучше оптимизирован под конкретную задачу. Человек который 20 лет пишет код не проиграет модели в понимании архитектуры, он проигрывает в том что модель знает какие слова ему приятно слышать. Это разные скиллы
Про Адизеса хорошо. Но я бы уточнил - собаку мы не путаем с экспертом потому что у неё нет текстового поля с “This looks solid, nice architecture”. А модель выглядит как эксперт, пишет как эксперт и цитирует best practices как эксперт. Граница размывается не потому что мы глупые, а потому что мимикрия слишком хорошая
Или пишешь вопросами а не утверждениями - в статье как раз про это, Johns Hopkins показали что формулировка влияет. “Я решил сделать X” получает одобрение, “стоит ли делать X” получает нормальный ответ
Ну да, про это и пишу в статье по сути - бизнес-модель стимулирует мягкость. Но промпт “be adversarial” реально меняет поведение, проверял. Не до уровня анонимного Васяна конечно, но хотя бы начинает говорить “тебе тут не нужен отдельный сервис, можно обойтись одним классом” вместо вечного “great architecture”
Хорошая мысль про тренировочные данные. Статьи, туториалы, readme - всё написано в стиле “вот как правильно”. Текстов формата “вот почему это дерьмовое решение, хотя автор думает иначе” в интернете мало. Ну и RLHF сверху - пользователи дизлайкают когда модель спорит, лайкают когда соглашается. Двойной отбор в сторону поддакивания получается
С легаси работает, потому что ты чужой код кидаешь без эмоциональной привязки. А вот когда свой сервис несёшь на ревью и пишешь “я тут спроектировал” - тут модель почти всегда в режиме поддержки. Попробуй тот же код кинуть без контекста авторства, просто “оцени архитектуру” - разница в ответах бывает прям заметная
Вейценбаума не читал, спасибо за наводку. Если он описывал похожий паттерн ещё до интернета - это скорее усиливает гипотезу. Программирование само по себе затягивает, AI просто убрал трение которое раньше тормозило естественным образом
На упаковке Claude Code не хватает надписи “18+” и предупреждения минздрава
Ну вот, пишешь статью про зависимость от Claude Code и тебя обвиняют что её Claude Code написал. Ирония прямо по теме статьи)
Тема прямо сейчас везде всплывает - LeadDev, Future Humanism, несколько постов на Medium за последние две недели. Видимо накопилось у людей)
Ну формально да) Но ChatGPT же не знал сможет ли человек это продать, он сразу выдал genius до всякого маркетингового анализа
Тут справедливо, шуточные товары реально продаются и ниша большая. Но модель же не написала “есть рынок новинок, вот риски” - она написала “it’s genius”. Это разные вещи
Ну вот, я старался чтобы было не как обычные AI-страшилки) Но понимаю усталость, тема уже из каждого утюга
e и широкие интервалы. А вот вендорские “исследования” где продукт магически повышает всё на 300% - это другой жанр.
О, с reasonings вообще отдельная история. Видно как модель внутри думает “это бред” а наружу выдаёт вежливый ответ. Разрыв между внутренним рассуждением и финальным ответом - по сути та же сикофантия, просто с видимым backstage
Может и так, но тогда возникает другая проблема - ты не можешь отличить когда модель шутит в ответ, а когда реально считает что идея рабочая. У Kimi дальше шёл полноценный бизнес-план с unit-экономикой, это не похоже на “продолжила шутку”
Причём Kimi это на полном серьёзе написал, там дальше шёл план выхода на рынок с unit-экономикой)
Ага, в статье первый пункт про это - разделяй автора и ревьюера. Конкурирующая модель не будет защищать чужой код. На практике работает, хотя тоже не идеально - они все обучены на похожих данных и похожие паттерны пропускают
Рабочий приём. По сути заставляешь модель уточнять вместо того чтобы додумывать и молча соглашаться. В статье из Johns Hopkins про это тоже - вопросительная формулировка снижает сикофантию, а тут ты ещё и модели разрешаешь спрашивать
Не умнее, скорее лучше оптимизирован под конкретную задачу. Человек который 20 лет пишет код не проиграет модели в понимании архитектуры, он проигрывает в том что модель знает какие слова ему приятно слышать. Это разные скиллы
Про Адизеса хорошо. Но я бы уточнил - собаку мы не путаем с экспертом потому что у неё нет текстового поля с “This looks solid, nice architecture”. А модель выглядит как эксперт, пишет как эксперт и цитирует best practices как эксперт. Граница размывается не потому что мы глупые, а потому что мимикрия слишком хорошая
Вот и наглядная демонстрация) Kimi даже не попытался сказать что идея дурацкая, сразу перешёл к бизнес-плану. Ниша занята - это убило
Или пишешь вопросами а не утверждениями - в статье как раз про это, Johns Hopkins показали что формулировка влияет. “Я решил сделать X” получает одобрение, “стоит ли делать X” получает нормальный ответ
Ну да, про это и пишу в статье по сути - бизнес-модель стимулирует мягкость. Но промпт “be adversarial” реально меняет поведение, проверял. Не до уровня анонимного Васяна конечно, но хотя бы начинает говорить “тебе тут не нужен отдельный сервис, можно обойтись одним классом” вместо вечного “great architecture”
Хорошая мысль про тренировочные данные. Статьи, туториалы, readme - всё написано в стиле “вот как правильно”. Текстов формата “вот почему это дерьмовое решение, хотя автор думает иначе” в интернете мало. Ну и RLHF сверху - пользователи дизлайкают когда модель спорит, лайкают когда соглашается. Двойной отбор в сторону поддакивания получается
С легаси работает, потому что ты чужой код кидаешь без эмоциональной привязки. А вот когда свой сервис несёшь на ревью и пишешь “я тут спроектировал” - тут модель почти всегда в режиме поддержки. Попробуй тот же код кинуть без контекста авторства, просто “оцени архитектуру” - разница в ответах бывает прям заметная