безусловно нейросети уже сейчас понимают вопросы хорошо.
но разве это отменяет заслуг риторики? Те, кто будут лучше формулировать промпты, будут эффективнее с ЛЛМ. Это точно так же и в диалоге, кто-то задалбывает собеседника глупыми вопросами, а кто-то задает четкие вопросы и сразу дает понять, какой ответ ждет.
я полностью согласен с автором. Мы пришли в эру, когда обычный естественный язык уже приводит к тому, что его "исполняет машина". Это делает навык формулирования мыслей конкурентным преимуществом, как раньше было для языков программирования.
так промпт - это любой запрос, отправленный в ЛЛМ... А системный промпт - это базовая инструкция, в рамках которой вообще обрабатываются запросы.
Или ты предполагаешь, что агенты будут полностью самостоятельны и буду действовать вообще без ведома человека? а кто же будет отвечать на все те вопросы, которые сейчас население задает в чат гпт?
я про расцвет профессии. ЛЛМ подвержены тем же когнитивным отклонениям, что и люди. Навыки профессионального психолога теперь получают огромную дополнительную плоскость применения. Для этого нужно знать хорошо психологию и желать разобраться в том, как думает ЛЛМ.
проекты, которые начнут применять психологию в формировании системных промптов с большей вероятностью смогут получить стабильные результаты. А когда психологи закрепятся в обучении ЛЛМ и работе с безопасностью ЛЛМ, вот тогда начнет их новая эра -)
ну раз уж про востребованные профессии... то я бы сказал, что профессия будущего - это психология.
Все то, с чем сейчас борется весь мир в части ЛЛМ (галлюцинации, сбои, выравнивание), психология с этим работает сотню лет уже. Думаю, что знание психологических отклонений и умение их выравнивать или их обходить - это самый полезный навык промпт-инженера. А когда появится куча +- самостоятельных ИИ-агентов, то у психологов просто прибавится пациентов.
Единственная профессия, которая с приходом ЛЛМ не только не загнется, а скорее расцветет и преобразится.
мне представилась картина, как бизнес активно юзает Джуна, пока создатели делают ему лоботомию =) на горячую ковыряются в мозгах. не ровен час и пришибет проект при одной из операций
ламповая история о домашнем бизнесе. Как по мне - это читать гораздо приятнее на хабре, чем кучу одинаковых перепостов новостей и комментарии дурова/карпати. В таких историях зарождается искреннее желание написать, порекомендовать, приобщиться.
А то, что в конце тут оказалось, что это реклама площадки, то это лишь плюс самой площадке. Самая нативная реклама, наоборот за пример стоит брать. не флудят постами, е навязывают услуги, и читать интересно.
эти три критерия выполнимы легко за два дня c LLM. А вот если к ним добавить еще один:
- достаточно устойчивая и защищенная сборка MVP, чтобы ее не ломанул первый встречный-поперечный с LLM в кармане и она не упала в ответ на первый запрос пользователя
то все становится сложнее. Сделать «какашку в обертке» с LLM легко. А сделать устойчивый и защищенный продукт - это отдельная проблема, и решается она только если за LLM смотреть в оба глаза.
идеальная новость для хабра "Дуров сказал, что Карпати сделал слишком небезопасный мессенджер. Claude Mithos нашел в нем 1000 уязвимостей за милисекунду"
очень похожа... это уже ближе к паранойе.. Когда в статью вложено много сил, она может самостоятельно дойти до "близости к ИИ", за счет структурированности мысли автора и перфекционизма.
Так что... теперь только бред сумасшедшего лайкать? который даже близко на ИИ не похож? или исключительно статьи, где мемы и графики впермешку идут и не поймешь, то ли это обзор бенчмарков, толи зарисовки школьника -)
психологи для ЛЛМ - явно недооцененное направление.
а смесь "архитектора" (мысль обширно) + "психолога" (лечить сдвиги нейросетей) + "программиста" (декмпозировать на подзадачи и строить алгоритмы) = это самая устойчивая смесь "профессии будущего"
я хотел бы жить в Южной России, а не в Северной России... =)) ну или... Я хотел бы, чтобы мы ориентировались на ценности страны, которая в топе лидеров по технологиям и уровню жизни, а не стремились побить ее собрата в топе по открытости интернете... с конца топа...
я в своей работе использую несколько специализированных промпто для контроля качества
1) Проведи глубокий аудит безопасности потоков данных: найди потенциальные утечки чувствительной информации и нарушения границ доверия (смотрит на потенциальные кражи, некачественно собранную защиту, неправильное распределение по контурам безопасности и т.п.)
2) Выполни поиск уязвимостей контроля доступа (Broken Access Control) и векторов инъекций: проверь наличие IDOR (Insecure Direct Object Reference), путей горизонтальной и вертикальной эскалации привилегий, а также строгость серверной валидации бизнес-состояния (Client-Side Enforcement bypassing). (ищет все потенциальные места для инъекций, нерешенные или упущенные блокировки перехвата управления, проверки полученных с фронт-энда запросов на соответствие текущему состоянию базы и наличия прав на запрос и на авторизацию)
3) Проанализируй end-to-end сценарии на предмет логических уязвимостей и состояний процессов: выяви тупиковые состояния (dead states), необработанные граничные случаи (edge cases) и возможные пути обхода бизнес-логики при прерывании сессии или нестандартном порядке запросов. (сквозной анализ от первого нажатия до завершения сессии с учетом дерева потенциальных действий, тут лучше иметь изначально хотя бы кратко описанный сценарий пользователя, но даже без него они отлично его представляют и проверяют на "сквозноту")
4) Проведи теоретический Chaos-инжиниринг: выяви точки отказа (SPOF), проверь наличие и корректность паттернов "повторные попытки выполнения", "резервные сценарии работы", "предохранители при отказах". Опиши сценарии каскадного падения системы и выяви, где отсутствие плавной / изящной деградации приведет к неработоспособности всего функционала при неработоспособности одной компоненты / сервиса (проверяет модули на устойчивость при незапланированных ситуациях, проверит что произойдет в случае отключения каждой из компоненты)
5) Выполни аудит производительности и потребления ресурсов: найди проблемы бесконечных запросов к базе данных, неоптимальные индексы, потенциальные утечки памяти, незакрытые соединения и места, уязвимые к атакам исчерпания ресурсов. (тут все просто - анализ на то, что система не повесит сервак в аварийных случаях)
---
суть промптов (направление проверки) я уже давно выучил. А перед каждым использованием я скидываю в отдельный чат его краткий вид и прошу расписать подробнее гемини, а потом уже вставляю. Так что запуск "двухэтапный", чтобы не держать в голове все термины
Общая проблема единого запроса "проверь на production-ready" в том, что модель выберет каждый раз свой способ проверки, неконтролируемый, а скорее навязанный прошлым диалогом. А даже если посмотрит "сверху", то с большой вероятностью она не будет выписывать все - найдет первые 5-10-15 ошибок и про них напшет. И уж тем более она маловероятно будет проводить "стресс-устойчивость к форс-мажорам", "работоспособность сквозных сценариев" и "защищенность от точечных попыток обращаться с системой незадокументированными способами".
P.S. Не забудь заставить модель надеть маску или супер-тестировщика, или эксперта-разработчика или гуру-архитектора. А то под ролью "физика-теоретика" или "маркетолога" она эти проверки выполнит... спустя рукава -)
безусловно нейросети уже сейчас понимают вопросы хорошо.
но разве это отменяет заслуг риторики? Те, кто будут лучше формулировать промпты, будут эффективнее с ЛЛМ. Это точно так же и в диалоге, кто-то задалбывает собеседника глупыми вопросами, а кто-то задает четкие вопросы и сразу дает понять, какой ответ ждет.
я полностью согласен с автором. Мы пришли в эру, когда обычный естественный язык уже приводит к тому, что его "исполняет машина". Это делает навык формулирования мыслей конкурентным преимуществом, как раньше было для языков программирования.
так промпт - это любой запрос, отправленный в ЛЛМ... А системный промпт - это базовая инструкция, в рамках которой вообще обрабатываются запросы.
Или ты предполагаешь, что агенты будут полностью самостоятельны и буду действовать вообще без ведома человека? а кто же будет отвечать на все те вопросы, которые сейчас население задает в чат гпт?
я про расцвет профессии. ЛЛМ подвержены тем же когнитивным отклонениям, что и люди. Навыки профессионального психолога теперь получают огромную дополнительную плоскость применения. Для этого нужно знать хорошо психологию и желать разобраться в том, как думает ЛЛМ.
проекты, которые начнут применять психологию в формировании системных промптов с большей вероятностью смогут получить стабильные результаты. А когда психологи закрепятся в обучении ЛЛМ и работе с безопасностью ЛЛМ, вот тогда начнет их новая эра -)
те, кто "выжил" остальных с рынка -))
ну раз уж про востребованные профессии... то я бы сказал, что профессия будущего - это психология.
Все то, с чем сейчас борется весь мир в части ЛЛМ (галлюцинации, сбои, выравнивание), психология с этим работает сотню лет уже. Думаю, что знание психологических отклонений и умение их выравнивать или их обходить - это самый полезный навык промпт-инженера. А когда появится куча +- самостоятельных ИИ-агентов, то у психологов просто прибавится пациентов.
Единственная профессия, которая с приходом ЛЛМ не только не загнется, а скорее расцветет и преобразится.
мне представилась картина, как бизнес активно юзает Джуна, пока создатели делают ему лоботомию =) на горячую ковыряются в мозгах. не ровен час и пришибет проект при одной из операций
это тот случай, когда человек ввел ЛЛМ в состояние психоза...
все слышали про LLM-психоз... Но это уже что-то совсем другого уровня... Даже не знаю, какой диагноз тут лучше подобрать... LLM-идиотизм?
Добавить все приложения компаний из общероссийского белого списка в личный белый список - есть в этом что-то даже филосовкое. Карма - она такая -)
заслужили -))
ламповая история о домашнем бизнесе. Как по мне - это читать гораздо приятнее на хабре, чем кучу одинаковых перепостов новостей и комментарии дурова/карпати. В таких историях зарождается искреннее желание написать, порекомендовать, приобщиться.
А то, что в конце тут оказалось, что это реклама площадки, то это лишь плюс самой площадке. Самая нативная реклама, наоборот за пример стоит брать. не флудят постами, е навязывают услуги, и читать интересно.
эти три критерия выполнимы легко за два дня c LLM. А вот если к ним добавить еще один:
- достаточно устойчивая и защищенная сборка MVP, чтобы ее не ломанул первый встречный-поперечный с LLM в кармане и она не упала в ответ на первый запрос пользователя
то все становится сложнее. Сделать «какашку в обертке» с LLM легко. А сделать устойчивый и защищенный продукт - это отдельная проблема, и решается она только если за LLM смотреть в оба глаза.
идеальная новость для хабра
"Дуров сказал, что Карпати сделал слишком небезопасный мессенджер. Claude Mithos нашел в нем 1000 уязвимостей за милисекунду"
Red Teeaming в разговоре? prompt Injections нашего времени, хакнем ФСБ -))
очень похожа... это уже ближе к паранойе..
Когда в статью вложено много сил, она может самостоятельно дойти до "близости к ИИ", за счет структурированности мысли автора и перфекционизма.
Так что... теперь только бред сумасшедшего лайкать? который даже близко на ИИ не похож? или исключительно статьи, где мемы и графики впермешку идут и не поймешь, то ли это обзор бенчмарков, толи зарисовки школьника -)
не все то золото, что блестит...
бесплатный сыр бывает только... производства "роскомнадзор"
я себе представляю толпу зрителей, которые с криками "ва-а-а-у" бегают по кораблю из стороны в сторону
психологи для ЛЛМ - явно недооцененное направление.
а смесь "архитектора" (мысль обширно) + "психолога" (лечить сдвиги нейросетей) + "программиста" (декмпозировать на подзадачи и строить алгоритмы) = это самая устойчивая смесь "профессии будущего"
вроде так попугая в Алладине звали =)
я хотел бы жить в Южной России, а не в Северной России... =)) ну или... Я хотел бы, чтобы мы ориентировались на ценности страны, которая в топе лидеров по технологиям и уровню жизни, а не стремились побить ее собрата в топе по открытости интернете... с конца топа...
я в своей работе использую несколько специализированных промпто для контроля качества
1) Проведи глубокий аудит безопасности потоков данных: найди потенциальные утечки чувствительной информации и нарушения границ доверия
(смотрит на потенциальные кражи, некачественно собранную защиту, неправильное распределение по контурам безопасности и т.п.)
2) Выполни поиск уязвимостей контроля доступа (Broken Access Control) и векторов инъекций: проверь наличие IDOR (Insecure Direct Object Reference), путей горизонтальной и вертикальной эскалации привилегий, а также строгость серверной валидации бизнес-состояния (Client-Side Enforcement bypassing).
(ищет все потенциальные места для инъекций, нерешенные или упущенные блокировки перехвата управления, проверки полученных с фронт-энда запросов на соответствие текущему состоянию базы и наличия прав на запрос и на авторизацию)
3) Проанализируй end-to-end сценарии на предмет логических уязвимостей и состояний процессов: выяви тупиковые состояния (dead states), необработанные граничные случаи (edge cases) и возможные пути обхода бизнес-логики при прерывании сессии или нестандартном порядке запросов.
(сквозной анализ от первого нажатия до завершения сессии с учетом дерева потенциальных действий, тут лучше иметь изначально хотя бы кратко описанный сценарий пользователя, но даже без него они отлично его представляют и проверяют на "сквозноту")
4) Проведи теоретический Chaos-инжиниринг: выяви точки отказа (SPOF), проверь наличие и корректность паттернов "повторные попытки выполнения", "резервные сценарии работы", "предохранители при отказах". Опиши сценарии каскадного падения системы и выяви, где отсутствие плавной / изящной деградации приведет к неработоспособности всего функционала при неработоспособности одной компоненты / сервиса
(проверяет модули на устойчивость при незапланированных ситуациях, проверит что произойдет в случае отключения каждой из компоненты)
5) Выполни аудит производительности и потребления ресурсов: найди проблемы бесконечных запросов к базе данных, неоптимальные индексы, потенциальные утечки памяти, незакрытые соединения и места, уязвимые к атакам исчерпания ресурсов.
(тут все просто - анализ на то, что система не повесит сервак в аварийных случаях)
---
суть промптов (направление проверки) я уже давно выучил. А перед каждым использованием я скидываю в отдельный чат его краткий вид и прошу расписать подробнее гемини, а потом уже вставляю. Так что запуск "двухэтапный", чтобы не держать в голове все термины
Общая проблема единого запроса "проверь на production-ready" в том, что модель выберет каждый раз свой способ проверки, неконтролируемый, а скорее навязанный прошлым диалогом. А даже если посмотрит "сверху", то с большой вероятностью она не будет выписывать все - найдет первые 5-10-15 ошибок и про них напшет. И уж тем более она маловероятно будет проводить "стресс-устойчивость к форс-мажорам", "работоспособность сквозных сценариев" и "защищенность от точечных попыток обращаться с системой незадокументированными способами".
P.S. Не забудь заставить модель надеть маску или супер-тестировщика, или эксперта-разработчика или гуру-архитектора. А то под ролью "физика-теоретика" или "маркетолога" она эти проверки выполнит... спустя рукава -)