Я изучал в свое время https://www.promptingguide.ai/ (как минимум базовые вещи), + статьи по теме что попадались. Основная польза - дало знание специфичной терминологии.
И я именно про промт-инженеринг, а не про вайб-кодинг.
И, как я уже говорил, сейчас промт-инженеринг отошел от "как вообще получить ответ от LLM в личной беседе" (1) к вопросам автоматизации работы с LLM (2) (RAG как раз отсюда).
Я говорю про (1) вариант - он отошел от дел, LLM значительно поумнели. Каких-то особых навыков для общения с LLM уже не нужно (кроме умения излагать свои мысли, без этого, понятное дело, никуда). Несомненно, для профессиональной работы с LLM есть свои нюансы.
(2) вариант - специфическое направление деятельности. Нужен, полезен - не спорю. Но это достаточно специфичное направление деятельности, всем его знать не надо. Вы именно про этот вариант говорите.
Сейчас промт инженеринг отшел от "как у LLM получить ответ" к автоматизации работы с LLM.
Раньше нужно было знать "заклинания" (например, думай шаг за шагом или я дам тебе 200$ чаевых), чтобы модель просто не тупила.
Сейчас модели стали умнее и хорошо работают без подобных ухищрений.
Так что сейчас, это просто навык из софт-скилов "внятно объяснять", который прокачивался у разработчиков и до прихода LLM.
А именно промт-ниженеринг остался у задач автоматизации - сформулировать промт так, чтобы надежно работало в любых ситуациях. Т.е. стал достаточно узким навыком для автоматизаторов работы с LLM.
P.S. более того, вышли исследования, которые показали, что подобные ухищрения помогают, но также увеличивают количество галлюцинаций. P.P.S. а еще видел исследование, которое показало что подобные ухищрения при генерации кода привели к увеличению количества дыр в безопасности (вольная интерпретация). P.P.P.S. и да, на эту тему пишут книги. Много материалов в сети, курсы и прочее-прочее-прочее. Но именно хайп вокруг темы уже прошел - LLM поумнели и лучше понимают что от них хотят.
Разве хайп вокруг промт-инженеринга не угас вместе с ростом возможностей LLM?
LLM сами по себе требуют "просто скажи по человечески, что тебе надо". А промт-инженеринг - скорее из серии "подгони запрос так, чтобы LLM ответила как тебе надо" и с развитием LLM эта необходимость трансформировалась в "дай достаточно контекста".
Т.е. все массово пойдут в техники по ремонту роботов.
Проблема с ИИ в том, что ИИ заменяет человека. Чем бы я не занимался - ИИ может это делать. Это просто вопрос стоимости и эффективности.
Пока эффективность на стороне человека. И сможет ли ИИ догнать человека - тоже большой вопрос. Но как только догонит и если останется дешевым - то быть беде.
Пока же LLM надо контролировать и направлять - человек остается необходимым звеном.
Согласно данным Jellyfish, качество кода, похоже, не снижается под тяжестью более высокой производительности. Показатели отката увеличиваются лишь незначительно по мере роста внедрения ИИ среди инженеров-программистов, с 0,61% в компаниях с низким уровнем внедрения до 0,65% в компаниях высшего уровня.
Только явный откат изменений - это всегда крайняя мера. Это не показатель качества кода. Лучше бы оценили время жизни новых строк в кодовой базе.
Размышления - это просто "мысли в тему", для наполнения контекста. В финальный ответ они могут и не войти (сталкивался с тем, что размышления и ответ были о совершенно разном).
Так что да, размышления помогают. Но зачастую без них ответ не сильно хуже. А главное - значительно быстрее (что имеет значение при локальном инференсе).
А если специально "шакалить" качество звука - не скроет проблемы с голосом? Да и реализма может добавить... И уж точно "плохая связь" ведет к увеличению длительности разговора на переуточнения )
Основное - уйдут бесплатные аккаунты. И более 90% текущих пользователей тут же отвалится (на сколько помню, платит сейчас около 6% пользователей ChatGPT). Поднимутся цены (может и в 10 раз, тут не берусь оценивать) - и еще половина оставшихся отвалится.
Китайские ИИ тоже спонсируются. Другое дело, что они, как правило, открывают свои модели - а значит их можно запустить локально (или у другого провайдера).
Вопрос еще и в обучении моделей - оно тоже крайне требовательно к вычислениями.
Поднимут голову какие-нибудь эко-активисты - и местами использование ИИ могут вообще запретить (или обложить налогами).
Возможно в том, что образование как раз стимулирует способности осознавать новые ситуации, способности к обучению и запоминанию, пониманию и применению абстрактных концепций, и использованию своих знаний.
Вы запустили Лаксианский строитель, не имея ключа на выключение.
На самом деле ключ очень прост. ИИ требует очень высоких вычислительных ресурсов, а значит высокое энергопотребление и высокое выделение тепла. Он очень дорог в вычислениях. И цены резко поднимутся, как только деньги инвесторов закончатся. Использование ИИ резко пойдет на спад.
Да, полностью ИИ уже не уйдет. Да, есть и локальный инференс. Но именно текущее бесконтрольное использование должно будет уйти.
Код за LLM надо очень тщательно изучать - тщательнее, чем за джунами. Я знаю, где может ошибиться джун или более опытный коллега. Причем коллега, как правило, сам поймет, что "что-то не то" и посоветуется с другими.
LLM же пишет очень убедительный код. При этом подвох может быть в самом неожиданном месте. И на этом ревью кода, как правило, большая часть выигрыша от LLM пропадает. Может не всегда, может для отдельных задач и все хорошо отрабатывает, сохраняя ускорение. Но само ожидание подвоха очень портит впечатление.
P.S. LLM не зря называют бредогенераторами. Они сами не знают, что они хорошо знают, а что нет. Поэтому у них возникает не "не знаю", а так называемая галлюцинация. Но по факту весь продукт работы LLM - это одна сплошная галлюцинация. Просто большая часть пришлась к месту. И это "не знаю" просто невозможно реализовать в рамках текущих алгоритмов работы LLM.
Странно, что в разделе "8. CAG (Context Augmented Generation)" не упоминули ни lost-in-the-middle, ни кеширование - очень актуальные для CAG вещи.
P.S. отличная подборка приемов )
На huggingface сказано, что 6.5B активных параметров (и 4 эксперта из 128):
Я изучал в свое время https://www.promptingguide.ai/ (как минимум базовые вещи), + статьи по теме что попадались.
Основная польза - дало знание специфичной терминологии.
И я именно про промт-инженеринг, а не про вайб-кодинг.
И, как я уже говорил, сейчас промт-инженеринг отошел от "как вообще получить ответ от LLM в личной беседе" (1) к вопросам автоматизации работы с LLM (2) (RAG как раз отсюда).
Я говорю про (1) вариант - он отошел от дел, LLM значительно поумнели. Каких-то особых навыков для общения с LLM уже не нужно (кроме умения излагать свои мысли, без этого, понятное дело, никуда). Несомненно, для профессиональной работы с LLM есть свои нюансы.
(2) вариант - специфическое направление деятельности. Нужен, полезен - не спорю. Но это достаточно специфичное направление деятельности, всем его знать не надо. Вы именно про этот вариант говорите.
Я где-то говорил о "понимают с полуслова"? Это, извините, не моя галлюцинация. Речь шла об актуальности промт-инженеринга для общения с LLM.
Сейчас промт инженеринг отшел от "как у LLM получить ответ" к автоматизации работы с LLM.
Раньше нужно было знать "заклинания" (например,
думай шаг за шагомилия дам тебе 200$ чаевых), чтобы модель просто не тупила.Сейчас модели стали умнее и хорошо работают без подобных ухищрений.
Так что сейчас, это просто навык из софт-скилов "внятно объяснять", который прокачивался у разработчиков и до прихода LLM.
А именно промт-ниженеринг остался у задач автоматизации - сформулировать промт так, чтобы надежно работало в любых ситуациях. Т.е. стал достаточно узким навыком для автоматизаторов работы с LLM.
P.S. более того, вышли исследования, которые показали, что подобные ухищрения помогают, но также увеличивают количество галлюцинаций.
P.P.S. а еще видел исследование, которое показало что подобные ухищрения при генерации кода привели к увеличению количества дыр в безопасности (вольная интерпретация).
P.P.P.S. и да, на эту тему пишут книги. Много материалов в сети, курсы и прочее-прочее-прочее. Но именно хайп вокруг темы уже прошел - LLM поумнели и лучше понимают что от них хотят.
Мой посыл был в том, что необходимости в промт-инженерах нет. Достаточно грамотного описания (для тех задач, которые LLM может решить).
Причем тут проектирование через LLM?
К слову, забыли 4ю группу, которая действительно мешает всем.
Не знают как работает ИИ, но хотят вкатиться на нём в IT.
Да, очень хорошо представляю.
В виде "просто скажи по человечески, что тебе надо" - невозможно для чего-либо достаточно серьезного.
Но речь шла о промт-инженерах же, а не о возможностях LLM? Или промт-инженер так может?
Разве хайп вокруг промт-инженеринга не угас вместе с ростом возможностей LLM?
LLM сами по себе требуют "просто скажи по человечески, что тебе надо". А промт-инженеринг - скорее из серии "подгони запрос так, чтобы LLM ответила как тебе надо" и с развитием LLM эта необходимость трансформировалась в "дай достаточно контекста".
Т.е. все массово пойдут в техники по ремонту роботов.
Проблема с ИИ в том, что ИИ заменяет человека. Чем бы я не занимался - ИИ может это делать. Это просто вопрос стоимости и эффективности.
Пока эффективность на стороне человека. И сможет ли ИИ догнать человека - тоже большой вопрос. Но как только догонит и если останется дешевым - то быть беде.
Пока же LLM надо контролировать и направлять - человек остается необходимым звеном.
Только явный откат изменений - это всегда крайняя мера. Это не показатель качества кода. Лучше бы оценили время жизни новых строк в кодовой базе.
Размышления - это просто "мысли в тему", для наполнения контекста. В финальный ответ они могут и не войти (сталкивался с тем, что размышления и ответ были о совершенно разном).
Так что да, размышления помогают. Но зачастую без них ответ не сильно хуже. А главное - значительно быстрее (что имеет значение при локальном инференсе).
Nemotron недавно вышел в похожем размере.
Сталкивался с подобными проблемами - как правило, агрессивный квант виноват.
А если специально "шакалить" качество звука - не скроет проблемы с голосом? Да и реализма может добавить... И уж точно "плохая связь" ведет к увеличению длительности разговора на переуточнения )
А еще можно попробовать добавить акцента )
Есть одно очень принципиальное отличие. OpenAI на каждом запросе к ChatGPT теряет деньги. Даже подписка за 200$ убыточна.
Основное - уйдут бесплатные аккаунты. И более 90% текущих пользователей тут же отвалится (на сколько помню, платит сейчас около 6% пользователей ChatGPT).
Поднимутся цены (может и в 10 раз, тут не берусь оценивать) - и еще половина оставшихся отвалится.
Китайские ИИ тоже спонсируются. Другое дело, что они, как правило, открывают свои модели - а значит их можно запустить локально (или у другого провайдера).
Вопрос еще и в обучении моделей - оно тоже крайне требовательно к вычислениями.
Поднимут голову какие-нибудь эко-активисты - и местами использование ИИ могут вообще запретить (или обложить налогами).
Возможно в том, что образование как раз стимулирует способности осознавать новые ситуации, способности к обучению и запоминанию, пониманию и применению абстрактных концепций, и использованию своих знаний.
Только есть нюанс - средний интеллект растет (доступность и качество образования растут).
И тест IQ усложняют, чтобы соответствовать медиане 100 )
Отсюда интересный вывод: хочешь IQ повыше? Бери максимально старый тест )))
На самом деле ключ очень прост. ИИ требует очень высоких вычислительных ресурсов, а значит высокое энергопотребление и высокое выделение тепла. Он очень дорог в вычислениях. И цены резко поднимутся, как только деньги инвесторов закончатся. Использование ИИ резко пойдет на спад.
Да, полностью ИИ уже не уйдет. Да, есть и локальный инференс. Но именно текущее бесконтрольное использование должно будет уйти.
Код за LLM надо очень тщательно изучать - тщательнее, чем за джунами. Я знаю, где может ошибиться джун или более опытный коллега. Причем коллега, как правило, сам поймет, что "что-то не то" и посоветуется с другими.
LLM же пишет очень убедительный код. При этом подвох может быть в самом неожиданном месте. И на этом ревью кода, как правило, большая часть выигрыша от LLM пропадает. Может не всегда, может для отдельных задач и все хорошо отрабатывает, сохраняя ускорение. Но само ожидание подвоха очень портит впечатление.
P.S. LLM не зря называют бредогенераторами. Они сами не знают, что они хорошо знают, а что нет. Поэтому у них возникает не "не знаю", а так называемая галлюцинация. Но по факту весь продукт работы LLM - это одна сплошная галлюцинация. Просто большая часть пришлась к месту. И это "не знаю" просто невозможно реализовать в рамках текущих алгоритмов работы LLM.