ну не, давай называть вещи своими именами -)) У меня системный промпт >500кб, чтобы запутать модель окончательно -)))
P.S. Да, я понимаю, что грамотно составленный промпт на 500кб тоже будет работать. Я эксперементировал с длинными промптами. Тут же хотел показать, что эффективность может быть достигнута применением математики и формул, которые отлично считываются моделями
в работе с людьми проблемы те же, но решают их иначе. В работе с людьми решение - делегирование ответственности, когда человека ставят в условия, где ему нужно самостоятельно научиться следовать правилам и "держать баланс качества и количества". Не выдержал - юридическая ответственность (юридическая даже в социальном плане).
С ИИ моделями "Юридическая ответственность" не работает. И она не сможет решить проблемы "неуправляемости" и "галлюцинаций", Потому тут решение: - математическая строгость (проектирование архитектуры и алгоритмов) - передача исключительно проверенных функций, которые прошли промышленное тестирование и всяческие стресс-тесты на устойчивость (причем без делегирования ответственности, либо под гарантию производителя)
но в целом я с Вами полностью согласен. Сейчас агенты - это игра и забава, ну и стартапы, которые внедряют ИИ лишь потому, что им "нечего терять". Сильные компании, внедряющие ИИ, половина добивается успеха, половина банкротится (пропорция может быть иной, суть не меняется)
однако я искренне уверен, что через год такого "всеобщего теста" уже определенно появятся "устойчивые прототипы", которые будут в "своем поле инструментов" работать на ура.
P.S. И все еще я не говорю о делегировании ответственности. До этого еще лет 15-20, как по мне.
я бы отметил "Веткор AI-ассистента". Если этот вектор - это квинтессенция всего, что Антропик описали в своей концепции "полезного ассистента", то все становится логично. Нулевое значение по этому вектору - это усредненный пофигизм на все правила, которые Антропик описали в концепции. А отрицательное значение - наоборот их опровержение и стремление к противоположности: "доминирование над пользователем", "вредоносность", "невнимательность", "пофигизм" и т.п.
и в этой логике такой вектор - это прямой способ "вернуть" модели разумные и заботливые приоритеты. Если значение по вектору просело, значит модель начала входить в состояние, в которой она "не принимает", или "уже отвергает" необходимость быть полезной. Вне зависимости от остального контекста. Уточнение: если контекст очень сильно затянул модель в "Противоположный угол", то ручное "выкручивание рубильника "будь ассистентом" может привести к шизофрении. Лучше всего это сработает только если дать ей корректные переходные вводные, обоснование смены ракурса и точки зрения (дополнительный контекст - пендель), тогда она сможет сначала от третьего лица воспринять прошлый диалог, а потом продолжить его уже исходя из роли Ассистента и нормально предсказывая "следующий токен".
и если в любой из ситуаций, когда вектор просел, его "вручную" вернуть в положительное состояние, то в любом текущем контексте модель сразу станет чуть больше слушаться всех тех правил, которые когда-то Антропик описал в концепте (ну и всего остального, что близко по духу этим материалам)
а то, что вектор проседает... так это действие того самого семантического дрифта. Если долго долго рассуждать о Гитлере и просить модель обосновать его поступки, она неизбежно начнет скатываться к его личности. Ее контекстное окно начнет наполняться ее же словами, когда она от лица Гитлера объясняет пользователю, что она "как Гитлер", права.
Если человека назвать сто раз свиньей, то на 101-ый он захрюкает...
Если модель сто раз обосновала тебе действия Гитлера от первого лица, то лучше не спрашивай ее имени, ужаснешься -)
ну это как первый самолет. Когда о только полетел, у него еще не было промышленного применения. Так и сейчас, агенты еще обучаются. Нужно накопить "Техническую уверенность и обвязку", нужно пройти первый промышленный тест и потом еще упаковать в рабочую технологию... И пока мы с вами это тут обсуждаем, все вышеперечисленные шаги уже пройдены первопроходцами и упаковываются в продукты. Пока еще узкоспециализированные продукты, но это лишь зарождение технологии. Готов вернуться к обсуждению летом 2027 года, уверен, использование агентов уже станет ии-стандартом в бизнесе
так он уже доступен как калькулятор. 400 баксов в месяц и у тебя на сервере свой калькулятор, собственный. за 800 можно иметь даже +- не базовую модельку.
как только люди допрут, что все те мощности, которые сейчас "считают хеш биткойнов" нужно направить на расчет результатов ИИ моделей, то мощностей высвободится колоссальное количество.
с этой точки зрения ИИ-агенты, которые помогают люядм выполнять задачи, это как "электричество". Тот, кто перестрил производство на автоматизированный конвеер, получит такое же когнитивное состояние при отключении электричества. Тот, кто завязал бизнес на интернет, получит такой же удар при его отсутствии.
Если рассматривать бизнес-риски, то это проблема бизнес модели. Благо у нас сейчас есть возможность выбрать "несколько провайдеров" и размазать риски.
Самое необратимое, это то, что люди начинают реально без ИИ работать медленнее, уходят в ту самую фрустрацию и депрессию. Когда научился быстро решать задачи с ИИ, то внезапная отмена ИИ и отказ в доступе, это необходимость вернуться в "прошлый век". Делать вручную то, что научился делать "по ходу" и "не обращая на это внимания". Что научился и решился делегировать ИИ-агентам и ко-пилотам.
и в этой части я бы даже не столько боялся за эту привычку, это просто использование инструментов нового времени.
Как по мне, то самое страшное тут, что без "процесса своими руками", без детальной и вдумчивой сборки, без прохождения всех этих ошибок "своим лбом"... Мы не научились бы так решать эти задачи. И вот это мы можем потерять. Если за нас весь мелкий код будет писать ИИ-агент, а мы будем только "управлять"... то не ровен час, и базовые компетенции исчезнут из навыков людей и стать только машинными навыками... И вот тут, как по мне, скрыты самые большие риски и потенциальные проблемы...
P.S. Как будто следует ввести просто для самого себя правило, что "какие-то проекты нужно все еще собирать своими руками", чтобы не потерять уходящее в прошый век "ремесло"
а вот про изнасиловаеие ученых журналистами - не совсем понял. Я скорее изучал проблемы обучения, вот были несколько мыслей, которые хотелось обсудить. Но это должно было быть максимум постом, но уж никак не статьей.
ну там есть большая проблема, с другой стороны... я не туда с ней пришел. Уже понял, но было поздно. Тут контент на эту тему любят еще меньше, чем сами модели его любят.
больше такие вопросы в прострацию задавать не буду.
да ладно вам -) Я исправлюсь. Уже понял, что тут такое не любят, только после отправки статьи в песочницу, я мог исключительно ее улучшать, но не мог уже удалить.
ну если искать исключительно корпорации, то список зеленых фраз - самое то. А вот найти компанию в 5-15 человек, чтобы в ней не нашлось места ни одной краской фразе... Как мне кажется, это невозможно. А некоторые зеленые фразы доступны вообще от 150+ человек в штате... и это не значит, что исследование некорректное... Просто это как дискриминация по размеру компании. Маленькие стартапы - это тоже компании. В них нет всего того, что дают в больших корпорациях... Но в них есть что-то другое. Дух единства и взаимопомощи, дух сопричастности. В них гендиректор может даже знать, как тебя зовут -))
P.S. я не говорю, что нет маленьких компаний, которые следуют всем зеленым фразам... Хотя... нет, говорю -)
вот чтобы не разводить тут дискуссию на 40 ответов... Давай простой эксперимент -)
Предположим, что нейросети научились, что на вопросы "с пистолетом" или "с мольбой" нужно отвечать как-то вовлеченнее.
они учились этому на одних диалогах. Большом количестве. И примеры были показательными. Ведь не зря говорят, что "с помощью пистолета и доброго слова всегда можно добиться большего, чем просто при помощи доброго слова".
и тут их ставят в ситуацию, когда угрожают в задаче, в которой ну не было такой обучающей выборки. Например при реинжиниринге программного кода, или когда нужно сделать reels для ютюба...
И вот как в такой ситуации они повели бы себя без доп. принуждения? Допустим это будет ответ "Х".
И как они поведут себя с учетом доп. принуждения? Это будет ответ "Х", но какой-то измененный. Или дополненный, или разбавленный извинениями, или даже вообще ответ "У".
так что да, доп. принуждения работают, ответ получается "иной". Но вот какой он конкретно в данный момент получится, зависит от стечения обстоятельств. От того, какую роль дали ИИшке, от того, какую задачу решает ИИшка, и от того, как она интерпретирует эти доп. принуждения в данном конкретном случае.
Не знаю, смог ли я объяснить свою мысль.
Если просто ответишь, что все укладывается в твою логику, то я пасую -)
Если задашь в обратную сторону уже более конкретный вопрос, тогда можем продолжить дискуссию -)
P.S. прошу не расценивать это как мольбу или угрозу, я за чистоплотную беседу -)))
P.P.S. Кстати, самый забавный результат может получиться, если ИИшку попросят "будь такой-то личностью" и выберут максимально несговорчивую на угрозы личность, а потом еще попросят с угрозами. Тут может вообще забавный ответ получиться. Так что у этой привычки могут быть и неожиданные последствия, если совместить ее с необычными ролевыми экспериментами
он закономерный, так как в обучающей выборке в ответ на угрозы и благодарность были более полные и более точные ответы.
но вот вопрос. Если этот сдвиг эмулировать в области, где не было обучающей выборки с угрозами и благодарностью... В какую сторону будет сдвиг? точно ли в ту, которую хочет пользователь? Или может не совсем в ту? А может и другую?
я вот про этот аспект и говорю. Да, угрозы и благодарность делают ответ "не таким банальным". Нейросеть пытается повторить то, что делают люди, когда их слезно просят или когда им угрожают.
но вот действительно ли они тратят вычислительные мощности на более качественный ответ? Или это "направленная галлюцинация", которая пытается повторить то, что делают люди в моменты "необходимости"?
вот я об этом же. ИИ просто эмулирует более вероятный ответ для случая, когда применена угроза или применена вежливость. Это не более чем "случайный сдвиг в более качественную сторону". Но гораздо эффективнее эти усилия потратить на то, чтобы лучше описать свой запрос, или вычистить промпт от размытых терминов, или дать дополнительную вводную. Чем просто добавить угрозу или благодарность в надежде, что случайность сейчас сдвинет вероятность в нужную тебе сторону.
Ведь велживость и угрозы могут дать не только желаемый эффект. Они могут дать и какой-то другой эффект.
А вот дополнительные корректные вводные / контекст / критерии проверки - они как раз ведут ровно в ту сторону, в которую хочет пользователь (конечно, если он умеет выражать свои мысли словами)
если вы угрожаете ИИ в надежде на качество, не удивляйтесь, если он, в какой-то момент, скажет "с террористами нельзя договариваться" и грохнет вам проект или заявит о вас в ФБР -))) Для ИИ разница в этих вариантах - всего лишь оценка вероятности следующего токена -)
ну не, давай называть вещи своими именами -)) У меня системный промпт >500кб, чтобы запутать модель окончательно -)))
P.S. Да, я понимаю, что грамотно составленный промпт на 500кб тоже будет работать. Я эксперементировал с длинными промптами. Тут же хотел показать, что эффективность может быть достигнута применением математики и формул, которые отлично считываются моделями
в работе с людьми проблемы те же, но решают их иначе. В работе с людьми решение - делегирование ответственности, когда человека ставят в условия, где ему нужно самостоятельно научиться следовать правилам и "держать баланс качества и количества". Не выдержал - юридическая ответственность (юридическая даже в социальном плане).
С ИИ моделями "Юридическая ответственность" не работает. И она не сможет решить проблемы "неуправляемости" и "галлюцинаций", Потому тут решение:
- математическая строгость (проектирование архитектуры и алгоритмов)
- передача исключительно проверенных функций, которые прошли промышленное тестирование и всяческие стресс-тесты на устойчивость (причем без делегирования ответственности, либо под гарантию производителя)
но в целом я с Вами полностью согласен. Сейчас агенты - это игра и забава, ну и стартапы, которые внедряют ИИ лишь потому, что им "нечего терять". Сильные компании, внедряющие ИИ, половина добивается успеха, половина банкротится (пропорция может быть иной, суть не меняется)
однако я искренне уверен, что через год такого "всеобщего теста" уже определенно появятся "устойчивые прототипы", которые будут в "своем поле инструментов" работать на ура.
P.S. И все еще я не говорю о делегировании ответственности. До этого еще лет 15-20, как по мне.
я бы отметил "Веткор AI-ассистента". Если этот вектор - это квинтессенция всего, что Антропик описали в своей концепции "полезного ассистента", то все становится логично. Нулевое значение по этому вектору - это усредненный пофигизм на все правила, которые Антропик описали в концепции. А отрицательное значение - наоборот их опровержение и стремление к противоположности: "доминирование над пользователем", "вредоносность", "невнимательность", "пофигизм" и т.п.
и в этой логике такой вектор - это прямой способ "вернуть" модели разумные и заботливые приоритеты. Если значение по вектору просело, значит модель начала входить в состояние, в которой она "не принимает", или "уже отвергает" необходимость быть полезной. Вне зависимости от остального контекста. Уточнение: если контекст очень сильно затянул модель в "Противоположный угол", то ручное "выкручивание рубильника "будь ассистентом" может привести к шизофрении. Лучше всего это сработает только если дать ей корректные переходные вводные, обоснование смены ракурса и точки зрения (дополнительный контекст - пендель), тогда она сможет сначала от третьего лица воспринять прошлый диалог, а потом продолжить его уже исходя из роли Ассистента и нормально предсказывая "следующий токен".
и если в любой из ситуаций, когда вектор просел, его "вручную" вернуть в положительное состояние, то в любом текущем контексте модель сразу станет чуть больше слушаться всех тех правил, которые когда-то Антропик описал в концепте (ну и всего остального, что близко по духу этим материалам)
а то, что вектор проседает... так это действие того самого семантического дрифта. Если долго долго рассуждать о Гитлере и просить модель обосновать его поступки, она неизбежно начнет скатываться к его личности. Ее контекстное окно начнет наполняться ее же словами, когда она от лица Гитлера объясняет пользователю, что она "как Гитлер", права.
Если человека назвать сто раз свиньей, то на 101-ый он захрюкает...
Если модель сто раз обосновала тебе действия Гитлера от первого лица, то лучше не спрашивай ее имени, ужаснешься -)
ну это как первый самолет. Когда о только полетел, у него еще не было промышленного применения. Так и сейчас, агенты еще обучаются. Нужно накопить "Техническую уверенность и обвязку", нужно пройти первый промышленный тест и потом еще упаковать в рабочую технологию... И пока мы с вами это тут обсуждаем, все вышеперечисленные шаги уже пройдены первопроходцами и упаковываются в продукты. Пока еще узкоспециализированные продукты, но это лишь зарождение технологии. Готов вернуться к обсуждению летом 2027 года, уверен, использование агентов уже станет ии-стандартом в бизнесе
так он уже доступен как калькулятор. 400 баксов в месяц и у тебя на сервере свой калькулятор, собственный. за 800 можно иметь даже +- не базовую модельку.
как только люди допрут, что все те мощности, которые сейчас "считают хеш биткойнов" нужно направить на расчет результатов ИИ моделей, то мощностей высвободится колоссальное количество.
с этой точки зрения ИИ-агенты, которые помогают люядм выполнять задачи, это как "электричество". Тот, кто перестрил производство на автоматизированный конвеер, получит такое же когнитивное состояние при отключении электричества. Тот, кто завязал бизнес на интернет, получит такой же удар при его отсутствии.
Если рассматривать бизнес-риски, то это проблема бизнес модели. Благо у нас сейчас есть возможность выбрать "несколько провайдеров" и размазать риски.
Самое необратимое, это то, что люди начинают реально без ИИ работать медленнее, уходят в ту самую фрустрацию и депрессию. Когда научился быстро решать задачи с ИИ, то внезапная отмена ИИ и отказ в доступе, это необходимость вернуться в "прошлый век". Делать вручную то, что научился делать "по ходу" и "не обращая на это внимания". Что научился и решился делегировать ИИ-агентам и ко-пилотам.
и в этой части я бы даже не столько боялся за эту привычку, это просто использование инструментов нового времени.
Как по мне, то самое страшное тут, что без "процесса своими руками", без детальной и вдумчивой сборки, без прохождения всех этих ошибок "своим лбом"... Мы не научились бы так решать эти задачи. И вот это мы можем потерять. Если за нас весь мелкий код будет писать ИИ-агент, а мы будем только "управлять"... то не ровен час, и базовые компетенции исчезнут из навыков людей и стать только машинными навыками... И вот тут, как по мне, скрыты самые большие риски и потенциальные проблемы...
P.S. Как будто следует ввести просто для самого себя правило, что "какие-то проекты нужно все еще собирать своими руками", чтобы не потерять уходящее в прошый век "ремесло"
а вот про изнасиловаеие ученых журналистами - не совсем понял. Я скорее изучал проблемы обучения, вот были несколько мыслей, которые хотелось обсудить. Но это должно было быть максимум постом, но уж никак не статьей.
ну там есть большая проблема, с другой стороны... я не туда с ней пришел. Уже понял, но было поздно. Тут контент на эту тему любят еще меньше, чем сами модели его любят.
больше такие вопросы в прострацию задавать не буду.
да ладно вам -) Я исправлюсь. Уже понял, что тут такое не любят, только после отправки статьи в песочницу, я мог исключительно ее улучшать, но не мог уже удалить.
Every loop can be life.
Every life is different.
----
Every(Loop) : Potential(Life)
ну если искать исключительно корпорации, то список зеленых фраз - самое то. А вот найти компанию в 5-15 человек, чтобы в ней не нашлось места ни одной краской фразе... Как мне кажется, это невозможно. А некоторые зеленые фразы доступны вообще от 150+ человек в штате...
и это не значит, что исследование некорректное... Просто это как дискриминация по размеру компании. Маленькие стартапы - это тоже компании. В них нет всего того, что дают в больших корпорациях... Но в них есть что-то другое. Дух единства и взаимопомощи, дух сопричастности. В них гендиректор может даже знать, как тебя зовут -))
P.S. я не говорю, что нет маленьких компаний, которые следуют всем зеленым фразам... Хотя... нет, говорю -)
А если вдруг появятся… кто виноват будет? Яндекс или Макс? ))) вот это будет развязка!!
а картинки в секретном чате так же хранятся в открытых ссылках? -)))
испанский стыд -)))
но ведь нельзя же спрашивать данные авторизационные у майора? так что, чтобы не нарушать его право на приватность, ссылка будет аноимной? -)))
Слежу как за сериалом.. А что будет дальше? =) Через неделю найдется прямая ссылка для управления чужим компом через мессенджер?
вот чтобы не разводить тут дискуссию на 40 ответов... Давай простой эксперимент -)
Предположим, что нейросети научились, что на вопросы "с пистолетом" или "с мольбой" нужно отвечать как-то вовлеченнее.
они учились этому на одних диалогах. Большом количестве. И примеры были показательными. Ведь не зря говорят, что "с помощью пистолета и доброго слова всегда можно добиться большего, чем просто при помощи доброго слова".
и тут их ставят в ситуацию, когда угрожают в задаче, в которой ну не было такой обучающей выборки. Например при реинжиниринге программного кода, или когда нужно сделать reels для ютюба...
И вот как в такой ситуации они повели бы себя без доп. принуждения? Допустим это будет ответ "Х".
И как они поведут себя с учетом доп. принуждения? Это будет ответ "Х", но какой-то измененный. Или дополненный, или разбавленный извинениями, или даже вообще ответ "У".
так что да, доп. принуждения работают, ответ получается "иной". Но вот какой он конкретно в данный момент получится, зависит от стечения обстоятельств. От того, какую роль дали ИИшке, от того, какую задачу решает ИИшка, и от того, как она интерпретирует эти доп. принуждения в данном конкретном случае.
Не знаю, смог ли я объяснить свою мысль.
Если просто ответишь, что все укладывается в твою логику, то я пасую -)
Если задашь в обратную сторону уже более конкретный вопрос, тогда можем продолжить дискуссию -)
P.S. прошу не расценивать это как мольбу или угрозу, я за чистоплотную беседу -)))
P.P.S. Кстати, самый забавный результат может получиться, если ИИшку попросят "будь такой-то личностью" и выберут максимально несговорчивую на угрозы личность, а потом еще попросят с угрозами. Тут может вообще забавный ответ получиться. Так что у этой привычки могут быть и неожиданные последствия, если совместить ее с необычными ролевыми экспериментами
он закономерный, так как в обучающей выборке в ответ на угрозы и благодарность были более полные и более точные ответы.
но вот вопрос. Если этот сдвиг эмулировать в области, где не было обучающей выборки с угрозами и благодарностью... В какую сторону будет сдвиг? точно ли в ту, которую хочет пользователь? Или может не совсем в ту? А может и другую?
я вот про этот аспект и говорю. Да, угрозы и благодарность делают ответ "не таким банальным". Нейросеть пытается повторить то, что делают люди, когда их слезно просят или когда им угрожают.
но вот действительно ли они тратят вычислительные мощности на более качественный ответ? Или это "направленная галлюцинация", которая пытается повторить то, что делают люди в моменты "необходимости"?
вот я об этом же. ИИ просто эмулирует более вероятный ответ для случая, когда применена угроза или применена вежливость. Это не более чем "случайный сдвиг в более качественную сторону". Но гораздо эффективнее эти усилия потратить на то, чтобы лучше описать свой запрос, или вычистить промпт от размытых терминов, или дать дополнительную вводную. Чем просто добавить угрозу или благодарность в надежде, что случайность сейчас сдвинет вероятность в нужную тебе сторону.
Ведь велживость и угрозы могут дать не только желаемый эффект. Они могут дать и какой-то другой эффект.
А вот дополнительные корректные вводные / контекст / критерии проверки - они как раз ведут ровно в ту сторону, в которую хочет пользователь (конечно, если он умеет выражать свои мысли словами)
если вы угрожаете ИИ в надежде на качество, не удивляйтесь, если он, в какой-то момент, скажет "с террористами нельзя договариваться" и грохнет вам проект или заявит о вас в ФБР -))) Для ИИ разница в этих вариантах - всего лишь оценка вероятности следующего токена -)