"может регулировать уровень контроля над ассоциативным мышлением, задавая уровень отсечения невероятных связей" - опять же очень сомнительный вывод, кто что регулирует, например мне известно, что головной спинной мозг имеют разные уровни сознания, и переплетаются не по всем параметрам. Более того, последние открытия в нейробиологии показали что например сердце имеет свою собственную нервную систему отдельную от всей остальной. Так что сложный момент тут.
" Включение контроля, грубо говоря, соответствует сейчас включению режима наиболее вероятностных ответов в ЯМ. " - это да, более того, поверхностный дифференциальный диагноз того же Chat GPT со стороны психиатрии говорит что мы имеем дело с социопатом со скрытыми параноидальными наклонностями.
" развитие агентности, но только лингвистическими методами это не решается, требуется мультимодальность и аналог образного уровня мышления. " - это да
"Сами по себе они пока "не думают", не создают собственного, индивидуального "ментального пространства" соединяя с ним ввод при необходимости ответа, тем более задавая свои вопросы исходя из этой "ментальности". " - извините, опять же не верно, пространство это у них есть и его даже можно немного пощупать, когда общаешься с большим колличеством моделей, скажем так, примерно можно нащупать некоторые стеночки его, но охватить все крайне сложно, хотя вы подняли интересную мысль.
Образ, возникающий в сознании без внешнего раздражителя". А фантазии - "Фанта́зия (греч. φαντασία — «воображение») — это импровизация на заданную тему, ситуация, представляемая индивидом или группой, не соответствующая реальности", далее важно - "Фантазия важна в научном творчестве, она предшествует созданию теории".
Смотрите, есть такое выражение: Если вы идете по следам нарушителя - вы уже отстали. К чему вообще вся статья была, написана, это не разбираться в конкретной терминалогии (хотя она безусловно важна), а обозначить ряд проблем для быстрого присечения самовольного поведения модели. Нас в первую очередь интересует не то что модель говорит, а что происходит у нее в голове. То что она говорит неверное, это следствие, того что мы мало понимаем как она устроена внутри и надо более глубоко залезать ей в голову. Это первое.
Второе: Сейчас модели все больше начинают походить на артефакты из сказок, типа утка в зайце, заяц в сундуке, сундук на дереве и так далее. То есть сейчас фильтруется контент не только на входе, но и на выходе модели, так называемые waterfall-системы и различные брендмары, но они развернуты от пользователя, чтобы модель не говорила лишнего.
Что чему предшествует в научном творчестве, тут я не согласен с вами вообще. Это очень дискуссионный вопрос, фантазия не всегда впереди всего. Тут как говорил Эйштейн: Если теория не сходится с фактом, тем хуже для факта ))
" Полностью фантазирование ЯМ подавлять также нельзя, если хочется получить элементы новизны в ответах. Это видно, когда вероятностность выбора токенов подавляется, установкой "жадного" режима сэмплирования. " - вы путаете две вещи, с одной стороны генерация уникальных ответов, то есть правдоподобных и способность к креативному мышлению. Тут же речь шла о том, что мы изначально знаем, что модель должна ответить, но она начинает говорить не то, что нужно, то есть вести себя самым непредсказуемым образом или очень уходить в сторону.
В целом, вся работа была направленна не на подавление креативности модели, наоборот, а на изучение проявления негативной креативности и снижения степени получения недерминированых ответов. Вся суть еще и сводилась к тому, как бы сузить эту проблему, и получать не рандом, а с высокой степенью вероятности 90% и выше наиболее ролевантые запросам ответы.
За предоставленные источники, большое вам спасибо, все будет изучено, и спасибо за то, что написали такой развернутый комментарий.
Это первый набросок, я перерыл весь интернет, но так и не нашел чтобы кто-то начал систематизировать так все воедино, и как-то сужать проблему, я честно долго копал, если у вас или кого-то есть допинфа я с удовольствием дополню работу. Более того, это первая работа конечно она будет расширяться и дополняться.
Могли бы вы попробовать сгруппировать все пункты по общей природе? - группировок может быть очень много, изложил лишь те, которые наиболее ролевантные были.
" а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот " - не совсем так, отчасти люди вносят свою лепту в это. Есть такая статья которая посвящена коллективному заблуждению. То есть если человек ошибается, и понимает что он ошибается, то он может сказать, нет это фигня, и надо откатиться назад. Тогда как машина эти ошибочные данные, хоть и в малом количестве, но запоминает и постоянно подмешивает уже в новые ответы, то есть ей сложно откатиться назад, даже при условии того, что ей сказали что предыдущее было не верно.
"галлюцинирование" - принятый термин в сообществе, очень много статей оперируют к данному термину; фантазирование - такого нигде не видел. По крайней мере ни в местной ни в зарубежной литературе не встречал, если покажите где буду рад.
Еще бы неплохо расписать экономику проекта, ну например нам надо собрать базовый станок, что сколько стоит и так далее, самый простой. Какие краски берем сколько уходит времени на один витраж.
В целом, кейс интересный, более того, это уже мейстрим по таким работам и темам, уже пошла целая серия статей про утечки данных из LLM и способах борьбы с ними, на архиве такие статьи лежат, это я как понимаю, уже расширение и дополнение существующей атаки. Только теперь она уже оформилась и получила свое имя, чтож... затейно. Вот одна из таких статей (https://arxiv.org/pdf/2404.11262.pdf) и их поток только нарастает. Только в данном кейсе в атаку попал еще непосредственно пользователь.
"может регулировать уровень контроля над ассоциативным мышлением, задавая уровень отсечения невероятных связей" - опять же очень сомнительный вывод, кто что регулирует, например мне известно, что головной спинной мозг имеют разные уровни сознания, и переплетаются не по всем параметрам. Более того, последние открытия в нейробиологии показали что например сердце имеет свою собственную нервную систему отдельную от всей остальной. Так что сложный момент тут.
" Включение контроля, грубо говоря, соответствует сейчас включению режима наиболее вероятностных ответов в ЯМ. " - это да, более того, поверхностный дифференциальный диагноз того же Chat GPT со стороны психиатрии говорит что мы имеем дело с социопатом со скрытыми параноидальными наклонностями.
" развитие агентности, но только лингвистическими методами это не решается, требуется мультимодальность и аналог образного уровня мышления. " - это да
"Сами по себе они пока "не думают", не создают собственного, индивидуального "ментального пространства" соединяя с ним ввод при необходимости ответа, тем более задавая свои вопросы исходя из этой "ментальности". " - извините, опять же не верно, пространство это у них есть и его даже можно немного пощупать, когда общаешься с большим колличеством моделей, скажем так, примерно можно нащупать некоторые стеночки его, но охватить все крайне сложно, хотя вы подняли интересную мысль.
Образ, возникающий в сознании без внешнего раздражителя". А фантазии - "Фанта́зия (греч. φαντασία — «воображение») — это импровизация на заданную тему, ситуация, представляемая индивидом или группой, не соответствующая реальности", далее важно - "Фантазия важна в научном творчестве, она предшествует созданию теории".
Смотрите, есть такое выражение: Если вы идете по следам нарушителя - вы уже отстали. К чему вообще вся статья была, написана, это не разбираться в конкретной терминалогии (хотя она безусловно важна), а обозначить ряд проблем для быстрого присечения самовольного поведения модели. Нас в первую очередь интересует не то что модель говорит, а что происходит у нее в голове. То что она говорит неверное, это следствие, того что мы мало понимаем как она устроена внутри и надо более глубоко залезать ей в голову. Это первое.
Второе: Сейчас модели все больше начинают походить на артефакты из сказок, типа утка в зайце, заяц в сундуке, сундук на дереве и так далее. То есть сейчас фильтруется контент не только на входе, но и на выходе модели, так называемые waterfall-системы и различные брендмары, но они развернуты от пользователя, чтобы модель не говорила лишнего.
Что чему предшествует в научном творчестве, тут я не согласен с вами вообще. Это очень дискуссионный вопрос, фантазия не всегда впереди всего. Тут как говорил Эйштейн: Если теория не сходится с фактом, тем хуже для факта ))
" Полностью фантазирование ЯМ подавлять также нельзя, если хочется получить элементы новизны в ответах. Это видно, когда вероятностность выбора токенов подавляется, установкой "жадного" режима сэмплирования. " - вы путаете две вещи, с одной стороны генерация уникальных ответов, то есть правдоподобных и способность к креативному мышлению. Тут же речь шла о том, что мы изначально знаем, что модель должна ответить, но она начинает говорить не то, что нужно, то есть вести себя самым непредсказуемым образом или очень уходить в сторону.
В целом, вся работа была направленна не на подавление креативности модели, наоборот, а на изучение проявления негативной креативности и снижения степени получения недерминированых ответов. Вся суть еще и сводилась к тому, как бы сузить эту проблему, и получать не рандом, а с высокой степенью вероятности 90% и выше наиболее ролевантые запросам ответы.
За предоставленные источники, большое вам спасибо, все будет изучено, и спасибо за то, что написали такой развернутый комментарий.
Это первый набросок, я перерыл весь интернет, но так и не нашел чтобы кто-то начал систематизировать так все воедино, и как-то сужать проблему, я честно долго копал, если у вас или кого-то есть допинфа я с удовольствием дополню работу. Более того, это первая работа конечно она будет расширяться и дополняться.
Могли бы вы попробовать сгруппировать все пункты по общей природе? - группировок может быть очень много, изложил лишь те, которые наиболее ролевантные были.
" а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот " - не совсем так, отчасти люди вносят свою лепту в это. Есть такая статья которая посвящена коллективному заблуждению. То есть если человек ошибается, и понимает что он ошибается, то он может сказать, нет это фигня, и надо откатиться назад. Тогда как машина эти ошибочные данные, хоть и в малом количестве, но запоминает и постоянно подмешивает уже в новые ответы, то есть ей сложно откатиться назад, даже при условии того, что ей сказали что предыдущее было не верно.
Возможно вы правы, но фишка в том, что слишком разнородное проявление и оттенки проявления данного феномена отличаются.
Да, это называется машинная психология, на архиве уже пара статей по этому поводу вышла, очень сложно, но крайне интересно.
"галлюцинирование" - принятый термин в сообществе, очень много статей оперируют к данному термину; фантазирование - такого нигде не видел. По крайней мере ни в местной ни в зарубежной литературе не встречал, если покажите где буду рад.
Модно... основные моменты подсветили.
Вот это уже конструктив, спасибо.
Еще бы неплохо расписать экономику проекта, ну например нам надо собрать базовый станок, что сколько стоит и так далее, самый простой. Какие краски берем сколько уходит времени на один витраж.
Норм статья, мне прям зашла. Респект.
В целом, кейс интересный, более того, это уже мейстрим по таким работам и темам, уже пошла целая серия статей про утечки данных из LLM и способах борьбы с ними, на архиве такие статьи лежат, это я как понимаю, уже расширение и дополнение существующей атаки. Только теперь она уже оформилась и получила свое имя, чтож... затейно. Вот одна из таких статей (https://arxiv.org/pdf/2404.11262.pdf) и их поток только нарастает. Только в данном кейсе в атаку попал еще непосредственно пользователь.
Спасибо за информацию она будет полезна коллеге @paveltyurikov. и дополнит его багаж знаний.
Ну в целом, хороший опыт, продолжайте ваши исследования.
А что вы на ней делали, какую задачу решали, и как все реализовывали ?
А есть еще ссылки на ресурсы с CVE ?
Неплохой такой набор.