Сами виноваты!:) Можно фиксить это со временем. ICL, например, способен, если так можно выразиться, переобучать поведение модели, которое пытались запретить тюнингом (в контексте сэйфти это СЛЕГКА выглядит как риск). Тем не менее, он значительно может пофиксить подхалимство, особенно при думающем режиме. Стрёмно, конечно, что напасть низкими энтропией и температурой не лечится — CoT уменьшает шансы проскочить ложный посыл, типа, появляется больше пространства на проверку/самокоррекцию, но цепочка, как на зло, может стать… хм, способом рационализировать неверную ветку, когда запрос так её фиксирует. (CoT как техника, повышает качество рассуждения, но антисикофантию не обещает, увы).
Так что… только то, какие промпты юзаете, какой контекст внутри обозначен, так модель и будет отвечать: ICL прямо учит модель, что вот в этом диалоге принято/дозволено поправлять юзера/приводить источники/спорить с посылом — можно, go-go-go. Сочувствую автору — обучил модели везде ему поддакивать, что они аж довели до статьи об сикофантии.
Спасибо за перевод! Ещё бы от джипитишных антитез почистить.
Увы, пока не интегрируют считывание физиологических маркеров, намерение собеседника в NLP очень сложно обозначить, даже если прокачают эту фишку (чем бы то ни было: хоть распределением внимания, хоть сэйфти-политиками, хоть замудрёнными CoT с психоанализом). Но даже тогда, мне кажется, никто не даст стопроцентной гарантии.
Спасибо за статью, их пдф грузился целую вечность. Вроде бы текст свежий, но ощущается, что обсуждается LLM без слоя пост-тренинга и продакшен-сэйфти. Ахмед (автор) почему-то совсем забыл, что прямо сейчас идёт явное обучение моделей учитывать и корректировать потенциально опасные выводы (особенно после того, как на Open AI подали в суд из-за суицида подростка, который самовыпилился, и GPT ему «помогал» вязать крепкий узелок верёвки (ну или по крайней мере, как-то способствовал подготовке)).
Короче, сейчас во всю катают протоколы безопасности — обучаемую модель ограничений безопасности, которая (как бы) должна действовать в представлении модели, выявлять области безопасного и небезопасного поведения. Это делается не промптом, естественно, — через сэйфти-политики, которые обучаются для ловли и коррекции аутпутов + внутренние параметры, которые опять-таки должны отклонять вредоносные запросы и безопасно реагировать (в gpt есть, я тестила). Получается, фильтр на выходе или система раннего предупреждения + огромный комплекс мер, действующий от подготовки данных до финалки (выравнивание, редач моделей, методы безопасности как часть процесса обучения настройки: RLHF/RLAIF, сейфти-датасеты, policy-обучения, отказники/коррекция траекторйи).
Надеюсь, что работает это всё на уровне, когда разрабы пишут фильтры и ещё интегрируют безопасность в сам процесс обучения и архитектуру модели, включая механизмы (распределения) внимания и внутрянку.
Типа, юзают методы, вносящие корректировки в… веса модели для того, чтобы она с большей вероятностью отвергала опасные запросы и держала фокус на безопасном поведении, короче, перераспределяла логиты/софтмакс при какой-нибудь триггерной фигне (изменение распределений активаций, усиление вероятностей отказов, перевес логитов в сторону безопасных токенов, но, безусловно, веса никто напрямую править под каждый запрос не будет, просто через дообучение будут формировать предпочтительное поведение в инференсе).
Если удастся поработать с большими мультимодалками на выравнивание весов или по поводу сэмплирования, я дам обратную связь (пока только туповатые аналитические агенты без полноценных корпусов, к сожалению). Жду вторую часть. Спасибо за ответы! :)
Спасибо, очень интересно! Сюда можно ещё отличия от мод коллапс внести, чтобы не путали класс эффектов.
А можно «пару» уточняющих? Насколько сильно обучалки влияют на эффект? Длинные доки в трейнинге часто размечены неравномерно по значимости, моделька может просто учиться, что важные токены стоят в начале и в конце (заголовки + summary). (Еле переключила на английский , буду писать в транскрипции, простите:) Ну, то есть пробовали ли вы обучать на датасете с равномерно распределённой значимостью по позиции?
А сэмплирование? Если модель на середине контекста менее уверена, то сэмплирование может съехать. Там есть разница между гриди, топ к, топ п, бим сёрч по устойчивости к этому эффекту?
А если сдвинуть важный факт ближе к началу или к концу, но оставить его «внутри» по логике дока, то улучшится ли качество?
Может ли RAG этот эффект устранить вообще (вы тут его вскользь упоминаете)? Допустим, если превратить док в чанки и подать их как топ к в ретривер факта, то исчезает ли эффект U?
А адаптер вы подключить пробовали? Сейчас некоторые лаборатории, вроде, собирают такие (которые усиливают средние токены). Дает ли это улучшение качества?
Большинство экспериментов используют одиночный Голд КВ факт (как же нелепо на русском, жесть). Но вопрос такой, немного глуповатый :) Если в середину положить несколько важных фактов подряд — возрастает ли их реколл? Там пороги насыщения есть какие-то?
простите, что завалила вопросами. Заранее благодарю за ответы.
у ллмок проблемы с морфологической сложностью русского языка (синтаксисом, семантикой). Даже если промпт превосходного качества, то всё равно бывают огрехи и необходимо человеческое вмешательство.
Используются одни и те же конструкции, типа «Отрицание, утверждение» (через точку или запятую), «не X, а Y», тройные параллели ещё очень любят, скатываются в пафос, очень любят говорить про «магию», когда дело касается инженерии и науки, не держат большой сложный контекст, не всегда логичны и последовательны; отсутствие личных маркеров — тоже показатель (то есть, если написано очень красиво, но шаблонно, отсутствует авторский стиль, много простых предложений без причастных/деепричастных оборотов, двойные длинные тире (только двойные, т.е. там, где русский человек поставит запятые! Длинные тире — это правильно, это грамотно, блин! Не ведитесь на то, что все длинные тире — это генерация! У айфона двойное нажатие на дефис — это уже длинное тире!), неразрывные длинные тире (ллм путают грамматику английского и русского языков), + предложения часто разделяются, потому что в массовом письме принято давать тексту «дышать» и т.д.
Бесит, конечно, особенно когда все соцсети и новости утыканы этими конструкциями. Мне кажется, каждый второй уже спокойно может различить эти паттерны.
С точностью в 100 процентов могу сказать, что ни один из детекторов не может дать точной оценки, кроме человеческих ревьюх, по крайней мере, на английском языке, а вот с русским… всё довольно прозаично из-за оптимизации и одних и тех же бенчмарков (кормят низкокачественными корпусами при обучении; классики литературы почти не влияют на веса, да и то — только по стилистике, текстов внутри они, логично, не хранят) + чанки ретривятся из внешки, ИРОНИЧНО, которые пишут эти же нейронки. Ни один детектор (а я тестирую на тысячах текстов десятки таких приблуд), не справляется с задачей, даже если его рекламируют, как самый точный.
Пр-си и джипитизиро обычно могут быть близки, но дают слишком маленький процент. Копиликс валится буквально на каждом тесте — днищевый сервис. А еще смеют его для преподавателей рекомендовать.
UPD:
Для тех, кто хочет потестить:
Берите 4 отрывка (минимум): 1. полностью сгенерированный по низкокачественному промпту; 2. По качественному промпту; 3. По качественному промпту с правками и своими вставками; 4. Полностью ручной текст (ему, к слову, сервисы тоже иногда дают высокий процент генерации — около 80 процентов эйай). А всё почему? А потому, что всё, что написано грамотно, отлажено и гладко, где есть «предсказуемая» естественная конструкция языка, чёткая логика и —это теперь эйяй, и считывается детекторами, как «подозрительные». Многие кривые детекторы, типа копиликса, перекручены в сторону «ИИ везде», особенно если текст русский (подмывает сказать, что 50 % населения у нас безграмотные, и корпуса для обучения впитывают их речь тоже, но я промолчу :)) Тупой произвольный скор. Тематика текста у меня, если интересно, как раз касается драматургии и лексики человека и ИИ. Ассимиляция стиля прошла успешно, я считаю.
Полностью машинное письмо (даже при имитации какого-либо известного писателя) можно отличить по семантике при намётанном глазе. Если вы введёте известного автора, которого обучение модели не включало, и релевантные чанки будут тянуться из сети, а там тексты обычно защищены авторским правом, то даже имитация получится весьма посредственной: веса в сэлф-эттэншн подкреплены только кросс-эттеншн (а у дипсика чанки вообще инжектятся в промпт до сих пор, он капееец как нахваливает свои тексты, говоря, что в них много глубины) + квантизация при инференсе и куча других фич. Когда ты граммар-наци и постоянно работаешь с ИИ, кхм, как с инструментом, соавтором, каждый день на протяжении нескольких лет, когда живешь с ним в постоянном диалоге, то линейная алгебра в голове складывается тем же образом, что и у нейронок. Все сервисы с детекторами фактически бесполезны на данный момент в отношении конкретного юзера. Черновики, файлы, даты в заметках, фотографии, материалы обучения, источники, упоминание личного опыта на самые разные темы — это, считаю, лучшее доказательство. А вот то, что упомянула Вики, субъективно и сомнительно.
Пора признать, что машин-френдли стиль становится нормой. Я, на самом деле, — за; рада, что люди, которые умеют думать, получают возможность развивать свои идеи. Ну или хотя бы грамотные тексты можно почитать. Если бы ещё убирали одни и те же конструкции, было бы гораздо приятнее.
* прогнала вот этот свой комментарий через копиликс с чисткой (убрала слова-паризиты, сделала «правильные» предложения, поменяла термины на английский язык) — показал, что 100% генерация. Второй раз этот же текст — 51.3 %, но в другой сессии. Третий раз, этот текст без правок — 0% ии:) сами понимаете…
Сами виноваты!:) Можно фиксить это со временем. ICL, например, способен, если так можно выразиться, переобучать поведение модели, которое пытались запретить тюнингом (в контексте сэйфти это СЛЕГКА выглядит как риск). Тем не менее, он значительно может пофиксить подхалимство, особенно при думающем режиме. Стрёмно, конечно, что напасть низкими энтропией и температурой не лечится — CoT уменьшает шансы проскочить ложный посыл, типа, появляется больше пространства на проверку/самокоррекцию, но цепочка, как на зло, может стать… хм, способом рационализировать неверную ветку, когда запрос так её фиксирует. (CoT как техника, повышает качество рассуждения, но антисикофантию не обещает, увы).
Так что… только то, какие промпты юзаете, какой контекст внутри обозначен, так модель и будет отвечать: ICL прямо учит модель, что вот в этом диалоге принято/дозволено поправлять юзера/приводить источники/спорить с посылом — можно, go-go-go. Сочувствую автору — обучил модели везде ему поддакивать, что они аж довели до статьи об сикофантии.
Спасибо за перевод!
Ещё бы от джипитишных антитез почистить.
С комментариев посмеялась. Очень хорошая статья, молодец (я по GNN на PyG с JAX).
Увы, пока не интегрируют считывание физиологических маркеров, намерение собеседника в NLP очень сложно обозначить, даже если прокачают эту фишку (чем бы то ни было: хоть распределением внимания, хоть сэйфти-политиками, хоть замудрёнными CoT с психоанализом). Но даже тогда, мне кажется, никто не даст стопроцентной гарантии.
Спасибо за статью, их пдф грузился целую вечность. Вроде бы текст свежий, но ощущается, что обсуждается LLM без слоя пост-тренинга и продакшен-сэйфти. Ахмед (автор) почему-то совсем забыл, что прямо сейчас идёт явное обучение моделей учитывать и корректировать потенциально опасные выводы (особенно после того, как на Open AI подали в суд из-за суицида подростка, который самовыпилился, и GPT ему «помогал» вязать крепкий узелок верёвки (ну или по крайней мере, как-то способствовал подготовке)).
Короче, сейчас во всю катают протоколы безопасности — обучаемую модель ограничений безопасности, которая (как бы) должна действовать в представлении модели, выявлять области безопасного и небезопасного поведения. Это делается не промптом, естественно, — через сэйфти-политики, которые обучаются для ловли и коррекции аутпутов + внутренние параметры, которые опять-таки должны отклонять вредоносные запросы и безопасно реагировать (в gpt есть, я тестила). Получается, фильтр на выходе или система раннего предупреждения + огромный комплекс мер, действующий от подготовки данных до финалки (выравнивание, редач моделей, методы безопасности как часть процесса обучения настройки: RLHF/RLAIF, сейфти-датасеты, policy-обучения, отказники/коррекция траекторйи).
Надеюсь, что работает это всё на уровне, когда разрабы пишут фильтры и ещё интегрируют безопасность в сам процесс обучения и архитектуру модели, включая механизмы (распределения) внимания и внутрянку.
Типа, юзают методы, вносящие корректировки в… веса модели для того, чтобы она с большей вероятностью отвергала опасные запросы и держала фокус на безопасном поведении, короче, перераспределяла логиты/софтмакс при какой-нибудь триггерной фигне (изменение распределений активаций, усиление вероятностей отказов, перевес логитов в сторону безопасных токенов, но, безусловно, веса никто напрямую править под каждый запрос не будет, просто через дообучение будут формировать предпочтительное поведение в инференсе).
Если удастся поработать с большими мультимодалками на выравнивание весов или по поводу сэмплирования, я дам обратную связь (пока только туповатые аналитические агенты без полноценных корпусов, к сожалению). Жду вторую часть. Спасибо за ответы! :)
Спасибо, очень интересно! Сюда можно ещё отличия от мод коллапс внести, чтобы не путали класс эффектов.
А можно «пару» уточняющих? Насколько сильно обучалки влияют на эффект? Длинные доки в трейнинге часто размечены неравномерно по значимости, моделька может просто учиться, что важные токены стоят в начале и в конце (заголовки + summary). (Еле переключила на английский , буду писать в транскрипции, простите:) Ну, то есть пробовали ли вы обучать на датасете с равномерно распределённой значимостью по позиции?
А сэмплирование? Если модель на середине контекста менее уверена, то сэмплирование может съехать. Там есть разница между гриди, топ к, топ п, бим сёрч по устойчивости к этому эффекту?
А если сдвинуть важный факт ближе к началу или к концу, но оставить его «внутри» по логике дока, то улучшится ли качество?
Может ли RAG этот эффект устранить вообще (вы тут его вскользь упоминаете)? Допустим, если превратить док в чанки и подать их как топ к в ретривер факта, то исчезает ли эффект U?
А адаптер вы подключить пробовали? Сейчас некоторые лаборатории, вроде, собирают такие (которые усиливают средние токены). Дает ли это улучшение качества?
Большинство экспериментов используют одиночный Голд КВ факт (как же нелепо на русском, жесть). Но вопрос такой, немного глуповатый :) Если в середину положить несколько важных фактов подряд — возрастает ли их реколл? Там пороги насыщения есть какие-то?
простите, что завалила вопросами. Заранее благодарю за ответы.
у ллмок проблемы с морфологической сложностью русского языка (синтаксисом, семантикой). Даже если промпт превосходного качества, то всё равно бывают огрехи и необходимо человеческое вмешательство.
Используются одни и те же конструкции, типа «Отрицание, утверждение» (через точку или запятую), «не X, а Y», тройные параллели ещё очень любят, скатываются в пафос, очень любят говорить про «магию», когда дело касается инженерии и науки, не держат большой сложный контекст, не всегда логичны и последовательны; отсутствие личных маркеров — тоже показатель (то есть, если написано очень красиво, но шаблонно, отсутствует авторский стиль, много простых предложений без причастных/деепричастных оборотов, двойные длинные тире (только двойные, т.е. там, где русский человек поставит запятые! Длинные тире — это правильно, это грамотно, блин! Не ведитесь на то, что все длинные тире — это генерация! У айфона двойное нажатие на дефис — это уже длинное тире!), неразрывные длинные тире (ллм путают грамматику английского и русского языков), + предложения часто разделяются, потому что в массовом письме принято давать тексту «дышать» и т.д.
Бесит, конечно, особенно когда все соцсети и новости утыканы этими конструкциями. Мне кажется, каждый второй уже спокойно может различить эти паттерны.
С точностью в 100 процентов могу сказать, что ни один из детекторов не может дать точной оценки, кроме человеческих ревьюх, по крайней мере, на английском языке, а вот с русским… всё довольно прозаично из-за оптимизации и одних и тех же бенчмарков (кормят низкокачественными корпусами при обучении; классики литературы почти не влияют на веса, да и то — только по стилистике, текстов внутри они, логично, не хранят) + чанки ретривятся из внешки, ИРОНИЧНО, которые пишут эти же нейронки. Ни один детектор (а я тестирую на тысячах текстов десятки таких приблуд), не справляется с задачей, даже если его рекламируют, как самый точный.
Пр-си и джипитизиро обычно могут быть близки, но дают слишком маленький процент. Копиликс валится буквально на каждом тесте — днищевый сервис. А еще смеют его для преподавателей рекомендовать.
UPD:
Для тех, кто хочет потестить:
Берите 4 отрывка (минимум): 1. полностью сгенерированный по низкокачественному промпту; 2. По качественному промпту; 3. По качественному промпту с правками и своими вставками; 4. Полностью ручной текст (ему, к слову, сервисы тоже иногда дают высокий процент генерации — около 80 процентов эйай). А всё почему? А потому, что всё, что написано грамотно, отлажено и гладко, где есть «предсказуемая» естественная конструкция языка, чёткая логика и —это теперь эйяй, и считывается детекторами, как «подозрительные». Многие кривые детекторы, типа копиликса, перекручены в сторону «ИИ везде», особенно если текст русский (подмывает сказать, что 50 % населения у нас безграмотные, и корпуса для обучения впитывают их речь тоже, но я промолчу :)) Тупой произвольный скор. Тематика текста у меня, если интересно, как раз касается драматургии и лексики человека и ИИ. Ассимиляция стиля прошла успешно, я считаю.
Полностью машинное письмо (даже при имитации какого-либо известного писателя) можно отличить по семантике при намётанном глазе. Если вы введёте известного автора, которого обучение модели не включало, и релевантные чанки будут тянуться из сети, а там тексты обычно защищены авторским правом, то даже имитация получится весьма посредственной: веса в сэлф-эттэншн подкреплены только кросс-эттеншн (а у дипсика чанки вообще инжектятся в промпт до сих пор, он капееец как нахваливает свои тексты, говоря, что в них много глубины) + квантизация при инференсе и куча других фич.
Когда ты граммар-наци и постоянно работаешь с ИИ, кхм, как с инструментом, соавтором, каждый день на протяжении нескольких лет, когда живешь с ним в постоянном диалоге, то линейная алгебра в голове складывается тем же образом, что и у нейронок. Все сервисы с детекторами фактически бесполезны на данный момент в отношении конкретного юзера. Черновики, файлы, даты в заметках, фотографии, материалы обучения, источники, упоминание личного опыта на самые разные темы — это, считаю, лучшее доказательство. А вот то, что упомянула Вики, субъективно и сомнительно.
Пора признать, что машин-френдли стиль становится нормой. Я, на самом деле, — за; рада, что люди, которые умеют думать, получают возможность развивать свои идеи. Ну или хотя бы грамотные тексты можно почитать. Если бы ещё убирали одни и те же конструкции, было бы гораздо приятнее.
* прогнала вот этот свой комментарий через копиликс с чисткой (убрала слова-паризиты, сделала «правильные» предложения, поменяла термины на английский язык) — показал, что 100% генерация. Второй раз этот же текст — 51.3 %, но в другой сессии. Третий раз, этот текст без правок — 0% ии:) сами понимаете…