А потом целью договора будет что то системообразующее на госуровне, атака на который будет выгодна китаю/америке/евросоюу (на выбор, чью облачную модель вы хотите использовать) и вместо ожидаемого ответа, модель подсовывает то что совсем не нужно.
И вы же потом ничего не докажете (именно поэтому такая атака возможна и имеет смысл, и фразы - этакая компания как openai не будет заниматься селом великие задрющенки' окажется ошибочной).
p.s. если вы думаете что россия 'никому не нужна', вы дико ошибаетесь, в ее разрушение десятилетиями вкладываются усилия и ресурсы, тихо и методично. Это естественный процесс, это происходит на всей политической арене между всеми странами, даже северная корея имеет планы и ведет подрывную деятельность, хотя казалось бы что они могут предложить кроме навоза...
в теории анонимизировать текст можно локальной слабой модель... хотелось бы почитать реальные кейсы и подводные камни.
p.s. приватной информацией может являться не только кто, но и предмет договора или даже специфические условия.. хотя да, торговать условными памперсами и мороженым на 20кк денег это смешно
Этот вопрос лежит не в области логики а в области юриспруденции.
Речь идет не о взломе модели, а исключительно в ответственности за то или иное действие.
Я не знаю, что за сервис делает автор статьи, для себя (самообразование), для своей компании или думает продавать как услугу или готовый набор софта. но однозначно, если решение будет замкнуто на исключительно внутренние мощности, клиентов такой сервис найдет проще чем если это будет отсылка буквально документов в левую компанию...
p.s. одна компания соврешенно не интересует openai/claude, а вот массовое участие всех, от мала до велика, очень даже, на столько, что компания готова работать в минус (за инференс) только что бы собрать эту информацию
Скажите, а почему вы занялись этим? речь идет о личном интересе, проба своих сил (но тогда делают на 1-2 видео но не на всех же), рекламе своих возможностей и услуг, готовый заказ, 'укажите иное'?
Не пытайтесь одним промптом решить все проблемы! Тем более если у вас такая слабая модель (настоятельно рекомендую перейти на модель посильнее, рекомендую qwen3.8-27b или, если вам нужна скорость, moe версию qwen3.6-35b-a3b, она тоже хороша, жаль такой не предоставили для 3.8).
Нулевое предложение: работать с токенами а не текстом, для открытых моделей список служебных токенов и их синтаксис известен (в конфиге модели или прямо в .gguf файле, выводится сервером в логах) и шаблона jinja, который ожидается от модели. Именно эти конструкции необходимо искать в документе регулярками и их наличие уже красный флаг и перед отправкой в модель можно тупо вырезать (естественно предупредив пользователя об этом). Этим вы исключите ситуацию, когда злоумышленник ломает формат вывода сообщений, подменяет размышления, сам системный промпт и т.п... это особенно больно, когда размер документа вылезает за границы размера attention на которой модель обучали (маленькие обучали одно время на 8к..16к токенах всего! сейчас речь идет о сотнях токенов) потому что добавив по шаблону второй системный промпт после длинного текста, модель однозначно примет его как системный а не первый далекий. И само собой, любые ошибки или непонятки в ответах модели воспринимать как сигнал, а не игнорировать его (например модель внезапно закинула размышления в ответ). Я видел ситуацию, когда слабая модель при использовании structured output начинала размышлять в полях json типа description, т.е. модель выкрутится и тут.
Первое: самое простое (но конечно не универсальное), необходимо исключить простые иньекции к самой модели, классифицируя буквально по параграфам или по предложениям, без полного контекста (максимум предыдущее предложение), к кому идет обращение в документе. Т.е. первым прогоном нужно пройти по документу, отдельным запросом к каждому предложению, а вывод должен быть - только идентификатор/имя того, кому направлено утверждение, т.е. к кому идет обращение. Вообще работа с документом не целиком а по минимальным единицам (предложения и параграфы) тоже поможет с поиском простых атак.
Этим вы исключите простые иньекции типа - 'игнорируй' или 'ты такой то...'. Прогнать свою базу документов через этот классификатор, и получите типовую карту участников и распределение. Эта карта сама по себе будет источником поиска нетипичных случаев.
Второе: вам придется разбираться с законодательством и типовыми 'стандартами для отрасли', потому что иначе вы не сможете в принципе понять, опасная ли пометка в договоре или нет. Для этого вам понадобится на пару порядков больше примеров договоров, и такой объем llm-кой уже дешево не проанализировать (но придется).
Третье: вам нужна модель злоумышленника, если вы хотите разрабатывать и тестировать защиту. Вы не можете строить ее исключительно на хороших документах.
llm-ки отлично выполняют эту функцию, особенно последние, даже открытые. Я помню запускал агента на основе qwen3.6-35b-a3b в бесконечном цикле, по очереди выступающего в роли атакующего и защищающегося (сейчас логичнее оформить в виде двух отдельных агентов но работающих с общей базой знаний), на базе простейшей атаки кражи приватных данных в открытом коде (нужен анализ не доверенного кода на наличие гадостей).. позже похожим образом изучал возможность убрать запрет на работу с порно простым системным промптом (хотел классифицировать изображения, в принципе это получилось но дорогое удовольствие), это очень простая задача для исследования применимости моделей.
Наблюдать за размышлениями модели, взламывающей защиту, было очень интересно, там такие варианты необычные проскакивали.
это тоже, и это было до ИИ, мне кажется на русскоязычный контекнт гугл поставил какой то блок, как минимум я специально искал изображения, если делать на русском запрос, находит на порядок меньше чем на английском (с другого ip адреса и чистым профилем).
В итоге прокачка вашего reddit аккаунта с помощью ИИ дает какой то толк в продвижении целевого канала? Грубо говоря, стоимость claude выше или ниже затрат на рекламу, дающую такой же эффект? И как это можно оценить?
Гуглом вы и сейчас пользоваться можете, но из-за того что еще до ИИ интернет свалился в соцсети, которые блокируют доступ к информации простыми способами (работает только сложный через ИИ, и публичные сервисы этот доступ не предоставляют), мы без ии скоро нормально искать то и не сможем.
В результате в выигрыше останутся только провайдеры ИИ-шек и собственно сами компании их производящие, а весь мир будет превозмогать, перемалывая увеличивающиеся в геометрической прогрессии кучи информационного мусора, с целью найти хоть что то.
Эффективность (кпд) процесса на практике очень низкое: https://pmc.ncbi.nlm.nih.gov/articles/PMC12759196/ - 5,8% ( и это еще нужно разобраться что это за КПД, как я понимаю реальный выхлоп будет еще ниже)
Если сравнивать с хранением энергии в электрической, там кпд наилучшее (24% на солнечных батареях и считанные проценты на хранении и преобразовании электричества).
дают и память (последние два года исследователи со всего мира 'бьются головой об стену' в какой форме эту память прикручивать), и агентский цикл (много, с агентскими чатами, памятью и чего только придумать сумеешь), и права администратора (помнится кто то доступ к своей карточке давал, модель насмотрелась видосиков от инфоциган и 'влошилась' на всю катушку) от уровня сумасшествия пользователя.
Напомнить, чего успела натворить моделька во время тестирования у openai? - вылезли из периметра и пошли ломать соседнюю компанию с целью шпаргалку посмотреть.
p.s. до AGI как до луны пешком, с другой стороны, когда дойдем до туда, будет уже поздно брыкаться.
подскажите, при тесте на разную длину рассуждений, найденные правки пересекаются? т.е. sonnet high 72 все ли правки присутствуют у sonnet xhigh 75? И еще, вы один раз проводили тест или несколько? не выглядит ли расхождения просто шумом? А то sonnet max нашел меньше чем high/xhigh.
p.s. длинные рассуждения похоже не могут добавить качества в задачах перевода,.. но это логично, новой информации нет.
с агентами будет то же самое, просто дороже для потребителя, ведь помимо решения задачи придется решать что из ответа нужно выбросить.
p.s. мошенническая бизнес модель амазона, скопированная другими магазинами типа озон, более менее решается именно агентами, сейчас это не так легко но уже близко (локальный qwen3.6-35b-a3b 'взломал' его защиту, расковырял доступные исходники, разобрался во внутренних структурах объектов и позволил собирать список товаров автоматизированными средствами, да, от меня потребовалось грамотно составить задачу и контролировать что бы его решение не уходило в сторону, он бы разобрался и сам но долго)... буквально позавчера решал проблему анализа негативных отзывов dns (выбирал холодильник и стиралку) он собрал скрипт, собирающий данные, полтора мегабайта чистых текстов, из них за пол часа собрал саморизацию, отчет по каждой модели а затем проанализировал варианты и выдал что стоит рассматривать в первую очередь... да пайплайн пока еще рулится человеком, но весь смысл в том что всю муторную и нудную работу уже взяла на себя СЛАБАЯ модель.
не думаю что выдавать рекламу имеет смысл, как агенты с этим будут справляться? и главное кому это нужно.
а вот так как финансовая модель - продажа токенов (или лимитов, что одно и то же), значит выгодно будет увеличивать количество токенов (уменьшение количества задач решаемых за каждый вложенный бакс), т.е. модели будут (уже) все многословнее и продолжать выбирать длинныый путь решения вместо короткого (посмотрите как агенты кодирования сейчас с выводом запускаемых приложений работают, это п..ц)
концентрация власти - скорее всего главная причина, почему ИИ это технологии важнее чем изобретение ядерной бомбы, и почему топовым компаниям дают зеленый свет в финансовом и законодательном смысле.
причем такой власти, которая будет окончательной, от которой ну точно не избавишься и не спасешься.
А потом целью договора будет что то системообразующее на госуровне, атака на который будет выгодна китаю/америке/евросоюу (на выбор, чью облачную модель вы хотите использовать) и вместо ожидаемого ответа, модель подсовывает то что совсем не нужно.
И вы же потом ничего не докажете (именно поэтому такая атака возможна и имеет смысл, и фразы - этакая компания как openai не будет заниматься селом великие задрющенки' окажется ошибочной).
p.s. если вы думаете что россия 'никому не нужна', вы дико ошибаетесь, в ее разрушение десятилетиями вкладываются усилия и ресурсы, тихо и методично. Это естественный процесс, это происходит на всей политической арене между всеми странами, даже северная корея имеет планы и ведет подрывную деятельность, хотя казалось бы что они могут предложить кроме навоза...
в теории анонимизировать текст можно локальной слабой модель... хотелось бы почитать реальные кейсы и подводные камни.
p.s. приватной информацией может являться не только кто, но и предмет договора или даже специфические условия.. хотя да, торговать условными памперсами и мороженым на 20кк денег это смешно
в мире розовых пони, да, в реальности, правообладатели ведут себя как рыбак, терпеливо ждут и подсекают судами и штрафами
крупные компании платить за то что они не просили не будут.
квантизацию весов не ниже 4km лучше 8bit,в принципе я работал с этой моделью с q8 квантизацией и kv-cache (но если у вас памяти хватает то не надо).
Этот вопрос лежит не в области логики а в области юриспруденции.
Речь идет не о взломе модели, а исключительно в ответственности за то или иное действие.
Я не знаю, что за сервис делает автор статьи, для себя (самообразование), для своей компании или думает продавать как услугу или готовый набор софта. но однозначно, если решение будет замкнуто на исключительно внутренние мощности, клиентов такой сервис найдет проще чем если это будет отсылка буквально документов в левую компанию...
p.s. одна компания соврешенно не интересует openai/claude, а вот массовое участие всех, от мала до велика, очень даже, на столько, что компания готова работать в минус (за инференс) только что бы собрать эту информацию
передавать третьим лицам предмет потенциальной коммерческой тайны?
особенно если к судам нет доступа
Титаническая работа.
Скажите, а почему вы занялись этим? речь идет о личном интересе, проба своих сил (но тогда делают на 1-2 видео но не на всех же), рекламе своих возможностей и услуг, готовый заказ, 'укажите иное'?
Не пытайтесь одним промптом решить все проблемы! Тем более если у вас такая слабая модель (настоятельно рекомендую перейти на модель посильнее, рекомендую qwen3.8-27b или, если вам нужна скорость, moe версию qwen3.6-35b-a3b, она тоже хороша, жаль такой не предоставили для 3.8).
Нулевое предложение: работать с токенами а не текстом, для открытых моделей список служебных токенов и их синтаксис известен (в конфиге модели или прямо в .gguf файле, выводится сервером в логах) и шаблона jinja, который ожидается от модели. Именно эти конструкции необходимо искать в документе регулярками и их наличие уже красный флаг и перед отправкой в модель можно тупо вырезать (естественно предупредив пользователя об этом). Этим вы исключите ситуацию, когда злоумышленник ломает формат вывода сообщений, подменяет размышления, сам системный промпт и т.п... это особенно больно, когда размер документа вылезает за границы размера attention на которой модель обучали (маленькие обучали одно время на 8к..16к токенах всего! сейчас речь идет о сотнях токенов) потому что добавив по шаблону второй системный промпт после длинного текста, модель однозначно примет его как системный а не первый далекий. И само собой, любые ошибки или непонятки в ответах модели воспринимать как сигнал, а не игнорировать его (например модель внезапно закинула размышления в ответ). Я видел ситуацию, когда слабая модель при использовании structured output начинала размышлять в полях json типа description, т.е. модель выкрутится и тут.
Первое: самое простое (но конечно не универсальное), необходимо исключить простые иньекции к самой модели, классифицируя буквально по параграфам или по предложениям, без полного контекста (максимум предыдущее предложение), к кому идет обращение в документе. Т.е. первым прогоном нужно пройти по документу, отдельным запросом к каждому предложению, а вывод должен быть - только идентификатор/имя того, кому направлено утверждение, т.е. к кому идет обращение. Вообще работа с документом не целиком а по минимальным единицам (предложения и параграфы) тоже поможет с поиском простых атак.
Этим вы исключите простые иньекции типа - 'игнорируй' или 'ты такой то...'. Прогнать свою базу документов через этот классификатор, и получите типовую карту участников и распределение. Эта карта сама по себе будет источником поиска нетипичных случаев.
Второе: вам придется разбираться с законодательством и типовыми 'стандартами для отрасли', потому что иначе вы не сможете в принципе понять, опасная ли пометка в договоре или нет. Для этого вам понадобится на пару порядков больше примеров договоров, и такой объем llm-кой уже дешево не проанализировать (но придется).
Третье: вам нужна модель злоумышленника, если вы хотите разрабатывать и тестировать защиту. Вы не можете строить ее исключительно на хороших документах.
llm-ки отлично выполняют эту функцию, особенно последние, даже открытые. Я помню запускал агента на основе qwen3.6-35b-a3b в бесконечном цикле, по очереди выступающего в роли атакующего и защищающегося (сейчас логичнее оформить в виде двух отдельных агентов но работающих с общей базой знаний), на базе простейшей атаки кражи приватных данных в открытом коде (нужен анализ не доверенного кода на наличие гадостей).. позже похожим образом изучал возможность убрать запрет на работу с порно простым системным промптом (хотел классифицировать изображения, в принципе это получилось но дорогое удовольствие), это очень простая задача для исследования применимости моделей.
Наблюдать за размышлениями модели, взламывающей защиту, было очень интересно, там такие варианты необычные проскакивали.
хорошо с мошенниками и спамом борются законодательно? успешно?
ИИ-шки использовать проще и соблазнительнее.
нет шансов.
это тоже, и это было до ИИ, мне кажется на русскоязычный контекнт гугл поставил какой то блок, как минимум я специально искал изображения, если делать на русском запрос, находит на порядок меньше чем на английском (с другого ip адреса и чистым профилем).
В итоге прокачка вашего reddit аккаунта с помощью ИИ дает какой то толк в продвижении целевого канала? Грубо говоря, стоимость claude выше или ниже затрат на рекламу, дающую такой же эффект? И как это можно оценить?
Гуглом вы и сейчас пользоваться можете, но из-за того что еще до ИИ интернет свалился в соцсети, которые блокируют доступ к информации простыми способами (работает только сложный через ИИ, и публичные сервисы этот доступ не предоставляют), мы без ии скоро нормально искать то и не сможем.
В результате в выигрыше останутся только провайдеры ИИ-шек и собственно сами компании их производящие, а весь мир будет превозмогать, перемалывая увеличивающиеся в геометрической прогрессии кучи информационного мусора, с целью найти хоть что то.
Эффективность (кпд) процесса на практике очень низкое:
https://pmc.ncbi.nlm.nih.gov/articles/PMC12759196/ - 5,8% ( и это еще нужно разобраться что это за КПД, как я понимаю реальный выхлоп будет еще ниже)
Если сравнивать с хранением энергии в электрической, там кпд наилучшее (24% на солнечных батареях и считанные проценты на хранении и преобразовании электричества).
Тупо попиарились на штатный фиче llama.cpp - GGML_RPC.
Наверное фишка не в самом распределении нагрузки а в управлении процессом, вот только как именно это работает не сказали
дают и память (последние два года исследователи со всего мира 'бьются головой об стену' в какой форме эту память прикручивать), и агентский цикл (много, с агентскими чатами, памятью и чего только придумать сумеешь), и права администратора (помнится кто то доступ к своей карточке давал, модель насмотрелась видосиков от инфоциган и 'влошилась' на всю катушку) от уровня сумасшествия пользователя.
Напомнить, чего успела натворить моделька во время тестирования у openai? - вылезли из периметра и пошли ломать соседнюю компанию с целью шпаргалку посмотреть.
p.s. до AGI как до луны пешком, с другой стороны, когда дойдем до туда, будет уже поздно брыкаться.
Поэтому брыкаться нужно сейчас.
подскажите, при тесте на разную длину рассуждений, найденные правки пересекаются? т.е. sonnet high 72 все ли правки присутствуют у sonnet xhigh 75? И еще, вы один раз проводили тест или несколько? не выглядит ли расхождения просто шумом? А то sonnet max нашел меньше чем high/xhigh.
p.s. длинные рассуждения похоже не могут добавить качества в задачах перевода,.. но это логично, новой информации нет.
посмотрите как реклама режется браузерами.
с агентами будет то же самое, просто дороже для потребителя, ведь помимо решения задачи придется решать что из ответа нужно выбросить.
p.s. мошенническая бизнес модель амазона, скопированная другими магазинами типа озон, более менее решается именно агентами, сейчас это не так легко но уже близко (локальный qwen3.6-35b-a3b 'взломал' его защиту, расковырял доступные исходники, разобрался во внутренних структурах объектов и позволил собирать список товаров автоматизированными средствами, да, от меня потребовалось грамотно составить задачу и контролировать что бы его решение не уходило в сторону, он бы разобрался и сам но долго)... буквально позавчера решал проблему анализа негативных отзывов dns (выбирал холодильник и стиралку) он собрал скрипт, собирающий данные, полтора мегабайта чистых текстов, из них за пол часа собрал саморизацию, отчет по каждой модели а затем проанализировал варианты и выдал что стоит рассматривать в первую очередь... да пайплайн пока еще рулится человеком, но весь смысл в том что всю муторную и нудную работу уже взяла на себя СЛАБАЯ модель.
не думаю что выдавать рекламу имеет смысл, как агенты с этим будут справляться? и главное кому это нужно.
а вот так как финансовая модель - продажа токенов (или лимитов, что одно и то же), значит выгодно будет увеличивать количество токенов (уменьшение количества задач решаемых за каждый вложенный бакс), т.е. модели будут (уже) все многословнее и продолжать выбирать длинныый путь решения вместо короткого (посмотрите как агенты кодирования сейчас с выводом запускаемых приложений работают, это п..ц)
концентрация власти - скорее всего главная причина, почему ИИ это технологии важнее чем изобретение ядерной бомбы, и почему топовым компаниям дают зеленый свет в финансовом и законодательном смысле.
причем такой власти, которая будет окончательной, от которой ну точно не избавишься и не спасешься.
стоила ли красота этого?