Локально ≠ безопасно: как скачанные ИИ-модели и LoRA-адаптеры крадут пароли, ключи и деньги

[ToxaBes]

Всего 2 простых правила если даете доступ к системе снаружи:

1. Не используйте чужие аблитерированные модели.

2. Не используйие чужие LoRA-адаптеры.

При необходимости, ML-инженер (не вайбкодер) легко и быстро сделает свою аблитерацию или адаптацию любой модели без закладок и рисков. Хотя, аблитерация в принципе не нужна в реальных системах, это все баловство.

А вот это вот "скачал, что нашел на HF или civit.ai и закинул в свой пайплайн" небезопасно по определению. Исключение: крупные провайдеры типа Alibaba.

[Void-Cowboy]

с "легко" я бы поспорил, особенно если что-то из последних на 100+ гб но в целом логика такая что бы не юзать "не проверенных" распространителей и все

хотя в целом использование "дообученых" моделей обычно затрагивает или расцензуривание или фокусировку на конкретных задачах и там хватает проверенных "безопасных" распространителей

[ToxaBes]

с "легко" я бы поспорил, особенно если что-то из последних на 100+ гб

А какая разница? Хоть 400B, процесс ничем не отличается, кроме железа.

Вообще, в реальных системах в этом году я больше 80B не внедрял и не дообучал/адаптировал, и не видел чтобы коллеги что-то большее в прод тащили, просто не нужно было.

обычно затрагивает или расцензуривание или фокусировку на конкретных задачах

Расцензурирование нужно в очень редких случаях в узких доменах, условно, письки коням рисовать или матом клиентам отвечать.

[Void-Cowboy]

вы сами ответили на вопрос - железо)

а за расцензуривание не согласен - как по мне наоборот основная рабочая модель особенно в кодовых агентах не должна иметь ограничений
"матом отвечать" это едва ли 1% а вот реальные задачи в среднем меньше токенов жрут без цензуры, спецом замерял лично

[ToxaBes]

Для кода и агентной работы аблитерирование обычно не проводится, т. к. в локальном контуре на своей модели выигрыш небольшой, а задеть фактологические знания можно легко, особенно в thinking моделях с CoT.

Короче, оно того не стоит.