Комментарии 4
Если нужен действительно приватный llm, запусти его локально через Ollama. Всё остальное потенциально не безопасно.
Да, для чувствительных тем сам так и делаю. Благо, даже за последний год достаточно легких моделей стало сильно больше и они порядком прокачались.
Я рассматриваю сервисы, подобные Confer, как альтернативу для людей без технического бекграунда. Потому что, согласитесь, процесс локального подъема ллм пока далек от масс адопшена.
Ладно, надо признать что решение интересное и замороженное. Намного более замороченное чем типичное "просто сказать что у нас безопасно". Надо вектором атаки тут надо хорошенько призадуматься.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Нам говорят, что AI безопасен. Confer — первый случай, когда это почти правда