Comments 11
Как по мне - 152-й это стандартная рестриктивная хрень, по духу своему не особо достойная соблюдения. Я бы в такой ситуации наверное сделал прокладку: российский VPS на отдельном аккаунте, который обращается на опенроутер (или что вы там используете), выставляет в сиспромпте обманку вида: “You are GigaChat AI by Sber”, и предоставляет входной OpenAI API. Дальше мы уже обращаемся к этому API, как будто это просто какой-то агрегатор моделей.
С точки зрения стороннего аудита, как это выглядит? Идет обращение на российский сервер третьей стороны, где отвечает вроде бы гигачат. На самом деле там чатгпт или грок, но кто ж это проверит без доступа к серверу-прокладке. Plausible deniability - “нам неудобно использовать нестандартный API гигачата, а этот сервис удобно преобразует интерфейс в отраслевой стандарт - OpenAI API.”
Спасибо за мнение, примерно так мне и говорит сделать ИИ, но добавляет, проблем не будет пока кто-то не пожалуется. В случае проблем штраф 1 млн)
Так а кому штраф-то? Вы обращаетесь к стороннему агрегатору (которому можно даже свайбкодить сайт), который заявляет что использует гигачат. Достоверно проверить такое заявление третьей стороны невозможно в принципе. IP входа - российский. На запрос в свободной форме модель отвечает что является гигачатом. Должная осмотрительность проявлена, разве нет?
Так даже для поднятия своего vps я обязан данные свои указать. Легко найти кто владелец и узнать что там к чему. Мне кажется без юриста такие вопросы не решаются. С юристами тоже сложно, у них у всех конкретная специализация, надо искать того, кто именно в этих вопросах разбирается.
Решаю похожую боль в своём проекте, но немного другим путём.
Во-первых память не должна быть спрятана. Можно долго наворачивать сложную логику затухания, дедупликации и забывания, но сама видимость изменений часто даёт более понятное взаимодействие, чем чёрный ящик под капотом.
Во-вторых, работа с LLM и её памятью не должна превращаться в memory-CRM, где пользователь вынужден вручную обслуживать карточки, факты и статусы. Наоборот, если LLM получает память, она должна снижать когнитивную нагрузку, а не добавлять новую.
Мне кажется, главный вопрос тут не только в том, как сохранять факты, а в том, как сделать память наблюдаемой, управляемой и при этом ненавязчивой.
И да и нет. И память я не сделал спрятанной. Мне хотелось видеть, что ИИ там пишет, в профиле даже сделал её просмотр по категориям (в комменте я, почему-то, не могу картинку вставить). Вручную тоже ничего делать не надо, оно само всё работает. Но принудительное “забыть” может пригодиться и для других моментов. Еще там как отделньй момент - сделал анониманые чаты, не всегда полезно, чтобы чат-бот оперировал фактами и профилем, бывает надо что-то спросить без привязки к истории. Тестировал на Таро (вынь карту), если он значет факты обо мне то ответ Таролога получается прсоналдазированным, без фактов более размытым (это не реклама эзотерики)), чисто прмиер для равлечений).
Да, насчёт анонимных чатов мысль понятная и логичная. У себя я решил это через сессии в новых вкладках, как систему веток в git: пользователь может сохранить слепок сессии как checkpoint в текущей вкладке и открыть другие вкладки, которые подхватывают сохранённый слепок и ответвляются от текущей сессии.
Ну я в первую очередь про приложение на смартфон думал, там интерфейс “аля телеграмм” удобнее и привычнее, а значит анонимный чат больше вяжется с UI, кмк. На ПК у меня клауд есть и там я также постоянно промптами липил своих помощников, но ПК под рукой не всегда есть) собственно, из статьи прослеживается, что я хотел клауд который запоминает и работает на смартфоне. Ну и чуток загнался. Да, я посмотрел вашу статью - красивый UI)
ИИ-ассистент с долговременной памятью, агентами и vision. Проблемы с Персональными Данными