Комментарии 6
«Все дело в том, что LLM не обладает собственной памятью.»
Так ли? При общении через веб, вполне себе помнит историю
В телеграме можно создать группу (персонально для себя) с подгруппами. Бота можно научить различать в каких подгруппах он находится и сделать для каждой подгруппы отдельную память и настройки, и тогда получится аналог вкладок-бесед с оригинального сайта чатгпт(и аналогов, это у всех уже есть).
Но вообще это всё плохая затея, у телеграма есть очень неприятные ограничения с которыми трудно бороться, нельзя например так просто взять и отправить сообщение в котором больше 4к символов, его придется резать с учетом маркдауна. Нельзя вставить картинки посреди текста итп.
Маркдаун это вообще отдельная песня, конвертер маркдауна от ллм в телеграм это как святой грааль, нереально сделать полностью правильно. Ллм его генерирует по разному и не всегда корректно, а телеграм к такому не готов.
Да, LLM еще любят заголовочки красивые пилить при помощи "###", а онр нифига не отображаются(
А почему бы на уровне роли , не объяснить модели о правилах разбивки текста, и дать задание как промаркировать текст который стоит разделить на 2 или более сообщений.
И просто искать в каждом сообщении от модели есть ли установленный маркер для разбивки сообщений.
Разрабатывали Telegram-бота для доступа к ChatGPT, а в итоге сделали интерфейс для взаимодействия с внешними LLM