Агент Ануфрий v.1.0.0
Последний апдейт конструктора для создания собственных ассистентов на Python включил в себя оптимизацию токенов и скорости. Агент стал в 3 раза экономичнее.
Добавлена ленивая загрузка инструментов. Вместо отправки всех 24 встроенных инструментов сразу, агент получает 6 базовых, включая tool_use, через который доступны остальные 20.
Инструменты разбиты на категории. Каждая категория — одно определение в системной промпте, вместо отдельной схемы для каждого действия.
Системный промпт стал компактнее в 3 раза.
Кэширование cистемного промпта и определния инструментов в OpenAI/OpenRouter (90% скидка):
добавлены заголовки для идентификации проекта в OpenRouter
в OpenAI кэширование работает автоматически за счет стабильного системного промпта
Добавлено клиентское кэширование для локальных LLM (экономим немного времени CPU на пересоздании промпта).
Добавлено логирование токенов на каждой итерации для наглядности.
Результат оптимизации: экономия около 75% токенов на каждом запросе. Работать с API стало значительно дешевле, а на локальных LLM заметно комфортнее.
При этом архитектура проекта сохранила свою простоту и читаемость.
Репозиторий: github/AgentAnufry
Оперативная разработка. Заходите в телегу.
Недавно я обновил свою видеокарту до RTX-5060-TI 16GB. Получив новую карту я решил исследовать, что можно на ней запустить из нейросетей. Традиционно пишут, что нормальные ИИ модели начинаются с rtx3090 и выше, что ниже 24GB VRAM жизни нет. В этой статье я постараюсь развеять этот миф.
