Comments 9
Прекрасно сделано! Только собирался разбираться с Chat GPT API, проштудировал множество ресурсов, но это статья одна из лучших. Здесь есть все что надо: работа с s3, создание ассистента и тредов, загрузка и выгрузка файлов. 5+ за статью и идею.
Что то вообще не понятно где и как происходит работа. Какой код генерирует и запускает модель.
А как считаются токены в таких запросах. Все токены из файла + запрос и ответ + вызовы функций под капотом, наверное очень дорого такое делать через апи.
Токены из файла точно не тарифицируются, ведь они не отправляются в модель, ими только пользуется code interpreter. Учитывается обмен информацией между всеми участниками (модель, пользователь, code interpreter), а это уже от сценария зависит.
Они считают каждый токен, почти что каждую букву. Не может быть что бы они выполняли гигантские запросы по файлам и не считали этого.
Если считать интерпретатор кода обычной функцией то запрос должен работать в несколько шагов. Первый запрос должен включать в себя все участвующие файлы как обычный текст(то есть очень много токенов) + запрос юзера, и первый ответ будет - я бы использовал тут функцию такую то.
Дальше должен отработать интерпретатор, тут можно не брать денег за работу потому что она копеечная по своей сути.
Дальше должен последовать дешевый запрос в котором есть только результаты работы интерпретатора и запрос от юзера, и ответ модели.
Я проверил - файлы не считаются. Мой файл весит 500кб, но каждый запрос стоил 1-2 тысячи токенов. Если бы файл учитывался - было бы больше 500 тыс.
"usage": {
"prompt_tokens": 1505,
"completion_tokens": 548,
"total_tokens": 2053
},Запрос не включает в себя файл, потому что он не передается модели в виде текста. Code Interpreter берет файл напрямую из файлового хранилища.
К тому же у моделей есть ограничения контекстного окна. Для gpt-4o это 128 тысяч токенов. В такое окно не влезет даже мой файл, так-то загружать и анализировать можно очень большие файлы.
Делаем карманного аналитика данных с помощью OpenAI Assistants API и Code Interpreter в Telegram