Привет Хабр! Меня зовут Кирилл Овчинников, я работаю в Сбере и по работе у меня есть доступ к различным большим языковым моделям, включая наш собственный GigaChat. Но речь сегодня пойдёт не столько о корпоративных возможностях, сколько о довольно неожиданной проблеме, с которой сталкиваются многие команды при работе с API токенами различных LLM-сервисов — они имеют срок годности и просто сгорают, если их не использовать вовремя.

История началась довольно прозаично: наша команда, как и многие другие, в своё время закупила токены для различных API — и зарубежных, и российских компаний, потратив на это несколько десятков тысяч рублей для экспериментального проекта. Проект, как это часто бывает со стартапами и экспериментами, не взлетел, и токены повисли где-то в недрах наших аккаунтов. Спустя год, когда появилась новая идея, мы с энтузиазмом зашли в личные кабинеты и обнаружили неприятное уведомление — через две недели все наши токены превратятся в тыкву. Десятки тысяч рублей просто испарятся, если мы их срочно не используем.