Представлен проект токенизатора LLM с калькулятором цен, написанный на Zig
1 мин
Состоялся выпуск проекта «LLM Tokenizer with Pricing Calculator in Zig», который представляет собой токенизатор Byte‑Pair Encoding (BPE), написанный на языке программирования Zig (Zig 0.15, без зависимостей вне std). Решение токенизирует текст и рассчитывает стоимость для различных поставщиков LLM.