Считаем количество токенов для LLM в исходниках ядра Linux и не только…

[@Sly_tom_cat]

Выводы

Абсолютно бесполезная, но интересная информация.

# fixed

[@MainEditor0]

Изначально я и хотел так написать...

[@MasterMentor]

Для добавления. Вариант исходников ChatGPT (долго качать не придётся).

https://habr.com/ru/articles/879662/

[@MainEditor0]

Тут немного кода, можно через tiktoken прогнать даже онлайн