Считаем количество токенов для LLM в исходниках ядра Linux и не только…

[Sly_tom_cat]

Выводы

Абсолютно бесполезная, но интересная информация.

# fixed

[MainEditor0]

Изначально я и хотел так написать...

[MasterMentor]

Для добавления. Вариант исходников ChatGPT (долго качать не придётся).

https://habr.com/ru/articles/879662/

[MainEditor0]

Тут немного кода, можно через tiktoken прогнать даже онлайн