MainEditor0 20 янв в 12:15Считаем количество токенов для LLM в исходниках ядра Linux и не только…Уровень сложностиПростойВремя на прочтение11 минКоличество просмотров3.2KИскусственный интеллектПрограммирование*СофтИнфографикаНаучно-популярноеИз песочницыВсего голосов 8: ↑5 и ↓3+4Добавить в закладки13Комментарии4
MasterMentor 6 фев в 07:59Комментарий был измененДля добавления. Вариант исходников ChatGPT (долго качать не придётся).https://habr.com/ru/articles/879662/
MainEditor0 24 фев в 17:34Комментарий был измененПоказать предыдущий комментарийТут немного кода, можно через tiktoken прогнать даже онлайн
Считаем количество токенов для LLM в исходниках ядра Linux и не только…