Токены в нейросетях. Что это и откуда берётся?

А вы задумывались, как текстовые нейросети видят текст, который мы им отправляем, если они сами мыслят цифрами?
В данной статье мы разберём как нейросеть видит текст, который мы ей отправили, познакомимся очень близко с термином ТОКЕНЫ, и даже сами создадим те самые ТОКЕНЫ на Python.