В МТУСИ применили методы многомерного статистического анализа и NLP для классификации научных публикаций

[ENick]

"затем токенизировали текст —  преобразовали его в набор слов, каждый из которых стал отдельным символом. Этот процесс известен как векторизация." Векторизация слова - это преобразование слова в вектор, то есть в набор чисел. Зачем каждое слово преобразовывать в отдельный символ? Вы токенизацию с векторизацией не путаете?