Уделите внимание токенизаторам — и вот почему

[ENick]

1. В разделе по векторизации логично упомянуть embeddings.

2. С инвойсами игры с токенизацией дали эффект?

[dilukhin]

Так и остался открытым вопрос: как этот концевой пробел повлиял на работу модели? Ведь если мы используем токенизатор, пробел не должен повлиять никак.