Комментарии 3
а что за канал?
Отличная статья! Токенизация хороша как временная эвристика, но как будто скоро мы достигнем пределов в том, как сильно можно ее улучшить. В этом плане альтернативы типа байт-уровневых моделей и LCM реально крутые. Особенно их динамичные подходы и работа на более высоком уровне, а не просто предсказание следующего токена. Думаю, это то, что нам нужно для будущего. Автор, молодец! Ждем еще таких разборов!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему токенизация – костыль? Передовые подходы для больших языковых моделей следующего поколения