А есть какие-то вменяемые оценки, насколько сейчас токенизатор вообще влияет на качество модели по сравнению с самим датасетом обучения? Ну то есть понятно, что для русского/кода/редких символов он может сильно портить жизнь, но если взять две одинаковые модели и поменять только токенизатор разница будет прям заметная или это уже больше инженерный компромисс про скорость/контекст?
Пробовал ентон ваш падел. Как-то не зашло, хотя понимаю, почему он так быстро набирает популярность: правила простые, войти легко, плюс это больше про общение и движ, чем про спорт ради спорта. Согласен с комментатором выше, если человек раньше на стуле сидел и ничем не занимался, то падел травмоопасен. Лучше для начала полгода-год походить в зал.
Автор, как можно с вами связаться? Есть предложение :)
пользователи не читают инструкций :)
А есть какие-то вменяемые оценки, насколько сейчас токенизатор вообще влияет на качество модели по сравнению с самим датасетом обучения? Ну то есть понятно, что для русского/кода/редких символов он может сильно портить жизнь, но если взять две одинаковые модели и поменять только токенизатор разница будет прям заметная или это уже больше инженерный компромисс про скорость/контекст?
А какой кейс самый прикладной у тебя? Как контролируешь расход токенов у опенкло?
Пробовал ентон ваш падел. Как-то не зашло, хотя понимаю, почему он так быстро набирает популярность: правила простые, войти легко, плюс это больше про общение и движ, чем про спорт ради спорта.
Согласен с комментатором выше, если человек раньше на стуле сидел и ничем не занимался, то падел травмоопасен. Лучше для начала полгода-год походить в зал.