конечно быстрее, каждое обращение на чтение случайного блока с ССД это огромные задержки, если модель вся в оперативе, то там некоторые MoE модели даже без gpu, чисто на процессоре и оперативке, получить токенов больше чем в этом методе, где куча обращений к диску
конечно быстрее, каждое обращение на чтение случайного блока с ССД это огромные задержки, если модель вся в оперативе, то там некоторые MoE модели даже без gpu,
чисто на процессоре и оперативке, получить токенов больше чем в этом методе, где куча обращений к диску