Ускорение генерации токена LLM в два раза для больших контекстов

[WaveCut]

Спасибо за инсайт!

[Evengard]

многие современные модели обучены поддерживать контекст до 128k токенов и выше

Я думал, что контекст является проблемой и контекст выше 2-4к токенов это проблема... Расскажете где такие громадные контексты есть?

[Regis]

LLaMa 3.1 - 128K tokens: https://huggingface.co/blog/llama31

[the_derelict]

А можно чуть подробнее про масштабируемость по горизонтали? Можно как-то распихать модель между несколькими хостами?

Беглый поиск вывел на проект, предлагающий GPU-over-IP (Juice-Labs на github), и Ray.io, но там надо прям разбираться.

[izard]

llama.cpp поддерживает MPI прямо из коробки после коммита https://github.com/ggerganov/llama.cpp/pull/2099