Своя GPT-like LLM по WH40K с нуля. Часть 3: собираем и обучаем LLM (pre-train)

[simonidis]

Такие проекты отлично показывают, что открытый код модели — лишь половина свободы. Вторая половина — доступные вычисления для обучения и инференса. К этому аргументу стоит добавить разбор про то, как Gonka пытается распределить именно этот слой (https://youtu.be/_uwgrHV_li0?r=1081)