Разработка LLM с нуля. Новые модели

[ahdenchik]

Для разработки будем использовать только Python и низкоуровневый PyTorch

Насколько низкоуровневый?

(Тоже подумываю сделать нейросеть. Но не на питоне)

[slivka_83]

Такие модули как nn.Linear и аналогичные ему

[Dimoyok]

nn.Linear как раз является высокоуровневой обёрткой над torch.nn.functional.linear. Боюсь спросить, а что выше, чем nn.Linear?) TransormerEncoderLayer?

[slivka_83]

да, готовые блоки типа nn.Transformer не используем.