LLM Llama 3 — небольшое погружение в детали

[hardtop]

Очень хорошо, прям очень. Просто, доступно, с примерами. Спасибо! И Хабр — торт!

[rPman]

Помогите найти способ сохранить и посмотреть структуру слоев модели llama в виде графа операций над матрицами и векторами. У разных gpt моделей они немного отличаются, у некоторых точно помню были 'линии данных' от близких к началу слоев к более глубоким или наоборот, я не приглядывался. точно помню видел как это получить в обсуждениях к проекту llama.cpp, там буквально в код добавить пару строк потому что метод уже реализован, он сохранял это в каком то файле и который можно было посмотреть стандартными средствами. Теперь не могу ни вспомнить что это за тип файла был, что бы повторить, ни место в обсуждениях в github к проекту.