Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей / Comments / Habr

Добрый день! Согласен с комментарием GG1KENOBI, лучше начать с базы:

Разобраться в нейросетях (хотя можно начать и с классического ML, но это потребует больше времени). В своё время мне очень помогли видео этого автора (https://www.youtube.com/watch?v=xMz7XSaqdRA) он очень подробно разбирает, как в внутри нейросетей всё работает и сразу прописывает это в коде. Хорошая отправная точка без занудной теории. Также интересно было слушать цикл лекций от Аббакумова Вадима Леонардовича (https://www.youtube.com/watch?v=orgXajB6z58), с ним можно разобраться в основных техниках (регуляризация, нормализация и т.д) причём на понятном языке. Или можно посмотреть плейлист от selfedu (https://www.youtube.com/watch?v=PvXDWPVJUPg&list=PLA0M1Bcd0w8xUIMIPSoiW05lDyPNPt4tf), также на практике всё показывает и рассказывает. Понятно, что все видео смотреть не нужно, по ходу просмотра, сформируется понимание, что нужно, а что нет.
После того, как появилось понимание принципа работы нейронных сетей, можно начать разбираться в основных архитектурах. Тут очень кстати книга Николенко (https://djvu.online/file/hvNHupS7Aoyui). Но местами она может быть сложной, если в математику сильно не углублялись. Поэтому хорошая тактика — посмотреть основные архитектуры, а что не понятно, то уже искать в интернете.
Когда с архитектурами всё стало понятно, то можно переходить к современным решениям. Ради интереса позапускать модели с помощью Transformers (LLM, эмбеддеры, реранкеры, например). Понять, какие задачи решает каждый тип моделей (На Hugging Face все модели расположены по задачам, что очень удобно). Можно разобраться с фреймворками инференса (llama.cpp или vllm, если есть видеокарта), потому что чаще всего с моделями придётся работать через них (или через API, но суть одна). Там тоже есть, что изучить: Function Calling, Structured Output, конфигурации запуска и прочее.
Ну и на каждый шаг лучше всего подкреплять практикой. На этапе знакомства с нейронными сетями хорошо подойдёт Kaggle, в котором можно порешать задачи классического ML с помощью нейронок, а потом можно начать делать свои pet-проекты. Реализовать классификатор эмоций, RAG-систему и много чего ещё интересного.

Примерно так это вижу. Можно, конечно сказать, что некоторые пункты лишние, некоторые можно расширить. Но тут надо просто начать, а там уже будет столько новых понятий, которые придётся разбирать, что вы уже сами начнёте выстраивать свой путь в ИИ.

Успехов вам!

P.S. Если будут вопросы, то пишите в тг