Приветсвую всех читателей Хабра. В этой статье я хочу рассказать о том, как я пытаюсь сделать современный ИИ свободнее, через свою copyleft Лицензию. Она носит имя FMLL (Free Machine Learning License). Ее цель — сделать copyleft не только код LLM, датасеты, RAG и другие инструменты. Лицензия первой версии уже доступна на GitHub.

Конфигурируем, собираем и устанавливаем ядро Linux на свое железо. Отчищаем ядро от лишних модулей через make localmodconfig и modeprobed-db store, компилируем, обновляем GRUB.

Приветствую всех читателей Хабра, в этой статье я хочу поделиться своим опытом в запуске локальных LLM, протестировать работоспособность интересных моделей на своем железе, рассказать, как я увеличил скорость генерации на одной из нейросетей в 20 раз (я не преувеличиваю). Но об этом чуть позже, а начну я повествование с описания своего железа.