Да, мне практически в каждой статье пишут: "зачем это? ведь есть X".
"Обучение LLM с нуля" - это непрактично, заучивает только "немногочисленные диалоги". ImageBrowserAI - зачем, ведь есть Immich. VoiceReader - прививает "неправильные паттерны ребёнку". "Алиса, подвинься" - "Столько трудов и не получилось ничего".
Я не делаю готовый продукт, мне никто за это не платит. Каждая статья - попытка самому разобраться как это работает.
Это реализация gpt-2 архитектуры использующая для обучения OpenCL (CUDA, CPU), с возможностью экспорта в gguf. Для наглядности была выбрана минимально возможная конфигурация, что бы любой мог повторить обучение с нуля на своем железе. Вне этих диалогов будет мусор.
Но никто не мешает вам увеличить конфигурацию и корпус, и получить более осмысленную модель.
З.Ы. на github кто-то уже попробовал обучить микро модель на Nvidia RTX 3090, через CUDA.
Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
Жаль наткнулся только сейчас, и уже нельзя поставить плюс. Спасибо за статью!
За GBNF спасибо. Пригодится для самодельного агента на llm.
Еще можно попробовать в Amuse (3.5.8)
Скрин
Да, мне практически в каждой статье пишут: "зачем это? ведь есть X".
"Обучение LLM с нуля" - это непрактично, заучивает только "немногочисленные диалоги".
ImageBrowserAI - зачем, ведь есть Immich.
VoiceReader - прививает "неправильные паттерны ребёнку".
"Алиса, подвинься" - "Столько трудов и не получилось ничего".
Я не делаю готовый продукт, мне никто за это не платит. Каждая статья - попытка самому разобраться как это работает.
Можно, создание модели с нуля: Обучение LLM с нуля на c# и экспорт в GGUF. OpenCL против CUDA / Хабр
На Ryzen AI 9 HX 370 служба Windows Search активно использует NPU. Пришлось отключить.
А 0,000103744B хватит что бы модель зазубрила пару диалоговых строк https://habr.com/ru/articles/1017484/ :)
Плюсанул везде где можно. Получилось очень хорошо!
Вдогонку, интересные видео на тему полимеров:
Полимеры, 1974
Тефлон: как одна компания втайне отравила весь мир [Veritasium]
Катастрофа, которая нас (возможно) ждёт [Veritasium]
Исходный код: https://github.com/virex-84/LLMGPT2
Добавил выбор всех доступных "ускорителей" на выбор при запуске программы: CPU, OpenCL, CUDA.
Скрытый текст
Анализ корпуса - показывает какую модель можно сделать на основе данного корпуса.
Скрытый текст
Так же добавил авто-конфигуратор модели: конфигурация модели создается исходя из текущего корпуса.
Ну и собственно все классы были оптимизированы для ускорения обучения.
Это реализация gpt-2 архитектуры использующая для обучения OpenCL (CUDA, CPU), с возможностью экспорта в gguf. Для наглядности была выбрана минимально возможная конфигурация, что бы любой мог повторить обучение с нуля на своем железе. Вне этих диалогов будет мусор.
Но никто не мешает вам увеличить конфигурацию и корпус, и получить более осмысленную модель.
З.Ы. на github кто-то уже попробовал обучить микро модель на Nvidia RTX 3090, через CUDA.
Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
Спасибо! В моей статье не только поиск фото по текстовому описанию, но и видео. Плюс поиск по лицу среди фото и видео.
Если кто решится переключиться на новый драйвер, для возможности загрузки в безопасном режиме необходимо добавить:
MoE шустро работает на Ryzen AI 300. Еще одно интересное направление - текстовые diffusion модели. На хабре уже были статьи, например: Не только трансформеры: за пределами стандартных архитектур LLM / Хабр, Китайская LLaDa: как зашумленный текст превращается в осмысленный диалог – новая эра диффузионных языковых моделей / Хабр.
Ну и новое направление Diffusion-MoE, https://github.com/yhlleo/EfficientMoE
Планируется ли использование архитектуры MoE?
Добавил описание видео mp4, дополнил статью. Изменения выложил на гитхаб.
Добавил поиск по лицу, дополнил статью. Изменения выложил на гитхаб.
Про "сильно" я не говорил, но влияние от дисковой подсистемы есть.
Для HDD: это может быть старая версия SATA, сильная фрагментация, текущая нагрузка диска другими процессами.
Для SSD: проседание скорости во время операции TRIM, тротлинг при перегреве, либо при почти полной заполненности диска.
Решал схожую задачу Поиск в личном фото архиве по текстовому описанию. Но в вашем случае ollama не нужна. Это умеет llama.cpp, на которой собственно основана ollama.
Запускаете модель через
llama-serverСтавите пакет Microsoft.Extensions.AI, код можно посмотреть в разделе "Мультимодальность" https://habr.com/ru/articles/914392/