Это реализация gpt-2 архитектуры использующая для обучения OpenCL (CUDA, CPU), с возможностью экспорта в gguf. Для наглядности была выбрана минимально возможная конфигурация, что бы любой мог повторить обучение с нуля на своем железе. Вне этих диалогов будет мусор.
Но никто не мешает вам увеличить конфигурацию и корпус, и получить более осмысленную модель.
З.Ы. на github кто-то уже попробовал обучить микро модель на Nvidia RTX 3090, через CUDA.
Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
На "рынке ИИ" все так быстро меняется, что мой эксперимент скорей всего уже устарел. Пока думаю как реализовать поиск по фото. Тогда приложение будет более менее полезным.
потом стали появляться статьи на схожую тематику и полегчало)
Все на этом помешались, и я попробовал на старом железе. https://habr.com/ru/articles/914392/ У вас действительно получилось. Теперь "умный дом" действительно станет умным.
Если вы хотите использовать LM Studio как сервер, то в любой доступной web оболочке умеющей общаться с LM Studio через OpenAI API (например в этом проекте один файл index.html: https://github.com/YorkieDev/LMStudioWebUI) указываете подключение к вашему LM Studio и готово. Где посмотреть строку подключения:
В Web оболочке указываем адрес и общаемся:
Но LM Studio использует mcp-server только в своем интерфейсе. Он доступен для внешнего ПО как сервер моделей, без mcp функционала.
Вам нужен такой клиент, который умеет использовать mcp серверы.
А 0,000103744B хватит что бы модель зазубрила пару диалоговых строк https://habr.com/ru/articles/1017484/ :)
Плюсанул везде где можно. Получилось очень хорошо!
Вдогонку, интересные видео на тему полимеров:
Полимеры, 1974
Тефлон: как одна компания втайне отравила весь мир [Veritasium]
Катастрофа, которая нас (возможно) ждёт [Veritasium]
Исходный код: https://github.com/virex-84/LLMGPT2
Добавил выбор всех доступных "ускорителей" на выбор при запуске программы: CPU, OpenCL, CUDA.
Скрытый текст
Анализ корпуса - показывает какую модель можно сделать на основе данного корпуса.
Скрытый текст
Так же добавил авто-конфигуратор модели: конфигурация модели создается исходя из текущего корпуса.
Ну и собственно все классы были оптимизированы для ускорения обучения.
Это реализация gpt-2 архитектуры использующая для обучения OpenCL (CUDA, CPU), с возможностью экспорта в gguf. Для наглядности была выбрана минимально возможная конфигурация, что бы любой мог повторить обучение с нуля на своем железе. Вне этих диалогов будет мусор.
Но никто не мешает вам увеличить конфигурацию и корпус, и получить более осмысленную модель.
З.Ы. на github кто-то уже попробовал обучить микро модель на Nvidia RTX 3090, через CUDA.
Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
Спасибо! В моей статье не только поиск фото по текстовому описанию, но и видео. Плюс поиск по лицу среди фото и видео.
Если кто решится переключиться на новый драйвер, для возможности загрузки в безопасном режиме необходимо добавить:
MoE шустро работает на Ryzen AI 300. Еще одно интересное направление - текстовые diffusion модели. На хабре уже были статьи, например: Не только трансформеры: за пределами стандартных архитектур LLM / Хабр, Китайская LLaDa: как зашумленный текст превращается в осмысленный диалог – новая эра диффузионных языковых моделей / Хабр.
Ну и новое направление Diffusion-MoE, https://github.com/yhlleo/EfficientMoE
Планируется ли использование архитектуры MoE?
Добавил описание видео mp4, дополнил статью. Изменения выложил на гитхаб.
Добавил поиск по лицу, дополнил статью. Изменения выложил на гитхаб.
Про "сильно" я не говорил, но влияние от дисковой подсистемы есть.
Для HDD: это может быть старая версия SATA, сильная фрагментация, текущая нагрузка диска другими процессами.
Для SSD: проседание скорости во время операции TRIM, тротлинг при перегреве, либо при почти полной заполненности диска.
Решал схожую задачу Поиск в личном фото архиве по текстовому описанию. Но в вашем случае ollama не нужна. Это умеет llama.cpp, на которой собственно основана ollama.
Запускаете модель через
llama-serverСтавите пакет Microsoft.Extensions.AI, код можно посмотреть в разделе "Мультимодальность" https://habr.com/ru/articles/914392/
На "рынке ИИ" все так быстро меняется, что мой эксперимент скорей всего уже устарел. Пока думаю как реализовать поиск по фото. Тогда приложение будет более менее полезным.
Минимальные требования зависят от визуальной модели - если железо потянет, минимум выполнен. Дописал в разделе "Железо".
Очень приятно, и действительно неожиданно!
Консольный прототип - да. Но модель и железо настолько слабые, что результат очень непредсказуем.
Все на этом помешались, и я попробовал на старом железе. https://habr.com/ru/articles/914392/
У вас действительно получилось. Теперь "умный дом" действительно станет умным.
Если вы хотите использовать LM Studio как сервер, то в любой доступной web оболочке умеющей общаться с LM Studio через OpenAI API (например в этом проекте один файл index.html: https://github.com/YorkieDev/LMStudioWebUI) указываете подключение к вашему LM Studio и готово.
Где посмотреть строку подключения:
В Web оболочке указываем адрес и общаемся:
Но LM Studio использует mcp-server только в своем интерфейсе. Он доступен для внешнего ПО как сервер моделей, без mcp функционала.
Вам нужен такой клиент, который умеет использовать mcp серверы.