Во-первых, всё сведено к трём bash командам. Во-вторых, базовый docker образ очень неочевидный для запуска моей большой цели, вследствие чего мне необходимо велосипедирование. А на пути к цели у меня входят проекты, с которыми я делюсь. Следующий велосипед уже подъехал — это ComfyUI. В новой статье я постарался показать, как отличается базовый образ от AMD и образ, заточенный на конкретную цель.
Переделал на YouTube. ВКонтакте не отображается в медиаэлементе при публикации статьи. Какого видеохостера выбрать, чтобы не переживать за возможные изменения?
Я за открытый софт, поэтому Windows нет и не будет в моём арсенале. Текущий велосипед мне нужен для следующих проектов. Я постепенно подхожу к более сложным решениям. Очень надеюсь, что скоро появится статья по ComfyUI, а дальше больше, уникальнее и интереснее.
Думаю, вам достаточно по-другому установить ROCm. У меня в статье идёт ссылка для Ubuntu, а вам надо для WSL. После этого теоретически не должно быть различий.
Этот проект для Nvidia, всего их четыре. Вот есть похожий проект для AMD Radeon. Он основан на Python 3.10. Но мой работает на Python 3.11. Плюс мне очень сейчас важно подготовить базу для будущих задач, поэтому буду делать велосипед, но с плюшками.
Я не глубоко погружен в эту тему, но мне кажется, что важны и тюн, и контекст. Например, если мы создаем бота-юриста (тюн) на основе общей модели, то в качестве контекста мы можем загрузить ему нужные документы по делу. Или, если мы создаем бота-программиста (тюн), то можем загрузить ему проект как контекст. Правильно?
Фильтр сообщений — проверяет сообщения на запретные темы (взлом, мошенничество, создание запрещенных вещей и т. д.).
Лимит запросов — ограничение пользователей по количеству запросов.
Логирование запросов — сохранение того, что пользователи спрашивают и что им отвечает модель.
Дополнение запросов нужным контекстом — например, документацией.
Вызов функций.
На странице проекта есть описание. И в папке examples есть демонстрационные примеры.
Во-первых, всё сведено к трём bash командам. Во-вторых, базовый docker образ очень неочевидный для запуска моей большой цели, вследствие чего мне необходимо велосипедирование. А на пути к цели у меня входят проекты, с которыми я делюсь. Следующий велосипед уже подъехал — это ComfyUI. В новой статье я постарался показать, как отличается базовый образ от AMD и образ, заточенный на конкретную цель.
Переделал на YouTube. ВКонтакте не отображается в медиаэлементе при публикации статьи. Какого видеохостера выбрать, чтобы не переживать за возможные изменения?
Я за открытый софт, поэтому Windows нет и не будет в моём арсенале. Текущий велосипед мне нужен для следующих проектов. Я постепенно подхожу к более сложным решениям. Очень надеюсь, что скоро появится статья по ComfyUI, а дальше больше, уникальнее и интереснее.
Думаю, вам достаточно по-другому установить ROCm. У меня в статье идёт ссылка для Ubuntu, а вам надо для WSL. После этого теоретически не должно быть различий.
Точно, я ошибся, думал это новая ветка.
Этот проект для Nvidia, всего их четыре. Вот есть похожий проект для AMD Radeon. Он основан на Python 3.10. Но мой работает на Python 3.11. Плюс мне очень сейчас важно подготовить базу для будущих задач, поэтому буду делать велосипед, но с плюшками.
Nvidia у меня нет, но наработанного материала достаточно. Вот здесь 4 готовых проекта.
Для AMD статей мало, поэтому я стараюсь закрыть эту нишу. Поддержка у AMD слабее, но стоимость карты и возможность стать первооткрывателем подкупают.
Я не глубоко погружен в эту тему, но мне кажется, что важны и тюн, и контекст. Например, если мы создаем бота-юриста (тюн) на основе общей модели, то в качестве контекста мы можем загрузить ему нужные документы по делу. Или, если мы создаем бота-программиста (тюн), то можем загрузить ему проект как контекст. Правильно?