Что пишет? Пробовал запустить пример (examples/what-is-my-ip) командами pure-test (без прокси) и tor-test (с прокси) и проверить http://localhost:3000?
Навернуть можно, я даже за!:) Сама схема родилась по принципу: минимум программ на машине и минимум работы руками. Поэтому я стараюсь всё оборачивать в контейнеры.
Как итог, для Tor я имею 2 команды: make gen && make run. И немного настроек сети.
Согласен, у меня просто изначально стояла задача дать доступ к заблокированным ресурсам приложению в контейнере. Я её сделал. А дальше уже приспособил под личные нужды. Учитывая, что я не люблю зоопарк из программ на своём компьютере, для себя завёл правило всё оборачивать в контейнер. Поэтому данный вариант для себя вижу как вполне рабочий. На всех своих машинах держу буквально docker.
Во-первых, всё сведено к трём bash командам. Во-вторых, базовый docker образ очень неочевидный для запуска моей большой цели, вследствие чего мне необходимо велосипедирование. А на пути к цели у меня входят проекты, с которыми я делюсь. Следующий велосипед уже подъехал — это ComfyUI. В новой статье я постарался показать, как отличается базовый образ от AMD и образ, заточенный на конкретную цель.
Переделал на YouTube. ВКонтакте не отображается в медиаэлементе при публикации статьи. Какого видеохостера выбрать, чтобы не переживать за возможные изменения?
Я за открытый софт, поэтому Windows нет и не будет в моём арсенале. Текущий велосипед мне нужен для следующих проектов. Я постепенно подхожу к более сложным решениям. Очень надеюсь, что скоро появится статья по ComfyUI, а дальше больше, уникальнее и интереснее.
Думаю, вам достаточно по-другому установить ROCm. У меня в статье идёт ссылка для Ubuntu, а вам надо для WSL. После этого теоретически не должно быть различий.
Этот проект для Nvidia, всего их четыре. Вот есть похожий проект для AMD Radeon. Он основан на Python 3.10. Но мой работает на Python 3.11. Плюс мне очень сейчас важно подготовить базу для будущих задач, поэтому буду делать велосипед, но с плюшками.
Я не глубоко погружен в эту тему, но мне кажется, что важны и тюн, и контекст. Например, если мы создаем бота-юриста (тюн) на основе общей модели, то в качестве контекста мы можем загрузить ему нужные документы по делу. Или, если мы создаем бота-программиста (тюн), то можем загрузить ему проект как контекст. Правильно?
В моём случае была похожая ситуация. Пришлось подобрать оптимальные промты DEFAULT_SYSTEM_PROMPT и TEMPLATE для модели IlyaGusev/saiga_llama3_8b_gguf/model-f16.gguf. В твоём случае, возможно, и обучение надо подкрутить, а может, только промт подобрать более точный.
Фильтр сообщений — проверяет сообщения на запретные темы (взлом, мошенничество, создание запрещенных вещей и т. д.).
Лимит запросов — ограничение пользователей по количеству запросов.
Логирование запросов — сохранение того, что пользователи спрашивают и что им отвечает модель.
Дополнение запросов нужным контекстом — например, документацией.
Вызов функций.
На странице проекта есть описание. И в папке examples есть демонстрационные примеры.
Покажи, какой у тебя .torrc получился в корне проекта. Только середину мостов замажь. Начало и конец лучше оставить, чтоб понять, как прошла вставка.
Что пишет? Пробовал запустить пример (examples/what-is-my-ip) командами pure-test (без прокси) и tor-test (с прокси) и проверить http://localhost:3000?
Спасибо, буду копать:)
Навернуть можно, я даже за!:) Сама схема родилась по принципу: минимум программ на машине и минимум работы руками. Поэтому я стараюсь всё оборачивать в контейнеры.
Как итог, для Tor я имею 2 команды: make gen && make run. И немного настроек сети.
Согласен, у меня просто изначально стояла задача дать доступ к заблокированным ресурсам приложению в контейнере. Я её сделал. А дальше уже приспособил под личные нужды. Учитывая, что я не люблю зоопарк из программ на своём компьютере, для себя завёл правило всё оборачивать в контейнер. Поэтому данный вариант для себя вижу как вполне рабочий. На всех своих машинах держу буквально docker.
Во-первых, всё сведено к трём bash командам. Во-вторых, базовый docker образ очень неочевидный для запуска моей большой цели, вследствие чего мне необходимо велосипедирование. А на пути к цели у меня входят проекты, с которыми я делюсь. Следующий велосипед уже подъехал — это ComfyUI. В новой статье я постарался показать, как отличается базовый образ от AMD и образ, заточенный на конкретную цель.
Переделал на YouTube. ВКонтакте не отображается в медиаэлементе при публикации статьи. Какого видеохостера выбрать, чтобы не переживать за возможные изменения?
Я за открытый софт, поэтому Windows нет и не будет в моём арсенале. Текущий велосипед мне нужен для следующих проектов. Я постепенно подхожу к более сложным решениям. Очень надеюсь, что скоро появится статья по ComfyUI, а дальше больше, уникальнее и интереснее.
Думаю, вам достаточно по-другому установить ROCm. У меня в статье идёт ссылка для Ubuntu, а вам надо для WSL. После этого теоретически не должно быть различий.
Точно, я ошибся, думал это новая ветка.
Этот проект для Nvidia, всего их четыре. Вот есть похожий проект для AMD Radeon. Он основан на Python 3.10. Но мой работает на Python 3.11. Плюс мне очень сейчас важно подготовить базу для будущих задач, поэтому буду делать велосипед, но с плюшками.
Nvidia у меня нет, но наработанного материала достаточно. Вот здесь 4 готовых проекта.
Для AMD статей мало, поэтому я стараюсь закрыть эту нишу. Поддержка у AMD слабее, но стоимость карты и возможность стать первооткрывателем подкупают.
Я не глубоко погружен в эту тему, но мне кажется, что важны и тюн, и контекст. Например, если мы создаем бота-юриста (тюн) на основе общей модели, то в качестве контекста мы можем загрузить ему нужные документы по делу. Или, если мы создаем бота-программиста (тюн), то можем загрузить ему проект как контекст. Правильно?