Да нужен-то всего один белый IP - обычно у человека один дом и один интернет-провайдер. В России это пока стоит 150-200 рублей, и при этом все работает и в случае мобильных операторов тоже.
Я ещё понимаю, когда целую кучу точек в разных местах надо связать, но вот как раз для pet-проекта проще иметь домашний белый IP.
ComfyUI, по крайней мере на ПК, поддерживает огромное количество других моделей. Рекомендую попробовать что-нибудь более интересное, например, FLUX (и не оригинальный, а тюнингованные модели на его основе) или то, что было после.
Там одно дело установить, а другое дело - пользоваться. Ещё неизвестно, где больше подводных камней. ;)
На самом деле SteamOS - последняя надежда. Что там Майкрософт будет или не будет делать, это ещё бабушка надвое сказала, а SteamOS уже есть. Пока только для консолей, на другое железо нормально установить тяжело, но работы уже ведутся.
Ну и ChromeOS, ноутбуками с которой завалены американские школы.
Наверно, самый правильный коммент во всем обсуждении - и самый игнорируемый.
Именно так, судя по всему, и происходит - человечество во всех сферах своего бытия получает все больше и больше новых инструментов и возможностей и т.д., но постоянно за ними не успевает!
Когда-то говорили, что хирург, который будет оперировать без анестезии - не хирург. Да, были такие времена, и тогдашние хирурги возмущались, мол, как это так, оперировать, когда пациент ничего не чувствует?
Ну потом говорили, что врач, которому нужен рентген, не врач вовсе - и так далее, на каждое нововведение.
Я использую text-generation-webui на 3090 и Tesla P40 (24 + 24 Гб), там ничего настраивать не надо, для квантизованных GGUF просто надо указать пропорцию разделения модели между двумя "памятями".
Для начинающих на самом деле можно просто накатить на винду oobabooga text-generation-webui и экспериментировать с теми моделями, которые поместятся в видеопамять (или в оперативную память, если вы не против медленных ответов). Домашний сервер для этого не нужен.
Отлично подходит для простых задач и для общего понимания принципов общения с LLM, а так же для перебора моделей.
На 48 гигах VRAM (две 3090 или одна 3090 и что-то типа Tesla P40) уже можно запускать квантизованные 72B для теста, а это серьезно.
Если оставить в стороне рекламу и невыдуманность истории, то получается, что автор выгорел от работы в офисе.
Печально, когда у человека нет перспективы. Я уж не стану рассказывать, как себя чувствуешь, когда фактически у тебя на руках умирают люди... Это, конечно, будет черезчур для обычных офисных работников. Но вот фильм "Идеальные дни" я бы очень автору порекомендовал.
Диск заменить бы на твердотельник на переходнике и ещё добавить адаптер CF- или SD-карт (или оба). Из звука я бы взял либо ESS 1868/1869 и навесил бы на нее современный Midi-чип Dream (SAM2695), либо уж Sound Blaster AWE64 с памятью. Это бы и в ДОСе, и под виндой идеально работало. Хотя на такой машине можно попробовать и SB Live! 5.1, хотя вот эта как раз может и не заработать нормально.
Ещё буквально вчера нужна была видеокарта с 24 Гб, чтоб запускать версию Dev в варианте fp8, но теперь есть квантизованный вариант модели NF4, и с ним, пишут, можно уже попробовать делать маленькие картинки на 6 Гб.
UPD. Сейчас глянул на Civitai, что там есть для FLUX новенького, так там уже вал. За три месяца наделали столько вариантов, что уже и за год не перепробовать!
В таких статьях почему-то все время забывают указывать, что описываемые модели можно запускать локально, если есть видеокарта с большим объемом памяти. В данном случае Dev и Schnell запускаются в stable-diffusion-webui-forge (проще) и ComfyUI (сложнее, для любителей алгоритмизации).
Ух, сразу видно, автор в необычном доме живёт, ещё и Москве/Питере. В обычных панельках в провинции все это будет украдено за неделю. Единственное, что не крадут, это сорокаватки и их аналоги, перемазанные зелёнкой - их просто гопота разбивает. Про камеры можно вообще не вспоминать, у нас домофон-то на двери работает через раз.
Они ж железо производят, понятное дело, что им хочется, чтоб его больше покупали, поэтому софт, черт с ним, можно и бесплатным сделать. Главное, чтоб он распространялся и под него брали новые видеокарты.
Жуть. Лебедев всегда был редким... типом человека, и от всего, что с ним ассоциируется, нормальным людям стоит держаться подальше. Микрофоны "Союз" полетят туда же.
Хорошие модели для SD и SDXL пока делают SD3 одной левой. И AUTOMATIC1111 вполне себе годный инструмент, особенно если нет необходимости автоматизировать прям все на свете, а какой-то процент творчества все ж допустим. :)
(Чтоб не быть голословным, epicphotogasm и dreamshaperXL. Но это сейчас, потом будут и другие модели-лидеры)
Ух! За $18 в месяц можно купить 2-3 VPS за рубежом и 3-4 в России! И ещё останется на белый статистический IP для дома.
Да нужен-то всего один белый IP - обычно у человека один дом и один интернет-провайдер. В России это пока стоит 150-200 рублей, и при этом все работает и в случае мобильных операторов тоже.
Я ещё понимаю, когда целую кучу точек в разных местах надо связать, но вот как раз для pet-проекта проще иметь домашний белый IP.
ComfyUI, по крайней мере на ПК, поддерживает огромное количество других моделей. Рекомендую попробовать что-нибудь более интересное, например, FLUX (и не оригинальный, а тюнингованные модели на его основе) или то, что было после.
Там одно дело установить, а другое дело - пользоваться. Ещё неизвестно, где больше подводных камней. ;)
На самом деле SteamOS - последняя надежда. Что там Майкрософт будет или не будет делать, это ещё бабушка надвое сказала, а SteamOS уже есть. Пока только для консолей, на другое железо нормально установить тяжело, но работы уже ведутся.
Ну и ChromeOS, ноутбуками с которой завалены американские школы.
Abobe Acrobat (не Reader) обычно нужен, потому что все остальное - корявые поделки, в которых все время чего-то важного не хватает.
Наверно, самый правильный коммент во всем обсуждении - и самый игнорируемый.
Именно так, судя по всему, и происходит - человечество во всех сферах своего бытия получает все больше и больше новых инструментов и возможностей и т.д., но постоянно за ними не успевает!
Когда-то говорили, что хирург, который будет оперировать без анестезии - не хирург. Да, были такие времена, и тогдашние хирурги возмущались, мол, как это так, оперировать, когда пациент ничего не чувствует?
Ну потом говорили, что врач, которому нужен рентген, не врач вовсе - и так далее, на каждое нововведение.
Пойдете к такому лечиться? :)
Я использую text-generation-webui на 3090 и Tesla P40 (24 + 24 Гб), там ничего настраивать не надо, для квантизованных GGUF просто надо указать пропорцию разделения модели между двумя "памятями".
Для начинающих на самом деле можно просто накатить на винду oobabooga text-generation-webui и экспериментировать с теми моделями, которые поместятся в видеопамять (или в оперативную память, если вы не против медленных ответов). Домашний сервер для этого не нужен.
Отлично подходит для простых задач и для общего понимания принципов общения с LLM, а так же для перебора моделей.
На 48 гигах VRAM (две 3090 или одна 3090 и что-то типа Tesla P40) уже можно запускать квантизованные 72B для теста, а это серьезно.
Если оставить в стороне рекламу и невыдуманность истории, то получается, что автор выгорел от работы в офисе.
Печально, когда у человека нет перспективы. Я уж не стану рассказывать, как себя чувствуешь, когда фактически у тебя на руках умирают люди... Это, конечно, будет черезчур для обычных офисных работников. Но вот фильм "Идеальные дни" я бы очень автору порекомендовал.
Диск заменить бы на твердотельник на переходнике и ещё добавить адаптер CF- или SD-карт (или оба). Из звука я бы взял либо ESS 1868/1869 и навесил бы на нее современный Midi-чип Dream (SAM2695), либо уж Sound Blaster AWE64 с памятью. Это бы и в ДОСе, и под виндой идеально работало. Хотя на такой машине можно попробовать и SB Live! 5.1, хотя вот эта как раз может и не заработать нормально.
Ошибка: в Forge дефолтное значение CFG должно быть 1, а вот Distilled CFG должно быть 3.5.
Впрочем, я вижу, что люди уже широко с этим экспериментируют.
Ещё буквально вчера нужна была видеокарта с 24 Гб, чтоб запускать версию Dev в варианте fp8, но теперь есть квантизованный вариант модели NF4, и с ним, пишут, можно уже попробовать делать маленькие картинки на 6 Гб.
https://stable-diffusion-art.com/flux-forge/
UPD. Сейчас глянул на Civitai, что там есть для FLUX новенького, так там уже вал. За три месяца наделали столько вариантов, что уже и за год не перепробовать!
В таких статьях почему-то все время забывают указывать, что описываемые модели можно запускать локально, если есть видеокарта с большим объемом памяти. В данном случае Dev и Schnell запускаются в stable-diffusion-webui-forge (проще) и ComfyUI (сложнее, для любителей алгоритмизации).
Ух, сразу видно, автор в необычном доме живёт, ещё и Москве/Питере. В обычных панельках в провинции все это будет украдено за неделю. Единственное, что не крадут, это сорокаватки и их аналоги, перемазанные зелёнкой - их просто гопота разбивает. Про камеры можно вообще не вспоминать, у нас домофон-то на двери работает через раз.
Да щас кто-нибудь квантизованных версий наделает. Какую-нибудь Q6 можно будет на двух стареньких 24 гиговых картах запустить.
Они ж железо производят, понятное дело, что им хочется, чтоб его больше покупали, поэтому софт, черт с ним, можно и бесплатным сделать. Главное, чтоб он распространялся и под него брали новые видеокарты.
Вообще-то у многих ни WireGuard, ни OpenVPN не работают, причем давно. Статья устарела года на три, нужны другие методы.
Жуть. Лебедев всегда был редким... типом человека, и от всего, что с ним ассоциируется, нормальным людям стоит держаться подальше. Микрофоны "Союз" полетят туда же.
Хорошие модели для SD и SDXL пока делают SD3 одной левой. И AUTOMATIC1111 вполне себе годный инструмент, особенно если нет необходимости автоматизировать прям все на свете, а какой-то процент творчества все ж допустим. :)
(Чтоб не быть голословным, epicphotogasm и dreamshaperXL. Но это сейчас, потом будут и другие модели-лидеры)