Комментарии 6
Это всё, конечно, интересно, но есть более простой и продвинутый инструмент: https://github.com/AUTOMATIC1111/stable-diffusion-webui
А можно поподробнее про запуск в AWS? Какие ресурсы при этом выделяются и на какое время, как оплачиваются?
Например, "создается VM с GPU и крутится, пока не удалишь" - не сильно интересно, очень дорого. "на каждый вызов создается новая VM, устанавливаются requirements" - долго на каждый вызов.
А вот если постоянно крутится полноценный python на обычном десктопе/ноуте, и только ресурсоемкие операции по генерации изображений отправляются на облачную GPU а-ля lambda (т.е. среда постоянно в готовности "бесплатно" on-prem, а GPU используется лишь десятки секунд в момент генерации) - это может быть очень интересно.
VM запускается с теми ресурсами, которые указаны в требованиях (в аргументах к dstack run, либо в YAML) на время выполнения скрипта, и потом автоматически удаляется.
И это имеет смысл для запуска скриптов, которые подготавливают данные или тренируют модель.
Для генерации картинок, в этом нет смысла. В данном примере генерация картинок скорее для примера. Реальный юз-кейз dstack - запуск ML workflows - подготовка данных и тренировка моделей.
В таком виде, да, согласен. Тренировка моделей (по своей фотке...), генерация больших X/Y вариаций... Не интерактив.
Для интерактива кстати можно запустить "code" провайдер: https://docs.dstack.ai/usage/providers/#code
Он позволяет из VS Code онлайн работать. Потом в любой момент остановить.
А еще мы в процессе добавления поддержки SSH, чтобы вообще можно было запустить workflow и сразу к ней свой я PyCharm приконнектить.
Запуск Stable Diffusion локально и в облаке с помощью Diffusers и dstack