Как я снизил расходы на GPU в 8–10 раз: эфемерные воркеры для AI-видеомонтажа

[@cry_san]

А можно пример? Было, стало.

В частности интересует такое - Я пытался объяснять, что вот, если у вас длинный контент, я могу за несколько минут сделать из него видеосаммари. Такие саммари смотреть легче, чем полноценный вебинар или лекцию.

[@hlogeon]

Не очень понял? Пример чего? Как объясняю теперь?

[@hlogeon]

Или пример до\после? Если про до\после, то в статье есть пример в принципе нормально объясняющий summary mode. А шортсы можно найти на моем же канале(на котором выложен пример из статьи)

[@dsrk_dev]

А не думал о том ччтоб держать gpu машину дома? З 1-2k$ вполне можно собрать что-нибудь с той же б\у 3090

[@Bardakan]

говорят 3090 невыгодно (если только она уже не была куплена). 4090 лучше по соотношению качество-цена

[@dsrk_dev]

А вы точно цены на 3090 и 4090 видели?

У 4090 беда в том что их китайцы все скупили ибо нашли способ 48гб памяти использовать. А вот б/у 3090 мало кому нужны

[@Bardakan]

смотрю цены на новое в местных магазинах - 4090 по производительности и стоимости как две 3090, по энергопотреблению как одна 3090. Если не учитывать объем (а его все равно будет мало), то 4090 как будто выгоднее.
На б/у рынке цены конечно будут другие, но тут риск нарваться на видюху, ужаренную майнингом

[@hlogeon]

А зачем она мне дома? Как это мастабировать. Ну ок, сегодня у меня 10 клиентов, справится GPU дома. А завтра будет 100. Еще 10 GPU докупать? 1-2к$ тем более это не все расходы. Еще электричество, амортизация и т.п. В общем, я особо не вижу смылса дома их держать. Тем более, что аналоги 3090 стоят что-то около 50-70 центов за час.

[@hlogeon]

Статья о том, как можно не платить 1000$ а заплатить только за реально используемую память. Я для своих нужд покупаю 48GB VRAM за 1.57, при необходимости легко смени на более крупную, или добавлю таких же.

[@Bardakan]

я из статьи так и не понял, какое железо используется в проекте: gpu сервер это дорого, а локальный пк - дешево, но при этом в расчетах не учитывается стоимость этого пк, а в статье местами всплывают chatgpt и прочие сторонние сервисы.

[@hlogeon]

gpu сервер это дорого, а локальный пк - дешево

Нет. Такого утверждения нет. GPU сервер это дорого. Если постоянно его держать. И не дорого, если сделать образ и поднимать сервер по необходимости под конкретную задачу из образа, а после выполнения удалять.
Локально это конечно круто, но не масштабируется.

CoreCut работает сейчас на 2 вариантах железок. Какой именно зависит от их доступности в конкретный момент времени:
1) RTX6000 ADA - основной сетап. 48GB VRAM, стоит 1.57$\час на DigitalOcean.
2) H100 - запасной, если RTX не доступен. 80 GB VRAM, стоит 3.39$\час