Комментарии 12
Интересно было бы посмотреть скорости для 4080 и 4090.
4070 почему нет ? Холодная быстрая
Вы пробовали использовать такие провайдеры как vast.ai или clore.ai?
Vast.ai смотрел, но по деньгам там не дешевле, чем текущий провайдер. Clore - как я вижу, там только криптой платить, и дороже.
vast.ai нужно включить галочку unverified. Многие арендодатели ждут месяцами верификации машины, тем временем, в среднем их цены вдвое ниже. Тоже самое касается и clore.ai. Поставьте галочку unavalible чтобы увидеть уже сданные машины, цены там, кратно ниже. Т.е. такие дешевые машины часто появляются, но их тут же арендуют. Вы тоже можете последив немного за рынком или используя скрипт и cli или api сервиса, кратно сократить свои расходы.
clore.ia Рекомендую зайти прямо сейчас и проверить цены, не забудьте уточнить курс clore он стал в 4 раза меньше и продолжает снижаться + цены упали в clore. Объяснение простое - прошел локальный бум майнинга. Настроение среди арендодателей панические. Самое время, направить вычислительные мощности в русло полезного дела. Вы можете написать арендодателю попросив оптимизировать машину для вашей нагрузки, например, увеличив частоту ядра, добавить места, увеличить ОЗУ или вообще вам предоставят другую машину с большим количеством ядер, не забудьте упомянуть, что у вас не майнинг, вам будут рады.
Кроме того, в clore.ai организаторы выделили часть машины, владельцы которых понизили тепловыделение GPU в отдельную категория, которую можно открыть переключив в фильтре поле Market из значения mineline в power efficient или both. Понижается ТДП в первую очередь для защиты от потенциального повреждения электроники майнингом на предельных режимах работы. Само собой, такие машины дешевле. Вы легко найдете группу clore в телеграмме, там же можно напрямую общаться с арендодателями, там есть раздел, где владельцы пишут номера своих серверов, таким образом можно написать владельцу прямо в телеграмм.
Использование криптовалюты помогает обходить санкции. Думаю, поддержать clore в наших интересах. С другой стороны, у vast.ai более серьезный подход и сам сервис значительно более проработанный.
В общем, это взгляд с другой стороны. Недавно решил себе собрать llm-сервер для локального инференса больших моделей. И, чтобы не разориться, и быстрее достигнуть цели, решил попутно сдавать мощности в аренду. За прошедший месяц разобрался в тонкостях этих сервисов. Так что если есть вопросы, можно задать их мне, постараюсь помочь.
И как часто ваш сервер арендуют ?
Пока не могу ответить на этот вопрос достаточно точно.
На clore.ai арендовали только майнеры несколько машин. К моему удивлению, особенной популярностью пользовался сервер с процессором Ryzen 7950X, арендовавшие его иногда вообще не использовали GPU. Что особенно удивительно, это были майнеры и они платили за аренду больше, чем стоила валюта, которую они могли потенциально намайнить (я следил за нагрузкой и названием процессов, так что знал какие именно монеты они майнили). Мне в принципе не нравится идея майнинга, по этому я обратил све внимание на vast.ai. Вторай машина было 2x RTX3090 + 2x E5-2697v2 + 128GB RAM (8x16G чтобы занять все каналы). Обе машины 2/3 вермени были в аренде, в остальное время я экспериментировал с ценами.
Оказалось, что эту статистику нельзя считать типовой ,т.к. я попал на локальный бум майнинга. На моих глазах майнинг схлопнулся, обнулив прибыль полученную в clore. Правда у меня осталась возможность потратить clore на аренду более мощных машин для запуска llm, чем я иногда пользуюсь.
Несмотря на очень хорошее впечатление от технической проработанности vast.ai, первый опыт мне не понравился. Я изначально хотел попробовать разные сервисы и составить представление о них. К моменту перехода на vast.ai у меня возникли некоторые знакомства с другими адендодателями и со мной выразил желание попробовать сдачу на vast.ai владелец довольно мощной сборки 6xRTX 4090 на 128-ядерном XEON с быстрыми ядрами и 256GB RAM.
К моему очередному удивлению, первая сдача произошла через неделю размещения, при том на vast.ai можно арендовать машины частично, хоть по 1GPU. Владелец может поставить ограничение, сколько минимум GPU он сдает единовременно. Сервис не переставал удивлять. Первая же аренда на 2GPU заняла 2 GPU из центра: xxDDxx, оказалось, порядок имеет значение и теперь сервис отказывается выдавать в аренду конфигурацию из 4-х адаптеров, а это снижает стоимость каждого GPU (Первоначальный анализ цен показал, что цена GPU в составе сборки с больших количеством ускорителей кратно выше ,чем в сбореке с 1-2 GPU).
Оставшиеся GPU никто не арендовал до сих пор (заканчивается 3-я неделя). О верификации машины, похоже можно не мечтать: некоторым счастливчикам везет в первый месяц, но далеко не всем. В их diccod периодически пишут владельцы машин, которые не верифицированы в течениии более 3-х месяцев!
А свою машину с 2 RTX3090 я не могу сейчас выставить в аренду, т.к. потребовалось провести эксперименты с codestaril 22B и они пока не закончены. Кстати, на таком конфиге (2x RTX3090 + 2x Xeon 2697v2) скорость генерации 18-19 токенов в секунду, при генерации загружено одно ядро процессора на 100%, остальные на 1-2%, утилизация GPU ~45%. Вывод, под инференс нужна максимальная однопоточная производительность. Суммарная мощность всех ядер процессора не важна.
Я все же попробую с vast.ai, т.к. у меня есть ряд преимуществ важных для этого сервиса: у меня обеспечена полная бесперебойность, есть автозапуск генератора, ИБП и два ввода электроэнергии с автоматическим переключением между вводами + два канала связи. Это позволит получить хорошую статистику бесперебойности и таким образом, занять строку выше в поиске по умолчанию.
А могли бы написать, какими провайдерами пользуетесь?
Заходите на iqhost.ru, у нас много карт разных, есть сервера на 8 карт разных модификаций, всегда в наличии и оперативно всё соберем
Большое тестирование видеокарт для машинного обучения