Comments 9
Не издёвки ради ... а где можно найти V100 32 ГБ за 65 тр ? Все злачные места что я нашел ценник от 100+
Еще месяц назад вполне реально было найти за такую цену. Сейчас да уже - все грусно.
Присоединяюсь к вопросу, видел за 85 самый дешёвый вариант
На авито есть. Я брал месяц назад. Сейчас за 70 с копейками можно найти на sxm2 разъёме (позволяет больше одной карты соединять через nvlink платы и подключать к гражданским ПК). Если Вам достаточно одной карты на 32 гб для экспериментов, то можно взять на разъёме sxm3(под них нет плат, чтобы объединить их по nvlink и подключить к гражданскому ПК), у них питалово 48 вольт, но зато реально найти за 40 тр.
Если прям по бюджетному но 64 гб хочется, рекомендую на алике Fujitsu сx400М4 4*V100-16GВ. Недели две назад смотрел, в районе 75 тр обойдётся.
Может конечно мир ушел дальше и что-то изменилось, но кажется ооочень странно сравнивать ollama и llama.cpp.
Примерно как сравнивать chrome и edge - они оба chrome.
Так и ollama внутри себя использует в качестве основного движка llama.cpp несколько я помню, и по сути это сравнение llama.cpp разных версий.
Примерно как сравнивать chrome и edge - они оба chrome.
Они не оба chrome, только один из них chrome, а второй edge. Это разные браузеры на одном движке. Сравнивать их можно и нужно, во многих сравнениях результат будет разниться.
Так и тут, между Ollama и lama.cpp разрыв производительности достигает 49%. Пренебрегать такой цифрой - вот это странно.
почему не пробовали https://github.com/1CatAI/1Cat-vLLM ?
Сейчас не особо актуально. Не стоит задачи разогнать мелкую модель на 27b или 32b, 1cat-vLLM оптимизирует именно то, что уже лежит в видеопамяти. У меня цель пролезть на бомжпакетах (v100) в высшую лигу и работать с моделькой ~1т, поэтому разряженные модели и большой объём ОЗУ.
Недельки через две будет плата 2*smx2, тогда на двух v100 протестирую просто ради интереса.
Домашний ИИ и пути развития: одна Tesla V100 32 ГБ в 2026 году