Комментарии 14
Миллиарды гб vram. То есть это минимум 2 миллиарда гб vram.
H100 стоит $ 40000 и содержит 80 gb vram.
2 млрд(vram) / 80(vram) * $40000 = $1 000 000 000 000 (один триллион) мне кажется там не было таких инвестиций или я ошибаюсь?
Нигде нет ошибки?
Хабр, введи кнопку - написано LLM. Чтобы сразу такое пропускать. Информационная ценность равна нулю. Не понимаю зачем хабр такое публикует.
Это перевод статьи Alexander T. Williams https://thenewstack.io/coding-with-slms-and-local-llms-tips-and-recommendations/
Эти модели, как правило, обладают миллиардными параметрами и способны генерировать код, понимать контекст и помогать в отладке.
миллиардами параметров
Локально размещённые LLM (Large Language Models) — это передовые модели машинного обучения, которые работают исключительно в вашем локальном окружении.
Локальные LLM — это большие языковые модели, которые работают на компьютере или сервере, без необходимости обращаться к облачным сервисам. https://scand.com/ru/company/blog/local-llms-vs-chatgpt-cost-comparison/
К чему вообще эта статья , какой-то бред написан
Основной проблемой локальных моделей является ограниченность аппаратных ресурсов. Например, топовая видеокарта Nvidia H100 стоит до $40 000
Этот человек точно понимает о чем он говорит?
70% приведенных им нейронок стартуют вообще без видеокарты, а самым продвинутым из указанных нужно 2х 3090. Ценой в 1400. Что НЕМНОЖКО отличается от цены Nvidia H100. В скромные 28 раз.
В будущем, вероятно, мы увидим усиливающуюся настороженность пользователей при подключении к сетям Wi-Fi, когда данные могут быть украдены злоумышленниками.
ШТА?
Полагаю, между строк подразумевается не инференс, а fine-tune на собственном датасете. Впрочем, даже там можно обойтись без H100, и далеко не всегда такое дообучение необходимо. А в инференсе да, если я на своем домашнем ПК спокойно 32B модели поднимаю, то у бизнеса проблем с этим точно нет и не будет.
А вот что имелось в виду под вайфаями, тоже не понял)) Существует вектор утечки данных через атаку на LLM, но чтобы такое хотя бы в теории произошло, нужно иметь доступ к ней, и у нейронки должны быть необходимые данные, а это совершенно точно не тоже самое, что просто получить доступ к WiFi сети.
Нужен еще LLM дебаггерр.
Как выбрать лучшую модель для кодирования: использование SLM и локальных LLM