Комментарии 32
Сегодня ДикСик дидосили весь день. Вот такая вот конкуренция.
Так теперь Китайские смартофоны, пылесосы и холодильники смогут шнионить еще еффективнее и интилектуалнее ?
У меня есть глупый вопрос - надеюсь, кто-нибудь из специалистов сможет уверенно ответить:
Может быть такое, что заявления о беспрецедентных оптимизациях - выдумка? А модель училась на куда большем (не 50к против 10к, а на порядки) количестве карточек, или вовсе является "допиленной" существующей моделью?
Немного подозрительно, что именно кванты произвели такое потрясение - они, вполне вероятно, заработают на изменении курса акций NVIDIA существенные деньги, которых хватит, чтобы закупить уже настоящее железо и обучить настоящую LLM
"я не специалист, но мои 5 копеек"
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно:
https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
...но вообще всё это пахнет очередным хайпом.
>то теперь очевидно: будущее технологий лежит в разработке более эффективных алгоритмов, а не в безграничном наращивании вычислительных мощностей. Это открывает новые перспективы для конкурентов и ставит под сомнение долгосрочные прогнозы NVIDIA.
Будущее лежит и там и там. Это и так было очевидно всем, кто следит за новостями в сфере GenAI. Новые алгоритмы появлялись все это время и куча моделей (в том числе от небольших компаний) догоняли топовые модели. Что до железа - без него никак, так или иначе это ещё один способ скейлинга.
Крах? Может и крах, но вот прям сейчас смотрю на Nasdaq и уже треть краха осталась позади. Конечно к концу дня всё может обратно вернуться в крах, а может и нет. Время покажет.
Конечно крах: весь ИИ-софт, включая китайский, крутится практически безальтернативно на золотом железе ноувидео - "крах".
Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
NVIDIA лидирует потому, что ее CUDA - стандарт в вычислениях на GPU. Настолько, что AMD поборолись, и плюнули, решив, что написать эмулятор CUDA целесообразнее.
Развод Apple с AMD тоже им не сыграл на руку - пока в маках стояли карты AMD, еще был жив OpenCL. Ну, так. Кое-как. Сейчас у них доля в GPGPU по сравнению с CUDA - погрешность.
NVIDIA успешно смогла подсадить на CUDA всех и вся, настолько, что какой-то ML проект без CUDA - это как ресторан без напитков - нонсенс.
NVIDIA слегка просчитались, когда после 3060 на 12 гигабайт зажали VRAM и решили сыпать меньше. Ну и не было тогда понимания, что нужны будут сотни гигов VRAM энтузиастам дома. Apple тут повезло с их unified memory просто постольку-поскольку - она не делалась с расчетом, что когда-то все эти 100 гигов будут забиты одной ML моделью. Это оказался приятный бонус.
Сейчас выйдет NVIDIA Digits, и если Apple внезапно не переориентируется серьезно на ML - то судьба у них будет такая же, как и у GPGPU на AMD. А зная любовь Apple к огораживанию всего и вся, они скорее будут гнать юзеров на свои облака, нежели сфокусируются на локальных решениях.
Да нормально нейронки крутятся на чём угодно. В StableDiffusion можно хоть одновременно использовать и встройку, и дискретку, если не путаю.
Да крутятся конечно. Вопрос в том, каким количеством костылей их подпирать. Вот выжимка из wiki самого популярного webui для Stable Diffusion:
Windows+AMD support has not officially been made for webui, but you can install lshqqytiger's fork of webui that uses Direct-ml.
Training currently doesn't work, yet a variety of features/extensions do, such as LoRAs and controlnet. Report issues at https://github.com/lshqqytiger/stable-diffusion-webui-directml/issues
<...>
See if your GPU is listed as a build architecture in
PYTORCH_ROCM_ARCHvariable for Tourchvision and PyTorch. References for architectures can be found here. If not, consider building both packages locally or use another installation method.
Инструкции для nvidia сводятся к: извлеки - нажми run.bat.
Дык вы инструкцию-то саму и пропустили. Она тоже сводится к «скопируй вот эту команду» (гит) «и запусти webui-user.bat».
95% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
Именно. И форк тот для поддержки АМД работает плохо. Друг мой его пробовал, одну картинку генерирует, а на следующей уже падает с ошибкой нехватки памяти несмотря на 16 гб на карточке т.к. память почему-то не выгружается или не переиспользуется.
Когда раньше у меня самого была амдэшная карточка тоже страдал. Ничего связанного с ИИ на ней не работает, как ни пытайся.
Думаю, что с их объемами видеопамяти они бы с лёгкостью завоевали популярность у любителей генерировать картиночки или локально запускать silly tavern, но своих программистов АМД наверное вообще не кормит - не могу иначе объяснить почему те не пытаются контрибутить поддержку своих карт в популярные опенсорсные проекты. Или это такой тайный план Лизы Су получать откаты от куртки Хуанга.
Назвать ROCm "эмулятор CUDA" это конечно сильно) То что он позволяет переносить код с CUDA не делает его "эмулятором". Для задач с повышенным требованием к память то же Instinct MI325X гораздо выгоднее H100/H200. Даже без оптимизации Instinct MI325X показывает сопоставимый уровень производительности при почти вдвое более низкой цене.
Энтузиасты запускают LLM на всем, включая одноплатники. А маки со своей быстрой памятью просто в клочья рвут ускорители с HBM3)
Только сегодня кидал картинку. Авторы, где вы увидели крах?
А прямо сейчас она уже опять лезет вверх. Если китайцы сделают хорошие чаты-болталки общедоступными, то работать-то они всё равно будет на железе. А в железе нвидиа лидирует.
Если кто и пострадает, то разные стартапы, в которые раньше многие были готовы миллиарды вкладывать с малым выхлопом. Теперь инвесторы призадумаются, нужно ли вкладывать миллиарды. Или лучше найти грамотных спецов и вложить миллионы.
Обожаю этих аналитиков, которые сейчас будут высасывать из пальца.
Тем временем, за торговую сессию NVIDIA отросла почти на 10%, да и весь NASDAQ Composite практически отрос.
А вот DeepSeek весь день полумёртвый и только слепой ещё не стал замечать, что он выглядит очень мутно.
Нвидиа сами перестали гнаться за мощностями и начали делать упор на алгоритмы нейросетей, пример тому новая линейка видеокарт с обновленной версией DLSS
С учетом того, что теперь любой стартап может скачать модель DeepSeek-r1, запустить ее на своем железе стоимостью в смешные пару сотен тысяч баксов и получить свою локальную llm не уступающую ничем дорогой ChatGPT-o1 означает то, что скоро начнется дефицит сначала специализированных карточек, а затем и видеокарт (после того как появится гайд как эту модель запустить на домашнем кластере из видеокарт).
Ну а акции нвидии могут опять улететь вверх.
С учетом того, что теперь любой стартап может скачать модель DeepSeek-r1, запустить ее на своем железе стоимостью в смешные пару сотен тысяч баксов и получить свою локальную llm не уступающую ничем дорогой ChatGPT-o1 означает то, что скоро начнется дефицит сначала специализированных карточек, а затем и видеокарт (после того как появится гайд как эту модель запустить на домашнем кластере из видеокарт).
Ну а акции нвидии могут опять улететь вверх.
В чем крах, если запускать модели все равно будут на железе NVIDIA? Особенно с учетом того, что теперь его закупку потянут не только крупные конторы, но и великое множество мелких. Скорее, акции взлетят до небес, просто невидимая рука рынка пока не разобралась в ситуации.
Ставлю под сомнение этот тезис, либо его неполноту в том виде, как он приводится
Это стало возможным благодаря использованию RL
RL - по сути перебор и с точки зрения арифметики, чисто голый его вид это расходящиеся дерево, которое точно не пахнет лучшей оптимизацией, тут должно быть что-то накручено, либо какие-то махинации с выборкой для обучения.
Крах (?) NVIDIA: как DeepSeek встряхнул рынок AI