Комментарии 72
уже завален запросами
1 трлн потеря рынка в США на фоне этой новости. НВидеа упала бллее чем на 15%, деньги голосуют
Нвидиа так раздута, что эти 15% теряются на общем фоне. Чтобы вернуться к курсу, который был год назад, им ещё в 2 раза надо упасть. А чтобы вернуться к курсу 2-летней давности надо упасть в 5 раз
Nvidia уже второй или третий раз за год упала более чем на 15%. При этом за два года выросла более чем в 2 раза.
Не переоценивайте, они отрастут обратно и в гору пойдут. Сама же nvidia буквально в сентябре падала почти на 10%, установив рекорд за одну торговую сессию. И с того момента выросла почти в 1.5 раза.
Все делают вид, будто произошло что-то невероятное, хотя просто посмотрите на графики, рынок колбасит, там раз в месяц такие падения. Сейчас они на уровне 2024 года
А вот что реально важно, так это то, что у них через месяц отчётность за последний квартал 2024 года. Если там всё норм, то они дальше попрут. А ведь это даже без Blackwell 2.0, которые только вышли
Цена основана на ожиданиях. Если китайцы смогут сделать свое оборудование для чипов на уровне, nvidia станет одной из многих.
они тренировали ее на оборудовании nvidia, оптимизировав софт с уменьшением обмена между gpu. потратили 6 лямов на обучение
Только как появление софтовой модели связано c производством чипом и литографией?
Вы говорите о классическом рынке. В последние 5 лет цена основана ни на чём, это казино. И рынком очень неплохо магипулируют.
Ну и про «если» - да, верно, если Китайцы сделают. Если Вася сделает чип из зубочисток, размером со спичечный коробок, который будет выдавать мощности топовых суперкомпьютеров, он поработит мир. Проблема в том, что Китайцы в реальности всё никак не выкатят хоть чего-то стоящего или даже сопоставимого
У NVIDIA заказов на чипы - на годы вперёд. И те, кто это понимает, сейчас с ухмылкой потирает руки и скупает временно подешевевшие акции. Народ не догоняет, что ребята из DeepSeek просто спарсили ответы о1 и засунули их в Reinforcement Learning. Потому что СМИ это подают как "супер-пупер китайские технологии". Короче, цирк :)
Да у них серьезная коллекция
/Ии не понять эту шутку/
Я так понимаю у товарищей с цитатами внизу не хватило в отличие от Вас познаний в предметной области и поэтому они купились на дешевый цирк. Спасибо что открываете глаза сообществу.
Джим Фань, старший научный сотрудник Nvidia, назвал отчет DeepSeek о результатах прорывом. Он написал в X, что она напомнила ему о ранних новаторских программах, которые научились играть в шахматы «с нуля, без подражания человеческим гроссмейстерам».
Зак Касс, бывший руководитель в OpenAI, отметил, что прогресс DeepSeek, несмотря на американские ограничения, «подтверждает более общий урок: нехватка ресурсов часто побуждает креативность».
Прорыв в том, что RL даёт результаты. Вот только этот RL было бы не на чем осуществлять, если бы не было о1. Прорыв в улучшении эффективности. И это никак не бросает тень ни на OpenAI, ни уж тем более на NVIDIA. Потому что дефицит вычислительных мощностей от этого прорыва никуда не делся. Просто китайцы сделали то, что они умеют делать лучше всего, - скопировали уже созданное с чуть похуже качеством, но существенно дешевле.
Дело не в тени на nvidia, а в том, где покупатели GPUs будут брать деньги на покупку. Интересно было бы взглянуть на объемы платных запросов к OpenAI, как быстро они падают.
При чем тут о1? У них же принцип работы совершенно разный.
Прорыв в том, что RL даёт результаты. Вот только этот RL было бы не на чем осуществлять, если бы не было о1.
Да-да. Обучили путем RL на рассуждениях, взятых из o1. Вот только о1 не выдает рассуждений, лишь ответы (примерно как старые модели). Упс...
CoT для этих ответов кто-то писал. И основная синтетика в DeepSeek идет от Claude (благодаря чему он пишет не настолько адски уныло как GPT).
Про перечень заметных (и весьма значимых) архитектурных улучшений в сравнении с другими модельками (включая ClosetAI) конечно же тоже забудем, иначе в устаревшие байки про копирование не впишется...
Честно говоря, я когда тот коммент писал, то предполагал, что о1 выдаёт рассуждения. Сейчас проверил - оказывается он выдаёт не рассуждения, а краткий пересказ этих рассуждений (если нажать на плашку с временем генерации).
В общем, китайцы сделали так:
1) Обучили базовую модель DeepSeek-V3 на ответах GPT-4. Как только модель зарелизили, она отвечала, что "это GPT-4 от OpenAI" (забыли почистить).
2) Применили к базовой модели RL с таким шаблоном:
3) Получили промежуточную рассуждающую модель DeepSeek-R1-Zero.
4) Сгенерировали этой моделью 800 000 рассуждающих ответов (почистив от мусора).
5) Запустили файнтюнинг DeepSeek-V3 на полученных в предыдущем шаге ответах.
6) Применили к полученной модели RL и получили итоговый DeepSeek-R1.
Что мешает openAI "спарсить" свои же ответы и сделать свое апи в 30 раз дешевле? Как они будут окупать следующую разработку, если для прорыва им нужно 100 миллиардов (первый этап старгейта), а китайцы за миллиард и два месяца "спарсят ответы"?
Будут урезать бонусы топов до уровня китайцев, маркетинговые расходы, бюрократию, диверсити, и прочую дребедень, которая бессмысленно выжирает львиную долю бюджета. Ровно та же история, что с Маском, который показал, что ракета летает и без ежемесячной покупки логотипов на майке футболиста за миллион евро каждый... Добро пожаловать на открытый рынок, хватит сидеть в теплом загончике.
Народ не догоняет, что ребята из DeepSeek просто спарсили ответы о1 и засунули их в Reinforcement Learning
А что-ж тогда сами OpenAI "просто" не спарсили свои собственные ответы и не засунули их туда же?
А если уж обвинять - так и Open AI точно также парсерил все, да чего мог дотянуться.
Я не очень понимаю смысла с обвинениями китайцев в этом разрезе.
Они реально сделали крутую сеть, забравшись на ступеньку выше и, в отличии от OpenAI, дали возможность использовать ее локально.
ИМХО - молодцы.
Дали возможность использовать ее локально тому у кого есть 400гб лишней видеопамяти, то есть примерно никому вообще?
Серьёзные вещи требуют серьёзной техники в айти, и это нормально.
Во-первых сетка только заработала и ее тюнят, вполне возможно что после тюнинга, тем более это можно делать с открытыми продуктами куда эффективней - требования понизятся.
Во-вторых сама возможность это сделать куда лучше полностью закрытого контура.
В-третьих кому нужно будет - запустят, не волнуйтесь.
На околотоп видеокарте можно запустить на 32b, которая как пишут в комментах уже вполне рабочая и которая оперативно отвечает.
Сетка на 70b тоже вполне уровень ИИ энтузиаста - две топ.видеокарты.
Запускал 70b на cpu и 64gb ram. Жутко медленно. Но работает!
Хотя для оперативности мне пока хватает 14b, 70b - это заранее подготовленный промт и идти спать. По меньшей мере клиент-серверное приложение "простой мессенджер для локалки" оно накарябало мне за 10 часов. Не то, чтобы в этом была необходимость, просто хотел сравнить качества ответов разного размера моделек именно для локального применения.
Ну и как качество 70b?
Вполне себе хорошее. До веб-версии не дотягивает понятное дело, но по сравнению с той же ламой-3 70b прям заметно выше. Код за ней почти не приходится править, самая частая ее ошибка по кодингу - придумывание несуществующих библиотек, ну этим вообще все модели страдают. Вообще мне 30b оптимально по параметру "скорость-качество".
Дали возможность использовать ее локально тому у кого есть 400гб лишней видеопамяти, то есть примерно никому вообще?
Куче частных мелких AI-лаб и лаб при университетах. Куче хостящих модели стартапов. Да и просто челики с 4x A100 и 8x A40/A6000 сборками дома в подвале на реддите тоже не редкость.
400 гб это на самом деле всего лишь 5 A100 т.е примерно около 100к USD, что по факту не так уж и неподъемно даже для частнтго лица (для организации и подавно). А модель ведь можно и квантованную запускать + она MoE т.к сама по себе не прожорливая и для не многопользовательских нужд вполне потерпит и частичный оффлоадинг в 12-канальную DDR5 с сохранением на GPU активных экспертов.
А что-ж тогда сами OpenAI "просто" не спарсили свои собственные ответы и не засунули их туда же?
Они так и сделали, когда спарсили GPT-4 и сделали из него GPT-4o (у которого рабочее название было "gpt2-chatbot"). И техдир Майкрософта открыто говорил о резком удешевлении:
Просто в этот раз то же самое сделали китайцы. И да, они молодцы. Но только не в том смысле, в котором об этом трубят в СМИ.
Уверен что DeepSeek финансируется партией для "переманивания" пользователей с OpenAI условиями "качеством" и ценой. Уже было такое много раз (в разных сферах)
Есть кто-нибудь кто пробовал пополнять API у DeepSeek? Просит номер телефона иностранной карты, в отличие от OpenAI
Просто оставлю это тут:
И что?
На русском забыли зацензорить (пример ниже вчерашнего ответа, чат которого сегодня был удален), иногда отвечает, но иногда срабатывает цензура и отвечает как комсомолец
>После подавления протестов в Китае была усилена цензура, а многие участники демонстраций были арестованы или подверглись преследованиям. События на площади Тяньаньмэнь стали символом борьбы за демократию и свободу в Китае, но также и примером жесткого подавления инакомыслия со стороны властей.
Рядовой Иванов, о чем вы думаете глядя на этот кирпич?
Ёмко )) только что повесил чат задавая вопросы по онкологии )) просто перестал отвечать, пришлось перезапустить ))
Китайцы внезапно уравняли всех в доступе к ИИ
Не кажется ли вам стыдным просто копировать сюда неправильный ответ, не проверяя его самостоятельно?
Не кажется ли вам конструктивнее предложить свой правильный ответ, чем переходить на скандальный тон? У меня нет свободной NVIDIA A100, чтобы проверить самостоятельно, как вы хотите.
Постыдного в копировании чужого ответа нет ничего, я же не выдаю его за свой. Чужое мнение может быть и не правильным.
Постыдное в копировании чужого мнения как раз есть. Вы ведь не посмеялись над странным ответом, а стали на него ориентироваться. Если вы будете пересказывать другим чужое мнение, что гомеопатия работает, а Землёй управляют рептилоиды, разве это не будет стыдно? Будет конечно.
Везде каждый раз повторяют, что верить нейросетям на слово нельзя, а вы взяли и с первого чиха поверили.
NVIDIA A100 вам не нужна для проверки.
Я не буду поддерживать позицию "напишу неправильно, кто-то обязательно опровергнет и скажет ответ". Если бы вам было нужно, вы бы спросили или поискали. Если хотите, можете верить всему подряд, дело ваше.
Китайцы внезапно уравняли всех в доступе к ИИ
Но при этом в первую очередь советуют железо от NVIDIA.
Любят у нас раздувать ажиотаж. Возможно, по техническим параметрам это хорошая модель. Но мне без разницы, мне важна способность не врать и как-то имитировать рассуждения.
*
Два дня общался с этой моделью (с включенным режимом DeepThink). Сравниваю для себя с Perplexity, с которой общался на эти же темы.
*
По ощущениям DS получше будет. Бойкая до наглости, быстро меняет стиль общения. Но по сути, к сожалению, не лучше. В философско-психологической тематике на уровне начетчика. Шпарит длиннющие тексты (без указания источников) на уровне церковно-приходской школы.
*
Имеет твердые идеологические рамки и исходные аксиомы. Например, доказывала мне, что важно быть нахрапистым и наглым в битве за доступ к кормушке. Ценность, мол, базовая.
*
Этот "ход мыслей" (СоТ) ценностью не является. Убогое изложение общих лозунгов на примитивном уровне.
*
С апломбом говорит глупости (по сути дела). И в порядке шутки уверяет, что "абсолютно уверен" (!).
*
Т.е. качественного прорыва не увидел. То, что процессы быстро развиваются - это хорошо. Будем посмотреть.
Какое там окно контекста?
Помню, для сравнения моделей придумал абсолютно левый случайный вопрос, на который модели вряд-ли сильно обучались:
"Что будет, если в полость цилиндра двигателя внутненнего сгорания поместить достаточно объемный посторонний предмет так, чтобы он не мешал движению поршня или работе свечи?"
До сих пор все модели кроме GPT 4/4o были не сильно на высоте. Был в шоке, что deepseek отвелила лучше чем 4o.
Народ, а что за баг с deepseek. Пытаясь понять какой версией пользуюсь, спрашивал ее точное название. И в одном диалоговом окне оно утверждает что является chatgpt от open ai. В других что он deepseek. Пробовал и в браузере и в приложении в этом диалоговом окне снова переспрашивать. Упорно отвечает, что является chatgpt. У нее самой идей мало почему так, от возможности левого скачанного приложения(что точно не так) до использования deepseek api от open ai. Мне просто повезло на баг наткнутся или тут что то не так?
Не знаю, почему его ставят в один ряд с о1, входной промпт, скажем, код в 500 строк режет безбожно, как то рандомно выбирает несколько коротких кусков из всего кода, и на основе этого выдает не менее урезанный ответ. Даже если просто попросить его сделать программу, которая делает красиво по нажатию одной кнопки, если в этой программе будет больше двух функций - начинает резать. А если нужно что-то не совсем уж примитивное сгенерировать, то я даже не знаю, это и не запустить тут же, потому что огромного куска кода ДС предпочел просто не писать, и для себя нового не подчеркнуть, по той же причине. При этом уверенно утверждает, что выдал полный код) И это несмотря на заявления, что он на вход может 128к токенов принимать!!
Разницы в локалке(32b) и через их сайт - не увидел, разве что в качестве ответа. o1 же на их фоне способен за раз обрабатывать большой код, давал ему на 2000 строк, задавал промпт, и он мне выдавал рабочий результат, даже не сойдя с ума!
Так что хайп вокруг модели очень сомнительный. Дешёвый? Да. Открытый? Да. Молодцы. Однако в остальном он проигрывает. Все эти тесты как будто ничего общего с реальностью не имеют, если в этих тестах конечно не совсем уж простые и примитивные задачи..
Вы явно использовали что-то другое, не DeepSeek r1.
На сайте chat.deepseek.com может поставляться что-то другое?)) Или вы про локальный вариант? Локальный был загружен со страницы официального аккаунта дипсика на huggingface. Без кастомных квантизаций
На сайте chat.deepseek.com две версии, ваш вопрос уже намекает, что неизвестно, какой вы пользовались. V3 или R1
Ну так дураку понятно, что версия без функции deepthink это V3, а с ней - R1, использовалась версия с Deepthink, а именно R1
Реальный опыт подсказывает, что люди, бывает, путают. Могут даже не обратить внимание, нажали кнопку или нет. Вас лично я не знаю, угадать, насколько вы внимательны, не могу.
А вот отзыв от качестве генерации намекал. Может у вас язык нестандартный, может задача более хитрая для нейросети, мой опыт более позитивный (но o3-mini-high лучше, на постоянку пользуюсь ей)
Ну задачи не типовые, скажем так, но на пайтоне. В целом каких-то ухищрений мои задачи не требуют, но вот если с контекстом ещё можно что-то как то получше объяснить конкретно дипсику что именно мне нужно, то с нарезанием кода на фрагменты я ничего поделать не могу, по этой причине и было принято решение попробовать запустить её локально, но, к сожалению, не помогло. Лично для меня о1 выигрывает и по качеству ответа и по целостности. Модели линейки о3 мини пока ещё не пробовал.
Прошу прощения за свой французский, я немного опешил, что мне такую глупость написали, ибо начал играться с дипсиком ещё до того как в СМИ шумиха пошла - более 2х месяцев назад.
За все время, что я пробовал чатбота на chat.deepseek.com, я ни разу не столкнулся с оплатой или лимитом использования. Возможно, у Deepseek есть скрытый лимит использования, но если это так, то я его не достиг.
Да собственно про все ограничения можно его и спросить. Он отвечает. Даже советует как обходить лимиты.
Не могу сравнить с платными и крутыми LLM, но это первая из доступных, которая сказала, что не может мне помочь с поиском стоп крана на мусорном баке, потому что обычно они таким не оснащены. А в размышлениях усомнилась, что я задаю адекватный вопрос
А где инструкция скачать в докере в 1 клик и использовать как api локально ?
Сколько она весит ?
Ну вот если честно посчастливилось мне поюзать o1 и deepseek R1 для решения олимпиадных математических задачек и олимпиадных задачек по проге. Что я заметил, так это то, что o1 рассуждает структурировано, рассудительно, как спокойный профессор или глубокий старец. Рассуждения R1 больше похожи на нас - рассуждения СДВГшника. Не знаю про методологию бенчмарков, но на олимпиадных задачках o1 показала себя гораздо сильнее.
DeepSeek R1: модель с производительностью o1 от OpenAI. Сравнение с o1, сколько стоит и как использовать API