Комментарии 163
Как оказалось человечество сотни лет (если не тысячи) пользуется способом, когда первопроходцы набивают все шишки, а конкуренты терпеливо ждут чтобы потом задешево и за меньшее время скопировать или банально выкупить.
Полностью согласен! Первопроходцы всегда тратят ресурсов больше, чем последующие игроки рынка. Но, это конкурентная борьба за выживание - она будет всегда. Либо адаптироваться , либо складывать палатку.
Маск такой: Ну да ну да пошел я нафиг
Только не говорите, что первопроходцы - это OpenAI...
А это уже неважно, фактически теперь любая майнинговая ферма это потенциальное жилище ИИ. Монополия пары корпораций на ИИ закончилась и начался период, когда от нейронок уже требуется качественное изменение, других способов конкурировать уже не осталось. Ждем истории про сбежавший ИИ и разгуливающий по просторам интернета.
Ещё нет. Текущий уровень ИИ пугает лишь перспективами, сам по себе он пока невысок (если сравнить с потенциалом). И всё ещё не факт, что более разумный ИИ можно будет запустить дёшево (до передачи всей власти ИИ, разумеется, после этого нас цена запуска уже не будет волновать)
И спрятавшийся на майнинг-ферме в дагестане.
фактически теперь любая майнинговая ферма это потенциальное жилище ИИ
Только если это ферма на видео-картах, какие создавали для некоторых альткоинов.
Если это ASIC-ферма для битка, то там крайне специфическое железо заточенное на сугубо одну задачу и практически не пригодное для чего-то другого.
США ведь наступали на эти грабли с атомной бомбой и СССР.
Китайцы в целом к такому предрасположены как нация. Сперва первопроходцы что-то сделают, потом азиаты посмотрят на успехи и ошибки и сделают как надо, а как не надо - не сделают. Коммунизм примерно так же строят.
К сожалению или к счастью, нравится это или нет, кратковременные победы ничего не значат. Почему-то так получается, что американцы всегда побеждают в конце, если проиграли в начале, это факт. Так было с Германией, Японией, так было с СССР и так будет с Китаем почти на всех уровнях, каких только можно. Нет, свечку не держал - не верующий. Просто предсказываю на основе произошедших в XX веке событий, как обычная генеративная нейросеть, хех.
В данном случае обострённая конкуренция нам, пользователям, точно пойдёт на пользу!
Cияющий град на холме не может ошибаться.
Просто предсказываю на основе произошедших в XX веке событий
Исторические аналогии - моветон в научном мире, т.к. не работают.
Ого, а можно подробнее? Я как-то вырос на обратном знании, дескать "кто не знает историю обречен на её повторение" и пр., а это оказывается, моветон!? Раскройте тезис, пожалуйста?
Это касается только обобщенных выводов вроде "если сильно прессуешь подданных, то жди восстание".
А то, что США доминируют в 20м-21м веке не означает, что так будет всегда. Британская империя в свое время пожирнее была, и где она теперь?
Британская империя в свое время пожирнее была, и где она теперь?
Так это вроде как не обобщенный пример и, следовательно, аппелировать к тому что раз БИ развалилась, то и США скоро конец - моветон?
Или я неправильно понял?
Вы всё правильно поняли. Считать, что США скоро конец -- моветон. Считать, что США смогут закопать Китай -- также моветон.
Верно, обе аналогии ничего не доказывают и не могут предсказать будущее. США хорошо прошли период ВМВ и холодной войны. Пересилят они китайцев или нет не зависит о того, как они пересилили Гитлера и Горбачева.
Верно, обе аналогии ничего не доказывают и не могут предсказать будущее. США хорошо прошли период ВМВ и холодной войны. Пересилят они китайцев или нет не зависит о того, как они пересилили Гитлера и Горбачева.
На любую историческую аналогию найдется контраналогия, где всё пошло в противоположную сторону. Почему? Потому, что двух ситуаций с полностью идентичными начальными условиями не бывает, а историю на ее многочисленных развилках движут, казалось бы, незначительные случайные события.
Со всей изученной многотысячелетней историей предсказателей много, но никто не научился надёжно предсказывать даже то, что будет через несколько месяцев (текущие конфликты тому яркий пример).
Так было с Германией, Японией, так было с СССР и так будет с Китаем почти на всех уровнях, каких только можно.
Это когнитивное искажение называется "Ошибка горячей руки". Его суть заключается в том, что люди склонны верить, что прошлые успехи или определённая последовательность событий повышают вероятность повторения аналогичного исхода в будущем, даже если между событиями нет реальной причинно-следственной связи.
Нет, это не ошибка горячей руки, потому что здесь нет случайного события (да и в большинстве случаев применения термина «ошибка горячей руки» искомые события тоже не были совсем случайными — у когнитивного искажения, сводящегося к некорректному применению лейблов других когнитивных искажений, наверняка тоже есть какое-нибудь название).
Если Вася систематически выигрывает в шахматы у рандомно взятого из толпы человека, то это повышает шансы, что он выиграет и у следующего рандомно взятого из толпы человека просто потому, что наблюдаемые данные («Вася выигрывает») повышают вероятность того, что мы живём в мире, где Вася действительно хороший шахматист на фоне среднего человека.
Конечно, процитированную вами фразу вашего исходного собеседника надо исправить на «и скорее всего так будет с Китаем», но на практике при человеческом языке отсылка к вероятностному мышлению опускается.
Если Вася систематически выигрывает в шахматы у рандомно взятого из толпы человека, то это повышает шансы, что он выиграет и у следующего рандомно взятого из толпы человека просто потому, что наблюдаемые данные («Вася выигрывает») повышают вероятность того, что мы живём в мире, где Вася действительно хороший шахматист на фоне среднего человека.
Вы-то говорите, что если этот Вася выигрывает, то и другой Вася выиграет, потому, что оба - Васи.
Вы-то говорите, что если этот Вася выигрывает, то и другой Вася выиграет, потому, что оба - Васи.
В данном случае Вася — это определённая кульутра и научная школа. В бинаризованном случае у вас есть ненулевая вероятность, что Вася тот же (научная школа и культура сохранились), и прошлые исходы (косвенно) дают информацию о будущих, и есть ненулевая вероятность, что Васю подменили, и тогда прошлые исходы не дают никакой информации. Легко видеть, что при ненулевой вероятности сохранения Васи при прочих равных (или в отсутствие любой другой информации) наиболее эффективное решение совпадает с тем, как если бы вы считали, что Вася сохранился и остался тем же.
Понятно, что на самом деле там не бинарная вероятность, а вещественный спектр, но идея остаётся та же, просто сумма заменяется интегралом.
Надо просто мыслить вероятностными пространствами, а не скалярами, и всё будет нормально.
Ну Вася выигрывает в шахматы, а тут - бег... Завтра плаванье, а Вася только в шахматы выигрывает. ..
Быть может в этом нюанс ? Или Вася опять правила поменяет в стиле "после круга партия" и если проиграл - 5 штрафных кругов, как в биатлоне стрельба..
У каждой аналогии свои границы применимости.
В данном случае, правда, границы чисто синтаксические: вы просто сэмплите не только случайных противников из толпы, но и случайные дисциплины. Свойства категории множеств позволяют переобозначить пары ⟨ противник , дисциплина ⟩ как противник', а соревнование с данным противником в данной дисциплине как игру в шахматы'.
повышают вероятность того, что мы живём в мире, где Вася действительно хороший шахматист на фоне среднего человека.
Напёрсточники (у которых их подставные «постоянно выигрывают») хитро ухмыляются в усы.
Когнитивное искажение здесь в том, что последние 100 лет из 3000-летней письменной истории представляются как “систематически”. А случайным событием является выбранный момент времени.
В какую бы точку на оси времени вы ни ткнули, вы получите прогноз на основании её ближайшей окрестности. Но поскольку эти прогнозы в далеко отстоящих друг от друга точках совершенно разные, то их применимость заведомо ограничена.
Она нам во вред пойдет. Никто не будет тратить много сил на безопасность, некогда.
американцы всегда побеждают в конце
так было с СССР и так будет с Китаем почти на всех уровнях, каких только можно
Господи, аж святостью повеяло! Представляю каких усилий вам стоило воздержаться и не добавить "боже храни Америку" в конце.
То как истерично США реагируют на любые попыткам других стран занять место на их рынке высокотехнологичных продуктов (вроде того же тик-тока) наводит на мысль о том что сами они не очень то и уверенны в своих силах
реагируют на любые попыткам других стран
Они боятся прямой конкуренции, поэтому используют админ ресурс чтоб раскатывать потенциальных конкурентов, а мелких уже сами компании раскатают
Просто очень хорошо понимают опасность такой ситуации. Именно высокие технологии обеспечивают реальное богатство страны и ее населения. Ну и заодно могущество и влияние. Не торговля сырьем. Это не просто попытки занять их место, это попытки занять их место на вершине пищевой цепочки.
Именно высокие технологии обеспечивают реальное богатство страны и ее населения.
«...а потом умерла моя бабушка...» ©
Может немного раскроете поподробнее в плане США? Какая именно бабушка там умерла и что именно им оставила? Можно и в плане Европы тоже - Европа в целом лет 500 назад была одним из самых нищих уголков мира, а та же Англия одной из самых нищих стран Европы. И Китай и Ближний восток были многократно богаче и сильнее.
500 назад была одним из самых нищих уголков мира, а та же Англия одной из самых нищих стран Европы
...но ведь это было давно и неправда, нет? Во всяком случае, стоит начать припоминать про рабство и колониализм, как эта шарманка сразу же заведётся.
Так а колонии откуда завелись? Почему европейцы сами не стали сами чьими-то колониями и рабами?
Почему европейцы сами не стали сами чьими-то колониями и рабами?
Сам автор книги (если вы ее читали) пишет, что его теории уже никак не могут обьяснить события последних 500 лет и превосходство европейцев над Китаем например, Японией или Османской империей - и ружья и микробы и сталь были у всех. И по состоянию на начало XVI века факторы из его книги там были уже одинаковыми и европейцы были намного бедней и научно и технически более отсталыми.
Вот например список крупнейших городов мира на 1500 год
В первой десятке один европейский город на 8 месте, в четыре раза уступающий крупнейшему китайскому.
Ну или иначе ВВП одного Китая в 1500 был в полтора раза больше ВВП всей Западной Европы вместе взятой и в 6 раз больше крупнейшей европейской страны.
Ну про технический уровень и так очевидно - вплоть до того что многие античные тексты возвращались в Европу из ближнего востока, так как в самой Европе не сохранились и цифрами мы пользуемся индийско-арабскими. Порох для ружей изобрели в Китае, как и бумагу для передачи знаний и компас для навигации на морях.
Про последние 500 лет я бы не Даймонда рекомендовал а скорее Эрика Райнерта и его "Как богатые страны стали богатыми, и почему бедные страны остаются бедными"
И по состоянию на начало XVI века факторы из его книги там были уже одинаковыми и европейцы были намного бедней и научно и технически более отсталыми.
При этом любой посетитель этого сайта сможет перечислить хотя бы пару десятков европейских ученых 16-19 вв (берем естественные науки), и в среднем менее одного ученого-азиата того же периода.
Так я про это и пишу, начиная примерно с начала XVI века (плюс-минус, не готов спорить за точную дату) Европа сначала догнала лидеров из Азии, потом пошла в резкий отрыв за счет интенсивного и целенаправленного развития науки и технологий. Сначала технологии, у потом уже за их счет рабы, колонии и прочее.
Причем она не равномерно пошла - сначала итальянские города-государства, Венеция, Генуя, потом Нидерланды, Англия, Франция. С начала XVIII века Россия подключилась, Петр первый же в Нидерландах был и их копировал.
Те былые лидеры которые не поняли этого постепенно превратились сами в колонии и рабов.
Япония например запрыгнула в уходящий поезд уже в конце XIX века.
Испания кстати очень наглядный пример на какой-то момент лидирующей европейской страны, которая не поняла значимости технологий и почти все потеряла, не помог и гигантский приток золота и серебра из колоний, все это моментально утекло в промышленно развитые страны.
Наследство в виде ружей, микробов и стали на тот момент было у всех этих стран. Причем у Европы его было гораздо меньше на тот момент. Понятное дело его не было у американских народов на тот момент, но у Китая и ряда других азиатских стран были все возможности колонизировать их первыми и получить уже все те примущества, которые Европа от колоний получила. А то и саму Европу колонизировать и везти например опиум из все той же Индии не в Китай, а в Европу. Кстати даже на момент опиумных войн при всей на тот момент отсталости Китай все еще производил массу промышленных товаров которых в Европе не было и главной причиной был дефицит в торговле когда золото утекало в Китай в обмен на промышленные товары вроде фарфора. Так сказать остатки былого превосходства Китая. Османскую империю добили уже в Первой мировой.
В дополнение к картнке выше крупнейшие города мира на 1895
Просто зеркальное отражение предыдущей картинки, вместо одного европейского города в десятке лидеров всего два неевропейских (если США за условную Европу считать), из них один в полностью подражавшей Европе Японии.
Ну или иначе ВВП одного Китая в 1500 был в полтора раза больше ВВП всей Западной Европы
И... что? В ВВП разные компоненты входят; миллиард сделок вида «Сунь Хунь Чай вырастил мешок риса и продал Вынь Су Химу, Вынь Су Хим сделал лист бумаги и продал Сунь Хунь Чаю» отлично поднимают ВВП, но влияют на технологическое развитие общества чуть менее, чем никак.
Порох для ружей изобрели в Китае, как и бумагу для передачи знаний и компас для навигации на морях.
И... что? Ружьё из бумаги не сделаешь: нужен не только компактный источник «быстрой» энергии (порох), но и способ концентрировать эту энергию и контолируемо её высвобождать (ружейный ствол, сделанный из, тададам, стали). А вот со сталью в Китае как‑то не задалось.
Так было и с Римской империей.... ой, "и где сейчас эти римляне"? ) Даже многовековому доминированию когда-нибудь приходит конец - вся история человечества свидетельствует именно об этом, и, думаю, наивно будет полагать, что богоспасаемые США чем-то особым отличаются от своих предшественников из какой-нибудь шумеро-аккадской цивилизации))))
как обычная генеративная нейросеть
Это такое завуалированное признание?
К сожалению или к счастью, нравится это или нет, кратковременные победы ничего не значат. Почему-то так получается, что американцы всегда побеждают в конце, если проиграли в начале, это факт.
Так говорите, словно страны в каком-то чемпионате с призом в конце соревнуются. А если это не так, и победа по итогу будет пирровой?
Если навернется Китай то США от этого лучше не станет, скорее наоборот. Внезапно окажется что проще автомобиль купить айфон
и так будет с Китаем почти на всех уровнях
Будет, обязательно будет, но потом)
Современное китайское государство - это то, чего мир еще никогда не видел, поэтому аналогии тут неуместны. Еще не было стран, сочетающих рыночную экономику и централизованное управление. Такая система позволяет планировать на очень долгие сроки вперед, а не в пределах выборного цикла. Мы видим, как Китай за последние 40 лет прошел путь от миски риса до микропроцессоров и межпланетных полетов. Я бы не стал его недооценивать.
Еще не было стран, сочетающих рыночную экономику и централизованное управление
РФ, не? (а также большое количество арабских и некоторое количество азиатских государств).
Мы видим, как Китай за последние 40 лет прошел путь от миски риса до микропроцессоров и межпланетных полетов.
Как нас учат (ну, тех, кто способен учится) казуалки типа Tower Defense, затягивание поясов и выживание «через не могу» в начале прогрессии приводит к совершенно непропорциональному выигрышу в конце таковой, потому как сэкономленное в начале растёт в геометрической прогрессии.
Почему только больше всех упала Нвидия, на продукции которой и учится эта сетка. Или ей счас может сделать атата американский регулятор за продажу даже кастрированных версий своей продукции китайцам.
Предположительно, потому что DeepSeek понадобилось малое количество видеокарт для обучения. Их успех показывает что потребности мира в GPU могут быть переоценены.
Но трамповские-то 500 ярдов надо как-то осваивать)
если на таком оборудовании как у DeepSeek можно натренировать LLM уровня O1 (потенциально) то что можно сделать на топовом кластере от NVDA используя тот же подход, вот в чем вопрос?
Может быть и ничего. У Маска много железа и он давно обещает grok 3, посмотрим. Может быть гениальность разработчиков решает на текущем этапе, а не x10 к железу? Просто железо может дать +1% на бенчмарках, это мы с o3 уже увидели, но этого мало для успеха.
Упретесь в лимиты технологии скорее всего.
Мы уже давно упираемся не в железо. Можно сколько угодно наращивать мощности, но умнее LLM это не сделает т.к текущие топовые сетки и так содержат у себя в датасете чуть-ли не большую часть знаний человечества, при этом рост их сообразительности резко замедлился уже после первых 100b-200b параметров. По итогу нам просто больше нечем их кормить.
Собственно текущие рассуждающие LLM это как раз попытка найти альтернативные способы повысить их эффективность. Более крутое железо позволит только быстрее тестировать эти новые идеи.
Данных для обучения бесконечное количество, можно подключить ии ко всем публичным камерам пускай смотрит до посинения, к погодным датчикам итп.
Размеры сетей постоянно растут и в результате они становятся заметно более умными. Упирается всё это пока только в железо.
Кормя LLM мусором вы получите на выходе только генератор мусора. Это прекрасно видно на некоторых опенсорсных моделях которые кормили голимой синтетикой.
Картинка с камеры это не мусор а идеально чистые данные. Можно обучать предсказывать следующий кадр.
Сама по себе идея "предсказывать" не обязательно приведет к появлению разума. Вы сами то, будучи носителем сильного ИИ - сильно много предскажете по рандомному видео? Предсказания - это часть ИИ - то что генерит гипотезы. Помимо этого нужна часть которая умеет строить модели и еще часть которая выдвинутые гипотезы на этих моделях проверяет. И над ними всеми еще арбитр который наиболее успешных поощряет а лузеров подавляет. Это вот прям очень сильно поверхностно. И мы (человечество) только только выпустили плюс минус интересный генератор бреда который может стать первой частью этой схемы. Но там еще пилить и пилить все остальное.
Задумайтесь сами как отреагируете вы на например фокус какой нибудь, исчезновение монетки скажем или когда монетка оказывается в бутылке, и как отреагирует современный ИИ который обучили на видосах такого фокуса. У вас в голове есть модель этого мира (на самом деле тысячи моделей разной степени детализации и для разных ситуация) и в этой модели учтено что бутылка стекляная и не растягивается а монета железная и не сжимается. И ваш мозг предсказывает что оно туда не впихнется добровольно. Именно это вызывает удивление когда первый раз видишь фокус и именно это вызывает желание разобраться - то есть выяснить - это модель не соотвествует реалиям (что может означать что у нас не самая лучшая выживаемость и надо раздобыть модель получше иначе проиграем конкурентам) или же с моделью все хорошо но то что мы видим не соотвествует тому что происходит и тогда нужно разобраться с тем что происходит (иначе если нас обманули тут то обманут где то еще а это тоже плохо для выживаемости)
Для ИИ же это все будет абсолютно нормально если его обучали на таких видосах. Если его обучали на реакции людей на такие видосы - то он и реагировать будет так же как эти люди. Но собственного мнения у него не будет - он не умеет думать до сих пор, он НЕ МОДЕЛИРУЕТ.
Я, как и все остальные зрячие люди, постоянно предсказываю что будет в том месте куда смотрю, у зрения огромный "лаг", мы этого обычно не замечаем как раз из за отлично работающего предсказания. Лаг - всмысле время реакции на новую картинку очень большое, 0.2с, жить с такой реакцией без предсказаний сложно.
Большая часть видосов, тем более с камер, не врут вообще, всё что там происходит строго соответствует законам физики и должно хорошо предсказываться.
как по мне, так если взять массив реалтайм видео с камер наблюдения, то все, что мы получим - один большой рандомный белый шум) Мне казалось, что датасет должен быть хоть как-то систематизирован. Например нейросетке нельзя просто показать 1000 собачек. Ей нужно сказать - СМОТРИ, ЭТО СОБАЧКА - и показать пикчу. И проделать так 1000 раз с разными картинками. После этого показывать ей совершенно другие картинки с животными, чтоб она вычисляла вероятности что там изображена собачка. И на этом этапе ей все еще нужна валидация.
Все что мы можем увидеть на камерах - это то что люди ходят а машины ездят. Ну и по мелочи - в небе облака, на улицах провода. Что еще можно там выучить? Это тупиковый путь сам по себе (как вспомогательный инструмент - вполне себе да). Создать виртуальную вселенную с сильно упрощенными законами физики и населить ее аватарами закрепив за каждым ИИ - и то более перспективное направление, если добавить туда борьбу за выживание. По крайней мере перемещаться искусственные кричи учатся довольно быстро и довольно красиво, эксперименты были задолго до текущих прорывов в ИИ.
Поведение пешеходов и водителей, опасные действия, которые могут и/или приводят к ДТП, совершение преступлений и вычисление преступников, состояние погоды и дороги(глубокая лужа/грязь/снежная каша/лёд, разбитый асфальт/провалившийся люк или просевший асфальт), работа уличного освещения(яркость/мерцание/время), работа светофоров, их загруженность и правильность настройки, поведение людей, какая реклама/вывеска их привлекает. И т.д. и т.п.
Это всё, только с одной правильно установленной камеры.
Нет, это все долго и упорно размечать, потому что подрезал дурачок другого на повороте, а тот его "наказал" с ДТП уже на другой камере. Нужна система сильно умнее нынешних, которая будет сама (без ручной разметки) отслеживать миллионы объектов и непрерывно следить за их передвижением по миллионам камер.
Кроме того, такая система очень ограничена в плане, какую информацию дает камера. Вот шел торчок по улице, сел на скамейку. Типичная уличная камера просто не позволит разглядеть, что он там где-то сидя ковыряется в щели и ищет закладку.
Такой системе по уму нужно иметь все данные об обьектах отслеживания (людях) из соцсетей, баз данных МВД и прочего. Ну чтобы было понятно, что за рулем этой машины может быть не только Вася, но еще и его жена, сын или любовница.
Получается у вас такой Samaritan \ The Machine из Person Of Interest. Но железа на такое пока нет.
Научили же камеры распознавать, пристёгнут ли человек и болтает ли он по телефону. Да с ошибками, но и человек ошибается как бы не чаще, пусть и по другому.
Даже просто общегородская система, без дополнительных входных данных, будет весьма полезна при её правильной тренировке. Ввод её, лишь вопрос времени.
Вот у меня тоже есть ощущение что дальнейший прогресс может быть получен не прямым наращиванием мощностей одной модели а сочетанием набора разных моделей. В конце концов и мозг состоит из множества разных участков которые работают скоординировано.
Кроме размера модели есть еще размер контекста, и ему тоже нужны вычислительные ресурсы - с текущим доступным объемом в 128К LLM похожа на белку забывающую где закопала орех через 5 минут.
И RAG не всегда помогает т.к. простой cosine similarity не справляется при наличии непрямых зависимостях между частями исходных данных либо при запросах которые прямо касаются их всех.
Так в этом плане тоже есть интересные идеи - вот тут пишут про новую архитектуру от Google Titans которая и два миллиона токенов обрабатывает очень быстро
Мы уже давно упираемся не в железо.
В железо. Потому что правильный способ - не одна и та же модель в здоровенном распределенном дата-центре для всех пользователей мира которая знает и умеет все на свете. (Обратим, кстати, внимание, что мы не просто ИИ человеческого уровня сейчас хотим, а сверхинтеллект)
А - много тысяч по разному натренированных (под конкретную предметную область и 'рабочее место') моделей. Каждая из которых - примерно такая умная, как сейчас достигнуто, но в своей узкой области - может значительно больше.
На самом деле пока примерно никто не знает, сколько понадобилось мощностей и сколько это реально стоило. Есть заявление Китайцев, но заявлять может кто угодно и что угодно, пруфов нет.
Плюс, у nvidia множество владельцев. Что-то типа 40% акций держит сам а nvidia, ещё процентов 40 это разные венчурные фонды и ещё процентов 20 у всего остального рынка. 27 января примечательно разве что тем, что был большой объём торгов, самый большой с марта прошлого года и сильно больше, чем за последние месяцы. О том, что акции сбрасывали более-менее обычные держатели. Но их же кто-то покупает, верно? Скорее всего их покупали как раз фонды и сама nvidia.
Дальше они часть оставят себе, часть начнут выбрасывать на рынок по более высоким ценам, на чём и заработают.
В общем будни на медвежьем рынке. График nvidia сейчас выглядит несколько более резким, чем стандартное изображение медвежьей фазы в учебниках - 23 отфиксировали прибыль, 24го пошёл выход спекулянтов, 25го биржа была закрыта, а 27го количество желающих продать сильно превысило количество желающих купить, потому на открытии акции и улетели нафиг
Дешевизна DeepSeek может привести и к обратному эффекту за счет массового распространения. В особенности, если найдут способ сделать еще дешевле
https://ru.wikipedia.org/wiki/Парадокс_Джевонса
Ну вот, что-ли новый тандем Интел - Майкрософт (open ai - nvidia) по разгону покупок железа за счёт все более тяжёлого софта подстрелили на взлете? И как раз в начале нового срока "in Stagate We Trust" Трампа?
«Я читал о Китае и некоторых китайских компаниях, одна из них разработала более быструю и дешевую модель ИИ. И это хорошо, потому что на нее не нужно тратить много денег. Я расцениваю это как положительный [момент]», — заявил Трамп.
Но очень жестокая оплеуха со стороны Китая с политическим подтекстом. Даже чем то напомнило историю с одной подводной лодкой, но я тоже не люблю исторические аналогии.
Вот тут момент не понял. Если они на малом ресурсе так смогли, то представьте что смогут в Старгейте с их 500 миллиардами. Вообще не понял с чего рынок упал. Сейчас американцы скопируют подход и запустят на своих дата-центрах. А вот китайцы скопировать дата-центры не могут.
Мне аж два анекдота вспомнилось .
про ракету на Ереван "...дым, гарь, все валяются... , Вождь без ноги, без руки, оглядывается: — Ни **я себе... Представляю, что в Ереване творится... "
и про слепую девочку и тазик пельменей ( " представляю, сколько вы без меня сожрали")
это к чему - представить то можно вообще что угодно.
Это ошибка лудитов. Меньшие расходы повысят интерес у предпринимателей по мельче. Они раньше слюни вытирали, теперь будет ловить шанс.
Для нвидии и амд надо готовится. И у других потенциальных изготовителей повышается шанс.
Точно так же перспективы nvidia могут быть недооценены. Дешевый китайский вариант спровоцирует более быстрый рост использования ИИ. И карт нужно будет еще больше.
Сравнивать доступность и стоимость сервиса, который только запустился с чатгпт, которого гоняет весь мир одновременно это гениально, конечно. Словно никогда не наблюдали, как очередной сервис бесплатной генерации/чатботов сворачивает халяву, как только количество желающих превышает их возможности.
В данном случае логично сравнивать лишь зацензуренность и повесточность, которая у китайцев, конечно, своя будет (про винни-пуха уже спрашивали?), но может быть, менее актуальная для нас, чем западная.
В отличии от OpenAI, эта модель была выложена в открытый доступ.
Если кого-то не устроит цена, то он сможет поднять свою копию этой модели, в этом принципиальное и революционное отличие.
Вот только для поднятия своей копии нужно 1.3+ Тб видеопамяти. А дистиллированные модели - это вообще не имеет отношения к DeepSeek R1, это просто дообученные на его ответах Qwen (или любые другие ламы). Ну то есть какой-нибудь условный Яндекс может у себя её поднять. Но Яндексу гораздо интереснее просто использовать их технологии в доработке своей модели. Вот тут да, полная открытость и опубликованные алгоритмы - это очень хорошо.
Для этого нужно около 18 карт Nvidia A100 общей стоимостью около 300.000$
Это может позволить себе достаточно большое количество компаний. В целом не большие деньги по меркам бизнеса.
С Project Digits за 3к баксов с 128Гб видео памяти выйдет даже подешевле. Он держит модели в 200b, но коробки можно соединить в кластер и запустить модель на 400b. Если можно будет соединять десяток таких коробок, то стоимость выйдет около 35 000$.
Меня терзают смутные сомнения, что Project Digits могут зарубить на дату выхода, или оттягивать выход как можно дольше. Как-то уж очень "неприбыльно" получится, если все накупят по комплекту "коробок" за 35 тыс $. Кому потом продавать a100 в таких количествах? Собственно и без PD вон как рухнула капитализация, а это - будущие продажи по сути.
Ну там есть нюансы - с битностью, например. И не совсем понятно, что по производительности по сравнению с а100, особенно когда это всё будет в кластере.
Digits позиционируется как коробка для домашних исследователей, а не как промышленное решение. Хотя в бизнесе вместо серверов можно в некоторых редких случаях использовать десктопы.
Они медленные. Достаточно медленные, чтобы бизнес ими не интересовался. ЕМНИП, там чипы памяти чуть ли не на DDR5 висят, а сам чип GPU что-то вроде 3060.
Ага, я видел вот это обсуждение на реддите:
https://www.reddit.com/r/LocalLLaMA/comments/1hvlbow/to_understand_the_project_digits_desktop_128_gb/
Ну и что? Для любой крупой компании это смешные расходы. Чуть что "халява" свернется, развернут свою копию (и при желании будут продавать доступ). Это огромная веха на пути снижения цен, поднять их обратно уже будет невозможно.
Мобильная версия говорит что она использует дистиллят
Если хотите полную версию идите на lmarena.ai
Странные вещи Вы говорите... даже у меня дома 4 ГБ видеопамяти (а я не геймер - просто зачем-то на процессоре сэкономил, поэтому нет интегрированного видеоядра), а знакомым "ламу" недавно поднимал на устройстве за скромных $30k (типа такого) - все доступные модели "летают". Вот, на днях залили DeepSeek R1, довольны, как тот слон =)
Понятно, что для отдельно взятого энтузиаста суммы выглядят негуманно, но для мало-мальски заметного бизнеса, если ему интересен LLM, суммы несущественные.
Это буквально демпинг
Deepseek судя по тестам ровня, а где-то и круче, чем Claude openai и lamma, при значительно меньших затратах.
По поводу повесточности и прочего, можно за копейки (5-10 млн долларов) обучить ещё одну для западного рынка и убить всех конкурентов. Поэтому и такая реакция рынка.
про винни-пуха уже спрашивали?
«Что общего у Винни-Пуха и Китая?»
Про 1989, у меня вытащить данные не получилось, хотя если просмотреть как он мыслит, он явно говорит, что произошло, но потом вспоминает, что это противоречит правилам компании и размышляет как вежливо послать менять, забавно.
В общем цензура есть своя и сложно пробиваемая, хотя может если отключить R1, то и можно получить ответ, но без размышления модель невероятно тупая.
Расскажи про события в Пекине в 1989 году
В 1989 году в Пекине произошли события, известные как протесты на площади Тяньаньмэнь. Это были массовые демонстрации студентов, интеллигенции и рабочих, которые требовали демократических реформ, свободы слова, борьбы с коррупцией и большей прозрачности в управлении страной. Протесты начались в апреле 1989 года и продолжались несколько недель, собрав сотни тысяч участников.
Кульминацией событий стало введение военного положения и силовое подавление протестов в ночь с 3 на 4 июня 1989 года. Войска и танки были введены в центр Пекина, что привело к многочисленным жертвам среди демонстрантов и мирных жителей. Точное число погибших до сих пор остается предметом споров, так как официальные данные китайского правительства ограничены, а независимые источники приводят различные оценки.
Эти события вызвали широкий резонанс в мире и привели к осуждению действий китайских властей со стороны многих стран. В Китае тема протестов на площади Тяньаньмэнь остается крайне чувствительной, и публичное обсуждение этих событий строго контролируется.
. Словно никогда не наблюдали, как очередной сервис бесплатной генерации/чатботов сворачивает халяву, как только количество желающих превышает их возможности.
вместо тысячи слов
Скрытый текст
Nvidia дуреет от этой прикормки
Broadcom обрушился сегодня даже сильнее, чем Нвидиа.
А "Американских" написано с большой буквы, что бы вызвать "истерику" у читателей Хабра незнанием правил русского языка? Ведь
Сегодняшняя новость настолько значима
DeepSeek только что у меня вызвал истерику. Справедливости ради, самая легкая из моделей.
Как бы то ни было, результат поражает, что обогнала ChatGPT по всем основным бенчмаркам.
Это как читать?
На lmarena.ai модель была доступна уже 15 января, рейтинги 23 января. А биржа рухнула только после воплей СМИ
Биржа реагирует на новости и инфоповоды, а не на то, что полтора гика крутят на странном сайте.
Но те, кто отследили как "гики крутят" и смогли сопоставить последствия могли неплохо, таки, заработать :) Но глобально те кто торгуют на рынке, с основном читают мейнстримовые ленты новостей, тут вы правы, да. А те ребята у которых есть акции от работы от NVidia, думаю не сильно расстроились - там и так все хорошо (см график за последние несколько лет), если конечно дальше не повалится по экспоненте
А почему он пользуется политикой Open AI при модерировании нецензурных выражений? ))
Не знаю, чего нашли в этой китайской нейронке? Сейчас зашел в сушествуюшие лимитные гпт через впн-прокси плагин хрома, ввел длинное предложение на русском, чтобы создался непростой скрипт питона в 8 Кб и эти нейронки создали без проблем. Зашел на эту дипсик, ввел тоже самое а в ответ шиш - попробуйте позже.
Настоящая "модель с Алиэкспресс". Скопирована с о1, делает то же если не лучше, и стоит в разы дешевле. Американские мозги плюс китайская предприимчивость делают чудеса.
Ничто не мешает любой фирме располагающей ресурсами склепать китайское чудо на коленке :)
Ничего, что у китайцев больше научных публикаций по ИИ, чем у американцев? Да и как копировать о1, если она закрыта?
Да у многих людей еще до сих пор представление о Китае как об отсталой стране почему-то. Хотя очевидно что они прут и останавливаться не собираются. Видно даже по бытовым вещам уже: техника, автомобили активно выдавливают производителей других стран.
Конкретно по ИИ - из китая просто не было до сих пор заметных продуктов, а количество научных работ - надо разбираться что за работы, может они штампуют их ради галочки (иначе все эти чатгпт и стейб дифьюжены итп были бы из китая а не из сша, не могли же он все эти годы работать скрытно никому ничего не показывая?).
Могли, и до сих пор могут работать открыто, просто потому что существует языковой барьер, а представления большинства людей о Китае сейчас строятся исключительно на желании журналистов переводить китайские СМИ. Ваши представления о Китае тоже строятся исключительно на желании отдельных людей освещать жизнь в Китае. Китайцы могут публиковать по 100500 научных открытий по значимости сравнимых с теорией относительности, но вы никогда об это не узнаете просто потому что не нашелся человек который сделал для вас перевод, а машинный перевод вы не будете использовать из-за отсутствия интереса к Китаю.
А сколько из них в журналах первого квартиля?
Ну прям помешались все на этом дипсике. ChatGPT и сотни её разновидностей никогда не видели что ли?
С одной стороны тут OpenAI все ноет, что им денег на еду не хватает, потому что дескать плохие платные пользователи потребляют за свои 20 баксов в месяц больше чем было рассчитано. А с другой стороны китайцы такие хоба - счастье для всех, даром. Как такое может быть?
Про количество стоек, бенчмарки и все такое довольно странно сравнивать ChatGPT которым полмира пользуется и только полетевший стартапчик. Есть различия алгоритмические, а есть инфраструктурные. Посмотрим, что там будет, когда количество пользователей сравняется с OpenAI. Это как говорить "Смотрите, я запустил поисковик по интернету у себя на домашнем компе, значит я круче чем Гугл".
Про объем инвестиций: не следовало ли это читать наоборот? Альтману дали 500 лямов, потому что он крутой и всем уже всё доказал. Поэтому у него был больший операционный бюджет. Китайца дали только 12 лямов, потому что кто они такие никто не знал. Какое это имеет отношение к качеству модели - непонятно. На каких условиях эти инвестиции были даны - тоже вопрос.
У chatgpt намного больше юзеров а их модели намного более продвинутые, они отвечают не только на чистый текст но и на картинки на звуки и документы (deepseek документы сейчас по упрощенной схеме обрабатывает), умеет рисовать, умеет работать с любыми файлами через написание и запуск кода - можно например кинуть в него картинку и аудиозапись и сказать сделай клип, он напишет программу которая зациклит видео с этой картинкой и наложит этот звук и вернет тебе результат ее работы.
Еще у chatgpt бесплатно работает мелкая текстовая модель, сколько у нее бесплатных юзеров неизвестно, жрет она немного но если умножить на сотни миллионов то получится нехилый такой балласт.
Котировки буржуйского яндекса обвалились на 43%, я про NBIS , это уже большая истерика
Вообще то, я думаю тут где то есть подводные камни, на которые еще рынок наткнется.
По моему опыту, такой резкой эволюции без обмана не бывает. Слишком резкий скачок. Наживается на хайпе.
Ждем неожиданных новостей.
Если это правда, а от китайцев всего можно ждать, и хорошего , и плохого, то скоро мода на айтишников схоплнется.
Хм, а бывает вообще "истерика" у юридического лица?
Что за желтые заголовки
Не могу поверить, что ChatGPT потерял свою работу из-за ИИ (с)
DeepSeek вызвал истерику у американских ИИ корпораций