В тексте опечатка: число 22 082 приведено два раза и, похоже, не относится к США. И проценты с числами не бьются: "В 2023 году вклад Китая оценили в 22 082 балла, ... Уже в 2024 году Китай набрал 32 121 (+17,4%) балл"
Сами создатели DeepSeek пишут, что их ключевая инновация заключается в следующем.
Есть принцип разбиения нейросети на отдельных "экспертов" (MoE), каждый из которых обрабатывает только токены определенного типа. Это позволяет задействовать только часть вычислительных мощностей, что приводит к экономии. Проблема этого подхода в том, что многие токены подходят для нескольких специализаций, в результате "эксперты" начинают дублировать друг друга и особого выигрыша нет. А если "экспертов" жестко изолировать, то система остается глупой.
Но создатели, во-первых, используют гораздо больше "экспертов" чем делалось ранее, а сами "эксперты" мельче. Во-вторых, они помимо обычных применяют специализированные "эксперты", которые собирают "общие знания" - т.е. знания, которые при обычном подходе попадают сразу к нескольким "экспертам". (With a conventional routing strategy, tokens assigned to different experts may necessitate some common knowledge or information. As a result, multiple experts may converge in acquiring shared knowledge in their respective parameters, thereby resulting in redundancy in expert parameters. However, if there are shared experts dedicated to capturing and consolidating common knowledge across varying contexts )
В результате система остается фрагментированной (т.е. при обработке каждого токена используется лишь небольшая часть мощности), но одновременно умной.
Не уверен, что корректно изложил, но явно ключевое - это "эксперты".
Там ведь дело не столько в бюджете, сколько в том, что они получили отличный результат на относительно небольшой вычислительной мощности.
И теперь ключевой вопрос - смогут ли лидеры отрасли, применяя те же методики, резко повысить свои результаты, благодаря наличию гигантских вычислительных мощностей? Если да, то нас ждут новые прорывы. Если нет, то миллиарды, потраченные на груду железа, будет очень сложно окупить (и тогда лидеров отрасли ждут финансовые проблемы).
У SLS стоимость одного запуска оценивается в миллиарды, либо в лучшем случае в обещания $800 млн "при серийном производстве". За такие деньги у Маска можно заказать и ракету (причем много запусков сразу), и космический корабль, либо соединить имеющийся корабль и ракету - в общем варианты найти можно. Ведь он доказал, что может делать дешево и хорошо.
А по поводу надежности надо по делам судить, у Маска все получалось до сих пор. И любые личные дела Маска на это влиять не могут, т.к. его богатство в акциях, и даже их гипотетическая передача другому собственнику не влияет непосредственно на финансы SpaceX.
Ключевая фраза в источнике звучит так: "они [администрация Байдена] одобряют контроль правительства над ИИ до такой степени, что оно становится маркет-мейкером, позволяя процветать лишь нескольким компаниям, которые связаны с правительством".
Заголовок звучит немного странно. Исходя из текста, я бы озаглавил "Комплект разработчика Nvidia стоимостью 249$ обещает увеличенную мощность искусственного интеллекта за более низкую цену"
Насчёт войны я с вами согласен. Я о том же - если противник столь сильно превосходил технически и индустриально, то вряд ли это может служить аргументом в пользу эффективности советского строя.
Ну не знаю, рывок в индустриальную эпоху сделали все более-менее развитые страны (и при этом без массового голода), а положить в войне 28 млн - такое себе достижение. В ракетные технологии вкладывали прежде всего с целью доставить ядерную боеголовку через океан на голову неправильных индивидов, а как нужно было вложить еще больше ради Луны и Марса - тут же сдулись. Причем сдулись тогда, когда у СССР в 1970-е было полно нефтедолларов, а США напротив переживали кризис, и были все предпосылки первенство в космосе сохранить.
Попыток реализации коммунизма/социализма было уже множество, Венесуэла из последних, и везде - экономическая неэфекивность и бедность. Зачем повторять то, что доказало свою пагубность, - не понимаю.
Невероятно эффективное общество, где каждый поддерживает друг друга. В котором существует полная свобода для развития. Где доступ к ресурсам находится в свободном доступе у каждого индивида, кто трудится на благо общества. ... Нация и общество, готовое к самопожертвованию, будет значительно успешнее тех, что ориентированы на благо каждого отдельного индивида. ... Индивид <работающий на собственное благо> должен быть немедленно устранен
Очень напоминает концепцию коммунизма. К сожалению, все попытки практической реализации оказались провальными и преуспели только в устранении "неправильных" индивидов.
В этой публикации самая интересная табличка - с подписью "Модальности трех распространенных тестов...". В ее правой части указан процент верных решений в зависимости от модели.
В оригинале такая же мутная подпись к табличке, но там хотя бы разъясняется ее суть в пункте 3.1.
Википедия изначально создавалась с принципиальной позицией, что ее материалы можно использовать. А конкуренция и плюрализм это всегда хорошо.
Чем больше альтернатив и конкуренции, тем лучше.
В тексте опечатка: число 22 082 приведено два раза и, похоже, не относится к США. И проценты с числами не бьются: "В 2023 году вклад Китая оценили в 22 082 балла, ... Уже в 2024 году Китай набрал 32 121 (+17,4%) балл"
Третий Doom - это шедевр, в который интересно играть до сих пор. Все что после него - прошел и забыл.
Сами создатели DeepSeek пишут, что их ключевая инновация заключается в следующем.
Есть принцип разбиения нейросети на отдельных "экспертов" (MoE), каждый из которых обрабатывает только токены определенного типа. Это позволяет задействовать только часть вычислительных мощностей, что приводит к экономии. Проблема этого подхода в том, что многие токены подходят для нескольких специализаций, в результате "эксперты" начинают дублировать друг друга и особого выигрыша нет. А если "экспертов" жестко изолировать, то система остается глупой.
Но создатели, во-первых, используют гораздо больше "экспертов" чем делалось ранее, а сами "эксперты" мельче. Во-вторых, они помимо обычных применяют специализированные "эксперты", которые собирают "общие знания" - т.е. знания, которые при обычном подходе попадают сразу к нескольким "экспертам". (With a conventional routing strategy, tokens assigned to different experts may necessitate some common knowledge or information. As a result, multiple experts may converge in acquiring shared knowledge in their respective parameters, thereby resulting in redundancy in expert parameters. However, if there are shared experts dedicated to capturing and consolidating common knowledge across varying contexts )
В результате система остается фрагментированной (т.е. при обработке каждого токена используется лишь небольшая часть мощности), но одновременно умной.
Не уверен, что корректно изложил, но явно ключевое - это "эксперты".
https://arxiv.org/pdf/2401.06066v1
У меня ChatGPT-1o тоже дал верные ответы в обеих задачах (и с золовкой, и с коробками). Над каждой думал долго - минуты три.
Там ведь дело не столько в бюджете, сколько в том, что они получили отличный результат на относительно небольшой вычислительной мощности.
И теперь ключевой вопрос - смогут ли лидеры отрасли, применяя те же методики, резко повысить свои результаты, благодаря наличию гигантских вычислительных мощностей? Если да, то нас ждут новые прорывы. Если нет, то миллиарды, потраченные на груду железа, будет очень сложно окупить (и тогда лидеров отрасли ждут финансовые проблемы).
У SLS стоимость одного запуска оценивается в миллиарды, либо в лучшем случае в обещания $800 млн "при серийном производстве". За такие деньги у Маска можно заказать и ракету (причем много запусков сразу), и космический корабль, либо соединить имеющийся корабль и ракету - в общем варианты найти можно. Ведь он доказал, что может делать дешево и хорошо.
А по поводу надежности надо по делам судить, у Маска все получалось до сих пор. И любые личные дела Маска на это влиять не могут, т.к. его богатство в акциях, и даже их гипотетическая передача другому собственнику не влияет непосредственно на финансы SpaceX.
Удивительно не то, что SLS отменяют сейчас, а то, что этого не сделали раньше. У Маска все и дешевле, причем в разы, и надёжнее.
И то верно. Не привык в личку писать.
Заголовок поменян уже. Могли бы и коммент сюда про это дать.
Ключевая фраза в источнике звучит так: "они [администрация Байдена] одобряют контроль правительства над ИИ до такой степени, что оно становится маркет-мейкером, позволяя процветать лишь нескольким компаниям, которые связаны с правительством".
И, надо сказать, Андреессен абсолютно прав.
Заголовок звучит немного странно. Исходя из текста, я бы озаглавил "Комплект разработчика Nvidia стоимостью 249$ обещает увеличенную мощность искусственного интеллекта за более низкую цену"
Ну не знаю, в Первую мировую войну русская армия вполне достойно себя показала. Развалилось всё как раз после прихода к власти коммунистов.
Насчёт войны я с вами согласен. Я о том же - если противник столь сильно превосходил технически и индустриально, то вряд ли это может служить аргументом в пользу эффективности советского строя.
Ну не знаю, рывок в индустриальную эпоху сделали все более-менее развитые страны (и при этом без массового голода), а положить в войне 28 млн - такое себе достижение. В ракетные технологии вкладывали прежде всего с целью доставить ядерную боеголовку через океан на голову неправильных индивидов, а как нужно было вложить еще больше ради Луны и Марса - тут же сдулись. Причем сдулись тогда, когда у СССР в 1970-е было полно нефтедолларов, а США напротив переживали кризис, и были все предпосылки первенство в космосе сохранить.
Попыток реализации коммунизма/социализма было уже множество, Венесуэла из последних, и везде - экономическая неэфекивность и бедность. Зачем повторять то, что доказало свою пагубность, - не понимаю.
Очень напоминает концепцию коммунизма. К сожалению, все попытки практической реализации оказались провальными и преуспели только в устранении "неправильных" индивидов.
У Маска это не так устроено. И потом, в контракте всегда можно прописать нужную степень локализации.
В этой публикации самая интересная табличка - с подписью "Модальности трех распространенных тестов...". В ее правой части указан процент верных решений в зависимости от модели.
В оригинале такая же мутная подпись к табличке, но там хотя бы разъясняется ее суть в пункте 3.1.
Мне вообще непонятно, почему "зависимость от коммерческих партнеров" - это плохо. Если Маск все делает дешевле и эффективнее - так это и хорошо.
А так-то действительно, деградация - результат недофинансирования. Сейчас бюджет менее 0,5% даже.