Так это и не бюджет, бюджет принять не смогли. Поэтому вместо него принимают закон о продлении финансирования на очередные три месяца, а тут ещё такой шанс: конец декабря, рядом рождество, праздники, у конгресса и сената тоже выходные - надо срочно одобрять финансирование, нет времени читать, тем более с 3 января другой конгресс и сенат, а с 20 и другой президент. Почему бы напоследок и не пропихнуть разного полезного лично для себя. А проблемы? Их будет решать другое правительство.
В конце декабря 2024 принимали закон о финансировании правительства - 1547 страниц (хотя достаточно одной строчки "оставить финансирование на прежнем уровне"). Человеку прочитать это невозможно, использовали Grok (ИИ от Маска) для получения понятной краткой выжимки, и нашли там много интересного и ненужного: суммарные расходы +65% (от необходимых ~380 миллиардов до 14 марта), для конгресса и сената +40% в зарплате и возможность отказа от Obamacare, 3 миллиарда пропагандистам, обязательная вакцинация и маски, паспорта вакцинации, исследования gain-of-function (на новый коронавирус), еще больше полномочий правительству в случае ЧС и много всего прочего. Поднялся шум с участием Маска в одной неподконтрольной демократам соцсети и в итоге излишние расходы выкинули, в принятом законе всего 116 страниц.
Если будут использовать в таком же духе, то польза огромная.
К нашему счастью, компания DeepSeek обучала модель V3 на 2000 ускорителей H800, а не на 200000 ускорителей B200 (устройства последнего поколения, выпущенные Nvidia).
2048 H800 только на пред-обучение, 119 тысяч на обучение, и еще 5 тысяч на пост-обучение. DeepSeek-V3 Technical Report
During the pre-training stage, training DeepSeek-V3 on each trillion tokens requires only 180K H800 GPU hours, i.e., 3.7 days on our cluster with 2048 H800 GPUs. Consequently, our pretraining stage is completed in less than two months and costs 2664K GPU hours. Combined with 119K GPU hours for the context length extension and 5K GPU hours for post-training, DeepSeek-V3 costs only 2.788M GPU hours for its full training.
Дело в том, что рынок как-то внезапно обратил внимание на китайскую open source языковую нейросеть DeepSeek, которая (якобы) за пять копеек делает практически всё то же самое, что и дорогие модели от OpenAI – но для ее обучения нет необходимости тратить охуллиарды денег на закупку новейших и мощнейших чипов Nvidia.
Lastly, we emphasize again the economical training costs of DeepSeek-V3, summarized in Table 1, achieved through our optimized co-design of algorithms, frameworks, and hardware. During the pre-training stage, training DeepSeek-V3 on each trillion tokens requires only 180K H800 GPU hours, i.e., 3.7 days on our cluster with 2048 H800 GPUs. Consequently, our pretraining stage is completed in less than two months and costs 2664K GPU hours. Combined with 119K GPU hours for the context length extension and 5K GPU hours for post-training, DeepSeek-V3 costs only 2.788M GPU hours for its full training. Assuming the rental price of the H800 GPU is $2 per GPU hour, our total training costs amount to only $5.576M. Note that the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments on architectures, algorithms, or data.
Умножили количество GPU часов на предположительные $2 за час аренды H800 и получили $5,576 миллиона, без учета стоимости разработки, экспериментов, алгоритмов, данных (и реального оборудования, на котором все это считали).
Unreal 1998 требовал приличного PC на момент выхода. Monument Valley - дата выхода: 12 июля 2022, работает на железе 12 летней давности (буквально, GTX 460 выпустили 12 июля 2010) Вопрос: зачем оптимизировать для еще более старого железа?
Скорость ответа (токенов в секунду) напрямую зависит от быстродействия памяти - для получения одного токена надо прочить все параметры модели, поэтому есть закономерность максимальная скорость = "скорость памяти в Гб/с" / "размер модели в Гб" Реальная скорость будет 70-75% от максимальной. То есть подгружать нужное в VRAM не поможет, потому загрузка будет зависеть от скорости RAM. Но в VRAM можно загрузить часть слоев модели, а остальные слои оставить в RAM, тогда скорость будет больше (чем больше загрузили в VRAM тем быстрее).
Есть еще скорость обработки промпта (токенизация запроса пользователя, часто указывается как "время до первого токена"), она зависит от вычислительных мощностей и тут у видеокарт большое преимущество.
В программирование ИИ очень успешен в саботировании open-source проектов: поток некачественных сообщений об уязвимостях в коде, которые с виду похожи на реальные проблемы и требуют времени на проверку.
Возможность указать кодировку имен файлов в открытом zip архиве. Все еще есть архиваторы, которые записывают имена в архив в кодировке системы, а не UTF-8, и при попытке открыть в системе с другой кодировкой получаешь крякозяблики вместо имен.
А то что НАТО обещало не расширятся на восток? Факт - факт.
Кому обещало? Горбачеву? А какое он отношение имеет к России? СССР? Его давно нет. Странам-частникам СССР? Многие участники СССР (и ВД) напротив хотят в НАТО. России (РСФСР)? В документах ничего про нее нет, В конституции СССР про то, что Россия главная, а все остальные вассалы и обязаны подчиняться, ничего не вижу.
В переводе на бытовой: жалобы "НАТО обещало" это как бывший муж жалуется, что после развода жена за другого вышла.
И самое главное правильного варианта среди этих функций них нет. Часть выдает 0 на "count_sequences(_, 0)", другая выдает 0 на "count_sequences(5, 1)" (вместо единицы можно любое число больше 0) Хотя в условии:
Оригинальные Xenonauts неиграбельны при разрешении монитора выше фуллхд: в 4к все нечитабельно мелкое, а при выборе 1920*1080 по непонятной причине ломается соотношение сторон и часть экрана игры не видно. В Xenonauts 2 с интерфейсом таких проблем нет, но зато загрузки по полминуты при переключение между тактическим и стратегическим режимами.
Так это и не бюджет, бюджет принять не смогли.
Поэтому вместо него принимают закон о продлении финансирования на очередные три месяца, а тут ещё такой шанс: конец декабря, рядом рождество, праздники, у конгресса и сената тоже выходные - надо срочно одобрять финансирование, нет времени читать, тем более с 3 января другой конгресс и сенат, а с 20 и другой президент.
Почему бы напоследок и не пропихнуть разного полезного лично для себя. А проблемы? Их будет решать другое правительство.
В конце декабря 2024 принимали закон о финансировании правительства - 1547 страниц (хотя достаточно одной строчки "оставить финансирование на прежнем уровне").
Человеку прочитать это невозможно, использовали Grok (ИИ от Маска) для получения понятной краткой выжимки, и нашли там много интересного и ненужного: суммарные расходы +65% (от необходимых ~380 миллиардов до 14 марта), для конгресса и сената +40% в зарплате и возможность отказа от Obamacare, 3 миллиарда пропагандистам, обязательная вакцинация и маски, паспорта вакцинации, исследования gain-of-function (на новый коронавирус), еще больше полномочий правительству в случае ЧС и много всего прочего.
Поднялся шум с участием Маска в одной неподконтрольной демократам соцсети и в итоге излишние расходы выкинули, в принятом законе всего 116 страниц.
Если будут использовать в таком же духе, то польза огромная.
Вы правы, извините, невнимательно прочитал оригинал.
2048 H800 только на пред-обучение, 119 тысяч на обучение, и еще 5 тысяч на пост-обучение.
DeepSeek-V3 Technical Report
Потому что журналисты не умеют читать.
Из DeepSeek-V3 Technical Report:
Умножили количество GPU часов на предположительные $2 за час аренды H800 и получили $5,576 миллиона, без учета стоимости разработки, экспериментов, алгоритмов, данных (и реального оборудования, на котором все это считали).
Unreal 1998 требовал приличного PC на момент выхода.
Monument Valley - дата выхода: 12 июля 2022, работает на железе 12 летней давности (буквально, GTX 460 выпустили 12 июля 2010)
Вопрос: зачем оптимизировать для еще более старого железа?
Не поможет.
Скорость ответа (токенов в секунду) напрямую зависит от быстродействия памяти - для получения одного токена надо прочить все параметры модели, поэтому есть закономерность
максимальная скорость = "скорость памяти в Гб/с" / "размер модели в Гб"
Реальная скорость будет 70-75% от максимальной.
То есть подгружать нужное в VRAM не поможет, потому загрузка будет зависеть от скорости RAM. Но в VRAM можно загрузить часть слоев модели, а остальные слои оставить в RAM, тогда скорость будет больше (чем больше загрузили в VRAM тем быстрее).
Есть еще скорость обработки промпта (токенизация запроса пользователя, часто указывается как "время до первого токена"), она зависит от вычислительных мощностей и тут у видеокарт большое преимущество.
А если пройти по ссылке и перевести первый скриншот в теме, то там именно про купленный в магазине поддельный 9800X3D
https://static.chiphell.com/forum/202501/19/194448i4pu1vz1tguv33yz.jpg
2007: ученые обещают что весь арктический лёд растает к 2013.
2024: минимальная площадь арктического льда на 26% больше чем в 2012.
В программирование ИИ очень успешен в саботировании open-source проектов: поток некачественных сообщений об уязвимостях в коде, которые с виду похожи на реальные проблемы и требуют времени на проверку.
Они в школьную библиотеку вообще заходили?
https://www.youtube.com/watch?v=9l5MAyRdnlY
https://www.youtube.com/watch?v=z146klZXeOw
https://www.youtube.com/watch?v=bFKdRjsRHEI
https://www.youtube.com/watch?v=1O_vYBUOAUQ
Или проверяли чему детей в школе учат?
https://www.youtube.com/watch?v=FoLfR3pi3r4
https://www.youtube.com/watch?v=d8pEl08u-dA
https://www.youtube.com/watch?v=KxS_T9NpdUU
Возможность указать кодировку имен файлов в открытом zip архиве.
Все еще есть архиваторы, которые записывают имена в архив в кодировке системы, а не UTF-8, и при попытке открыть в системе с другой кодировкой получаешь крякозяблики вместо имен.
На практике будет еще хуже: ушел в отпуск или заболел, коммитов нет - увольняем.
Засовываешь пододеяльник в мешок, так в пододеяльник ничего не попадет - не будет кома и пропавших мелочей в пододеяльнике.
Кому обещало?
Горбачеву? А какое он отношение имеет к России?
СССР? Его давно нет.
Странам-частникам СССР? Многие участники СССР (и ВД) напротив хотят в НАТО.
России (РСФСР)? В документах ничего про нее нет, В конституции СССР про то, что Россия главная, а все остальные вассалы и обязаны подчиняться, ничего не вижу.
В переводе на бытовой: жалобы "НАТО обещало" это как бывший муж жалуется, что после развода жена за другого вышла.
И самое главное правильного варианта среди этих функций них нет.
Часть выдает 0 на "count_sequences(_, 0)", другая выдает 0 на "count_sequences(5, 1)" (вместо единицы можно любое число больше 0)
Хотя в условии:
в конце страницы
и дальше по ссылке
Анализатор показывает ошибку там, где её нет, и приходиться переписывать код под анализатор. У меня было такое с Resharper'ом.
Оригинальные Xenonauts неиграбельны при разрешении монитора выше фуллхд: в 4к все нечитабельно мелкое, а при выборе 1920*1080 по непонятной причине ломается соотношение сторон и часть экрана игры не видно.
В Xenonauts 2 с интерфейсом таких проблем нет, но зато загрузки по полминуты при переключение между тактическим и стратегическим режимами.
Не надо недооценивать социалистов, очень даже могут сделать 102% налогов