Процессоры

Новогодняя интеллектуальная разминка с Cloud.ru 🦾

формулаВсем привет! Продолжаем занимать вас интеллектуальными задачами, и наша следующая — с уровнем уровень сложности «эксперт»:

Вы — Агент K, работающий в «Департамента мостов и тоннелей»  («Люди в черном» / Men-in-Black). У вас 24 часа, чтобы обучить большую языковую модель для общения с аркелианцами. Сколько GPU NVIDIA A100 нужно для вашего суперкомпьютера, чтобы успеть обучить модель за это время и спасти Землю? Создайте формулу для вычисления машинного времени суперкомпьютера (в GFLOPS или в GPU-часах), затрачиваемого на обучение модели не хуже чем Llama 2 70B (с возможностью применения для оценки времени обучения других моделей). 

Время обучения Llama 2 — 1720320 GPU-часов, для обучения модели использован датасет с 2 триллионами токенов. Другие необходимые данные возьмите в интернете. 

Будет хорошо, если ваша формула будет учитывать размеры обучающего датасета, число параметров сети, число слоев, оценку количества эпох и другие необходимые вам параметры. Ожидаемая форма ответа — это методика / формула вашего расчета. 

Варианты ответов оставляйте в комментариях 👇 В пятницу — 10 января — Павел Бузин (@pbuzin) — эксперт Cloud.ru по AI и машинному обучению, раскроет правильный ответ под этим постом.

И оставляйте реакции и предложения — как вам такой формат, что можно улучшить? 

Вам может быть интересно:

• Нобелевские премии 2024 и искусственный интеллект. Химия: предсказание белковых структур

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Про сложность производства процессоров

Главная новость минувших выходных, что Intel разучилась делать процессоры. Процент брака процессорных кристаллов по тестируемому новейшему техпроцессу Intel 18A (~2 нм) составляет аж 90%. Цифра относительная, но показывает, что серийный выпуск невозможен. При этом полтора года назад утверждалось, что массовое производство по 18А стартует в конце 2024 года.

Не буду расписывать причины (не всеми деталями владею), а лучше покажу пару слайдов из далекого 2005 года с калифорнийского IDF. Тогда Intel осваивала техпроцесс 65 нм. На первом слайде указан предел классической планарной технологии производства транзисторов в 20-30 нм (размер затвора), а пределом идеального транзистора обозначен размер 5 нм. Цифра 0,54 нм – это размер кристаллической решетки кремния.

Другими словами, в транзисторах сегодняшних передовых чипов есть места, где толщина проводников составляет дюжину атомов! В таких масштабах свойства материалов становятся несколько другими.

И что думала Intel про все это в 2005 году? Ответ на втором слайде. Начиная с 16 нм должна была произойти технологическая революция. Она произошла, но отчасти в маркетинге, когда техпроцесс перестал означать размер затвора транзистора и стал некой условной технологической величиной (реальный размер транзистора по 2 нм технологии ~30х20 нм).

P.S. Однако для нас это напоминалка, что в современных чипах (у TSMC тестовые прогоны технологии 2 нм показали выход годных кристаллов в 60%) производители оперируют уже на уровне атомов, и физический предел скоро будет достигнут.

TG: Tech_Debunker

Этого не найдешь в документации к Xilinx Zynq

Производители SoC, как правило, предоставляют окружение для разработки и документацию с примерами реализации универсальных решений. Но много важных деталей упускается или скрывается от пользователя. В итоге нетривиальная модификация системы требует долгих исследований и экспериментов. 

Изучили все нюансы на практике за вас, реализовав проект запуска Embedded Linux на Hard- и Soft-процессорах Xilinx Zynq. Пойдем по этапам:

1. Разработаем проект программируемой логики.

2. Соберем операционную систему.

3. Запустим ОС и верифицируем проект.

В качестве бонуса: запустим ОС Soft-CPU на эмуляторе QEMU и разработаем bare-metal приложение в обход IDE Vitis.

Лови волну: циклы специализации и стандартизации в микроэлектронике

В 2013 году в статье «Implications of Makimoto’s Wave» Цугио Макимото описал циклы в развитии полупроводниковой индустрии. Волна Макимото — это принцип, который описывает смену направлений в микроэлектронике, когда предпочтения переходят от массовых универсальных решений к узкоспециализированным и затем снова возвращаются.

В 1980-х годах математический сопроцессор был отдельной микросхемой, но со временем FPU стал частью процессора общего назначения. Затем произошел возврат к специализации, как в случае с Google TPU — процессором для матричных вычислений, ускоряющим операции машинного обучения. Подобный переход наблюдается и в FPGA, где помимо стандартных ячеек программируемой логики появились DSP-ячейки, блочная память и специализированные процессоры, как в архитектуре VLIW (например, AMD Versal).

Макимото назвал период с 2017 по 2027 годы «десятилетием гибкой суперинтеграции» компонентов, предсказывая значительные изменения в технологии. Он утверждал, что в будущем произойдет стандартизация типов ускорителей, интеграция ячеек FPGA в системы на кристалле и переход к универсальной энергонезависимой памяти, которая заменит текущие виды памяти на кристалле.

Больше материалов про спецпроцессоры читайте в подборке Петра Советова, специалиста в области разработки DSL-компиляторов и старшего научного сотрудника лаборатории специализированных вычислительных систем РТУ МИРЭА.

Битовые маски #17: О гипервизорах, реализации разных языков и будущем системного программирования

Смотреть или слушать →

В гостях у подкаста «Битовые маски» — Николай Иготти, разработчик, участвовавший в создании многих известных проектов международных корпораций. Николай успел поработать над HotSpot в Sun Microsystems, над гипервизором VirtualBox, а также в разных проектах Google и EMC. Руководил разработкой Kotlin/Native компилятора и Compose Multiplatform в JetBrains, а сейчас трудится в Huawei. В выпуске затронули много разных тем — от гипервизоров до дизайна современных языков программирования:

• Чем виртуальные машины отличаются друг от друга и от процессоров.

• В чем сложности создания гипервизоров.

• С какими проблемами придется столкнуться при создании нового языка программирования.

• В чем особенности и отличия разработки системного ПО от прикладного.

• Как связана разработка современных UI-фреймворков с системным программированием.

• Какие задачи в системном программирование самые интересные.

• Как учить будущих специалистов в этой сфере.

Бонус: разбор того, что не давало запустить VirtualBox c MacOS на архитектуре x86.

Так выглядит измерительный стенд инженеров, разрабатывающих операционную систему kvadraOS

Этот нехитрый стенд позволяет детально изучить, сколько энергии под нагрузкой потребляют те или иные компоненты планшета. Он состоит из планшета массовой партии, измерительной аппаратуры и тестовых линий от измерительного прибора к точкам подключения на материнской плате планшета.

На таком стенде, например, можно оценить константную нагрузку от включенного экрана. Это необходимо для проведения более чистых экспериментов по оценке энергоэффективности отдельных функций планшета.

Оценить константную нагрузку несложно:

• Сначала зарядим планшет до 100%, выдернем шнур USB и дадим планшету полежать с выключенным экраном ровно 2 часа. В нашем эксперименте планшет за два часа разрядился на 1%. Это уровень потребления устройства в состоянии покоя. Значит, все потребление энергии, которое мы измерим потом, будет скорее связано с дополнительными нагрузками.

• Затем запретим экрану выключаться, опять зарядим планшет до 100%, выдернем шнур USB и дадим планшету полежать уже с включенным экраном, тоже ровно 2 часа. На этот раз планшет разрядился на 9%. Если первая проверка, с выключенным экраном, проверяла, что нет катастрофических аномалий с железом, то эта проверка говорит, что эти 9%, собственно, накладные расходы от включенного экрана и активного CPU с запущенной на нем ОС.

Для каких экспериментов понадобилась такая константа, читайте в статье → 

Большинство университетских профессоров в мире - ленивые. Как выдумали в 1970-е годы преподавать дизайн конечных автоматов примером FSM для светофора (Traffic Light Controller FSM), так и тянут эту бодягу и по 21-му веку. При том, что современные дизайнеры чипов не светофоры конструируют, а ускорители тренировки нейросетей.

Короче мы на Школе Синтеза Цифровых Схем решили преломить эту дурную традицию (которая встречается от Южной Америки до Средней Азии и Филиппин, с провинциальными вузами в Штатах включительно) и ввести в преподавание современный хардкор. То есть сделать домашку с конструированием FSM для управления блоками FPU выдранными из современного реального открытого RISC-V процессора.

По сложности начинается не сложнее светофора, зато куда ближе к реальности и можно сделать миллион вариантов домашек и экзаменов, чтобы студенты друг у друга не списывали один и тот же светофор.

Пример домашки: сконструировать FSM (а потом и конвейер) для вычисления такого-то ряда Маклорена (для синуса, экспоненты итд), имея в наличии N блоков умножения, M сложения и R деления с плавающей точкой - с разными латентностями.

При обсуждении такой домашки возник вопрос нужно ли для операций с плавающей точкой устанавливать флаг error для нечисел и бесконечностей. Конечно нужно, потому что это удобный повод рассказать про концепцию NaN и Infinity. Полез в википедию и в шоке обнаружил, что статья IEEE_754 на русском отсутствует, хотя есть на украинском. Это непорядок, нужно срочно поправить!

Arm пригрозила отозвать лицензию — ждём нового передела рынка?

Arm дала Qualcomm 60 дней до отзыва своей лицензии. Они разошлись в вопросе, может ли Qualcomm использовать наработки купленного ею стартапа Nuvia. Этот спор затрагивает миллиарды пользователей.

Arm утверждает, что Qualcomm не может использовать технологию Oryon, разработанную Nuvia. Якобы лицензия Nuvia не подразумевала такого развития ядер Arm, и в 2023 компания лишилась лицензии. Либо Qualcomm должна будет заплатить Arm, либо сможет найти выход, Arm потеряет в доходах.

Терять есть что: мир в основном живёт на архитектуре ARM. На ней работают миллиарды смартфонов, большинство небольших энергосберегающих чипов для IoT, автомобилей и т. п. Их применяют в настольных компьютерах и серверах, но здесь у Arm пока нишевое применение.

Чем могут закончиться патентные игры. Мы привыкли, что даже такие непримиримые соперники, как Samsung и Apple, договариваются и работают дальше. История помнит, как Intel на 40 лет отправила AMD в нокдаун, отказавшись ей лицензировать архитектуру i386. Сама Intel пострадала из-за того, что не смогла обойти патенты nVidia и разработать высокопроизводительные видеоплаты. Но и nVidia могла умереть в младенчестве — зелёный свет ей дало решение суда, который решил: патент 3dfx на мультитекстурирование недействителен, так как это очевидное решение. Вы не знаете, что такое 3dfx? Возможно, через 30 лет пользователи не будут знать про Arm или Qualcomm — такова цена поражения в патентной войне.

⚡ MIT создает полностью 3D-печатную электронику

Учёные из Массачусетского технологического института (MIT) разработали способ создания электронных схем без использования кремниевых компонентов, применяя обычную 3D-печать. Эта технология может стать ключевой для производства простых электронных устройств в удалённых местах, таких как космос или полярные станции, где традиционные полупроводники трудно применимы.

Как это работает?

Исследователи обнаружили, что пластик, легированный медью, может вести себя как полупроводник. Это позволяет создавать элементы с транзисторными свойствами. Технология использует стандартные 3D-принтеры с экструдерными системами для полимеров, что делает её доступной для широкого круга пользователей.

Преимущества

Эта разработка открывает возможности для быстрого производства электронных устройств. Прямо на месте, без необходимости в сложных поставках компонентов. В космосе или на полярных станциях это может стать важным преимуществом, позволяя создавать устройства на месте, что экономит время и ресурсы.

📄 Узнать больше в:

• Virtual and Physical Prototyping (научная работа)

• MIT News (статья на сайте MIT).

TG.

Какой потенциал у потребительских GPU в облачных вычислениях — обсудим на конференции GoCloud Tech про облачные решения и AI 🦾

Продолжаем знакомить вас с программой конференции GoCloud Tech.

Наш эксперт Руслан Андреев расскажет про собственную методологию анализа производительности и оценки применимости различных моделей GPU в задачах искусственного интеллекта. А еще покажет пример использования этой технологии и подведет итог — в каких ситуациях подойдет потребительский GPU, а когда лучше использовать Data Center GPU.

Приходите послушать выступление и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 17:05 до 17:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Зачем нужна R&D-команда: взгляд разработчика

• Как объединить кластеры Kubernetes без даунтайма: пошаговая инструкция

Арендуйте карту RTX 2080 Ti в Selectel 📹

Особенности карты:

• архитектура NVIDIA Turing,

• мощный графический процессор, 

• 4 352 CUDA-ядер, 

• частота до 1 635 МГц,

• 11 ГБ памяти GDDR6 с шириной шины 352 бит.

Подберите подходящую конфигурацию сервера с GPU по ссылке.

Всем любителям железа посвящается! Для вас — наш новый проект 👀

Больше 15 лет мы собираем серверы, следим за новинками и внедряем их. За это время накопили много опыта и хотим им поделиться. «Железный обзор» — это проект, в котором будем дотошно изучать серверы, возможности и задачи, которые они выполняют. 

В первом выпуске «Железного обзора» знакомимся с настоящими суперпроцессорами, мозгом и драйвером всех процессов. Сергей Ковалёв, менеджер продукта в отделе по развитию выделенных серверов, и Артем Дробот, руководитель отдела сборки и обслуживания серверного оборудования, разбирают AMD 9004 и Intel Xeon Scalable5. Вместе мы выясним, для каких задач подходит каждый из процессоров, и определимся с фаворитом.

Смотрите видео в ВК или на YouTube, чтобы следить за новинками и изучать топовое железо вместе с нами!

AMD покупает ZT Systems: как фирма, известная только специалистам, поможет конкурировать с Nvidia

Сделка обойдётся AMD в $4,9 млрд, что сравнимо с суммой, которую компания заплатила за ATI в 2006 году. Да, доллар заметно подешевел, но сделки сравнимы по важности.

Пользователи привыкли к противопоставлениям: чей процессор быстрее — Intel или AMD, а видеокарта AMD обгонит Nvidia? Это понятно: для человека важно сделать оптимальную покупку здесь и сейчас, но хорошее руководство компаний мыслит стратегически — в 2006 году AMD купила ATI и стратегически выиграла. Хотя общая производительность центральных процессоров AMD только в последние годы стала выше, чем у конкурентов из Intel, зато компании удалось уловить тенденцию на использование видеокарт, за последние 10 лет капитализация выросла более чем в 100 раз.

Покупка ZT Systems — следующий ход. Видеокарты эволюционировали в GPU, позволяют ускорять расчёты, делая во многих задачах это быстрее центральных процессоров. Это пригодилось в серверах, а облачные вычисления и особенно системы, способные быстро работать с AI – это современный тренд. И тут важно не просто сделать быструю GPU-плату, а обеспечить удобный софт для работы с ней.

Такие вроде бы чисто инженерные задачи сложны, и ZT Systems как раз помогает спроектировать системы для эффективной работы облака, включая обучение AI-моделей. Это непросто — даже Nvidia с 3х-триллионой капитализацией прибегла к помощи ZT Systems и заключила партнёрское соглашение.

На проблемные процессоры Intel 13-го и 14-го поколений введут дополнительную гарантию на два года. Компания пообещала вскоре поделиться более подробной информацией. 

На процессоры Intel уже распространяется трёхлетняя ограниченная гарантия.

Тем клиентам, которые заметили нестабильность в работе чипов, порекомендовали обратиться в службу поддержки производителя. Покупателям коробочных версий нужно связаться напрямую со службой поддержки клиентов Intel.

Компания также изучает варианты простой идентификации затронутых процессоров в системах конечных пользователей и предоставит дополнительные рекомендации.

Процесс сборки СВ‑КПУ Э-8СВ на процессоре Эльбрус-8СВ

Операционная прибыль Samsung во втором квартале выросла более чем в 15 раз из-за спроса на полупроводники, вызванного бумом искусственного интеллекта.

Этот показатель достиг 10,4 триллионов вон ($7,54 млрд) за квартал по сравнению с 670 млрд вон годом ранее. Прибыль компании превысила 8,8 триллиона вон, и этот период оказался самым прибыльным с третьего квартала 2022 года.

В дополнение к более высоким ценам, Samsung смогла нарастить стоимость запасов чипов. Выручка компании повысилась на 23%.

Ключевое полупроводниковое подразделение Samsung улучшает свои показатели второй квартал подряд, поскольку цены на чипы памяти продолжают расти с середины 2022 года. По мнению аналитиков, взрывной спрос на высокопроизводительные DRAM, используемые в наборах микросхем ИИ, а также чипы, используемые в серверах центров обработки данных и гаджетах, на которых работают службы искусственного интеллекта, помог поддержать цены.

Но рост цен на чипы памяти может замедлиться в третьем квартале: TrendForce прогнозирует повышение всего на 5–10% как на обычные DRAM, так и на NAND Flash.

По мнению аналитиков, спрос на высокопроизводительные HBM и твердотельные накопители (SSD) опередит остальной рынок, хотя Samsung отстаёт от южнокорейского конкурента SK Hynix.

По словам источников, инвесторы ждут новостей о том, получат ли новейшие чипы Samsung HBM четвёртого поколения разрешение на поставку Nvidia после того, как они не прошли предыдущие тесты из-за проблем с энергопотреблением.

Российская компания «Е-Флопс» рассказала о разработке системной платы под названием «Ключевская» для двух Arm-процессоров.

По данным разработчиков, 20-слойная системная плата «Ключевская» не только многофункциональная, но и максимально компактная в рамках модульной концепции. Её размеры: 44,6х20,3 см.

Технические характеристики платы «Ключевская»:

• 2 процессора архитектуры ARM64;

• 48 ядер на процессор, частота до 2,2 ГГц;

• 12 слотов оперативной памяти при использовании 6 каналов;

• память стандарта DDR4 (RDIMM, LRDIMM) с частотой 3200 МГц;

• 80 линий PCIe 4.0, из них 48 линий совместимы с CCIX;

• встроенный интерфейс USB 2.0;

• встроенный интерфейс Ethernet 1 Гб/с;

• 2 разъёма M.2 для встроенных накопителей SSD NVMe x4 M.2 (2242);

• 2 разъёма PCIe 4.0 x16 для подключения до 8 накопителей M.2 NVMe или специализированных карт расширения с горячей заменой;

• слот PCIe 4.0 x16 OCP 3.0;

• 4 разъёма PCIe 4.0x16/CCIX для установки райзеров;

• 2 сетевых разъёма 10/25 Гб/с и 1x USB 2.0, 1x DP (при установке платы ввода-вывода);

• разъем 260-pin SODIMM DDR4 (для установки модуля удалённого мониторинга и управления стандарта RunBMC).

Первая ревизия платы была выпущена в качестве макетного образца в 2023 году, все макетные были образцы с ограниченным функционалом, не предполагающим установку процессоров.

Вторая ревизия платы выпущена в качестве опытного (предсерийного) образца в начале апреля 2024 года.

Разработчики сообщили, что в итоге всё протестированное стабильно работает. Первая партия плат выйдет в сентябре 2024 года.

Соберите мощный сервер на базе AMD EPYC 9004 Genoa

Обновление в конфигураторе выделенных серверов Selectel. Теперь вы можете заказать высокочастотные процессоры четвертого поколения EPYC 9004 (Genoa).

→ AMD EPYC 9274F (24x4.05 GHz SMT)

→ AMD EPYC 9474F (48x3.6 GHz SMT)

→ AMD EPYC 9654 (96x2.4 GHz SMT)

→ AMD EPYC 9754 (128x2.25 GHz SMT)

Для новых процессоров доступна актуальная оперативная память ECC Reg объемом до 768 ГБ, а также быстрые диски NVMe до 16 ТБ каждый.

Процессоры с 96 и 128 ядрами подходят для систем виртуализации, монолитных приложений, а также ERP-систем. 

Высокочастотные процессоры с 24 и 48 ядрами и базовой частотой до 4.05 ГГц подойдут для 1С, баз данных, ML и высокопроизводительных вычислений.

Переходите по ссылке, чтобы заказать сервер →

Южная Корея вложит $19 млрд в местное производство полупроводников, пишет Wall Street Journal. Президент республики Юн Сок Ёль рассказал, что власти создадут фонд в $730 млн для поддержки производителей оборудования и компаний, не имеющих собственных производственных мощностей.

В прошлом месяце на долю микросхем пришлось 18% общего экспорта Южной Кореи. В стране расположены предприятия ведущих мировых производители чипов памяти — Samsung Electronics и SK Hynix. Республика возводит крупный комплекс по выпуску полупроводников в городе Йонъин, расположенном на юге от Сеула.

В начале года Юн пообещал, что государство предоставит налоговые льготы на инвестиции в южнокорейскую полупроводниковую промышленность, чтобы повысить уровень занятости и привлечь больше талантов. Министерство промышленности страны ожидает, что меры поддержки позволят нарастить долю на мировом рынке мобильных процессоров с 2% до 10%.

В Китае в продажу поступил ноутбук MSI Titan 18 Pro в версии 192 ГБ ОЗУ и SSD накопителем на 4 ТБ.

За производительность устройства отвечает 24-ядерный процессор Intel Core i9–14 900HX с 32 потоками, а также мощная видеокарта Nvidia GeForce RTX 4090. Энергопотребление системы достигает 250 Вт.

Ноутбук имеет 18» Mini‑LED экран с разрешением 3840×2400 пикселей и с частотой обновления изображения 120 Гц, а также охватом цветового пространства DCI‑P3 на 100%. Заявленная яркость экрана составляет 1000 нит.

Среди прочих особенностей отмечается наличие аккумулятора ёмкостью 99,9 Вт*ч, 6 динамиков, Wi‑Fi 7 и различных портов для подключения внешних устройств, в том числе двух USB‑C с поддержкой Thunderbolt 4, двух USB-A 3.2 Gen 2 и HDMI 2.1.

В Китае MSI Titan 18 Pro в версии на 192 ГБ и 4 ТБ продаётся за 39,6 тыс. юаней (около 500 тыс. рублей).