Суперкомпьютер ISEG, который создал стартап Nebius N.V. из Нидерландов, попал на 16-ю строчку рейтинга Tор500. Стартап основали бывшие сотрудники «Яндекса», а суперкомпьютер назвали в честь сооснователя компании Ильи Сегаловича.
К2Тех развернула суперкомпьютер на базе Новосибирского госуниверситета
2 min
Компания К2Тех развернула суперкомпьютерный вычислительный комплекс для центра Национальной технологической инициативы (НТИ) по Новым функциональным материалам на базе Новосибирского государственного университета (НГУ), рассказали в пресс-службе К2Тех. Инфраструктура кластера построена на вычислительных узлах российского производства, объединённых сетью «Ангара» разработки АО «НИЦЭВТ». Кластер позволит сотрудникам центра НТИ производить сложные математические расчеты, обрабатывать получившиеся массивы данных и в конечном итоге применять искусственный интеллект при проектировании материалов и конструкций для промышленных предприятий.
Самый мощный суперкомпьютер Intel Aurora готов к работе
1 min
В Аргоннской национальной лаборатории Минэнерго США установили 10 624-й и последний блейд-сервер суперкомпьютера Aurora, созданного Intel в сотрудничестве с Hewlett Packard Enterprise. Суперкомпьютер готов к началу работы и теоретически способен обеспечить более двух экзафлопс вычислительной мощности.
Команда DeepMind с помощью ИИ открыла 2,2 млн кристаллических материалов
3 min
Инструмент искусственного интеллекта GNoME от DeepMind позволил обнаружить 2,2 миллиона новых кристаллов, в том числе 380 тысяч стабильных материалов, которые могут стать основой технологий будущего. Так, среди них есть материалы, которые позволят создавать сверхпроводники, приводы суперкомпьютеров и батареи следующего поколения для электромобилей.
В МГУ готовится к запуску новый суперкомпьютер производительностью 400 петафлопс
2 min
В Московском Государственном Университете (МГУ) им. М. В. Ломоносова 1 сентября 2023 года должны запустить суперкомпьютер производительностью 400 петафлопс. Новый суперкомпьютер будет использоваться в исследованиях, связанных с физикой, химией, биологией, психологией, социологией, геологией, медициной, в разработке новых инструментов на основе искусственного интеллекта (ИИ), например алгоритмов анализа больших данных, и других направлениях науки, а также поиском новых методов защиты систем на основе технологий ИИ.
Минобороны США перейдёт на новый суперкомпьютер Blueback
1 min
Министерство обороны США объявило о планах по переходу на новую суперкомпьютерную систему в рамках программы модернизации высокопроизводительных вычислений (HPCMP). Комплекс получил название Blueback, его назвали в честь американской подводной лодки USS Blueback.
Обновление списка TOP500: впервые лидером стал суперкомпьютер на процессорах ARM
4 min
Опубликована 55 редакция рейтинга самых высокопроизводительных суперкомпьютеров мира.
О новых лидерах списка и возможностях суперкомпьютеров экстра-класса читайте под катом.
О новых лидерах списка и возможностях суперкомпьютеров экстра-класса читайте под катом.
Суперкомпьютеры Яндекса: взгляд изнутри
12 min
Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Но сегодня мы поговорим не о местах в рейтинге, а о том, чем полезно на практике участие в подобных замерах.
Из этого поста вы узнаете про наши первые попытки создать свои кластеры и грабли на этом пути. Расскажем, как устроены суперкомпьютеры для машинного обучения и почему мы в итоге пришли к собственной архитектуре. Важная часть истории будет посвящена разбору проблем замеров производительности, которые, вопреки первым впечатлениям, принесли нам не только места в рейтинге, но и реальную пользу для наших ML-проектов.
Поможет мне в этом Дмитрий Монахов dmtrmonakhov. Он уже известен читателям Хабра по докладу о разработке ядра Linux. Передаю ему слово.
Облачные суперкомпьютеры обещают прорыв в исследованиях и разработке
5 min
Скорость вывода продукта на рынок или добавление новых функций часто определяют коммерческую успешность компании. Поэтому исследовательские работы, этапы разработки, анализа всеми правдами и неправдами пытаются ускорить. Для этого требуется увеличить объём вычислительных ресурсов. Облачные технологии позволяют быстро сформировать пул мощностей, необходимых для выполнения задачи в максимально короткий срок. А благодаря GPU-вычислениям стало удобно создавать под масштабные проекты настоящие облачные суперкомпьютеры. О перспективах этого направления и расскажем.
Алгоритм Томасуло как фактор импортозамещения российских процессоров
7 min
Проектированием простого процессора сейчас никого не удивишь. Любой способный студент может за пару недель написать на верилоге однотактный RISC-V или ARM процессор и синтезировать его для ПЛИС. Процессор будет работать на учебной плате и выполнять простые программы на Си и ассемблере.
Такой процессор можно постепенно усложнять: сделать его конвейерным, добавить кэш и прерывания. Но где находится граница между такими студенческими упражнениями - и взрослыми высокопроизводительными процессорными ядрами, которые стоят в сотовых телефонах и облачных серверах?
На границе между вводным и продвинутым курсом микроархитектуры CPU принято ставить внеочередное выполнение инструкций, именно оно отделяет мальчика от мужа. Эта фича впервые появилась еще в 1960-е годы в суперкомпьютерах CDC 6600 и IBM 360/91, но проникла в персоналки с PentiumPro только в 1996 году и в Apple iPhone в 2012 году.
Именно внеочередное выполнение инструкций - главная козырная карта самого горячего процессорного проекта российской микроэлектроники - двухгигагерцового RISC-V процессора для ноутбуков от компании Ядро / Syntacore. Этот проект был объявлен в прошлом году. Что с ним станет в результате известных событий?
Суперпольза в экзафлопс, или Cуперкомпьютеры в XXI веке
10 min
Если бы Сеймур Крей, создатель легендарного суперкомпьютера Cray, дожил до наших дней и увидел, какой мощности достигают современные машины, то наверняка сказал, что без эльфов здесь не обошлось.
Первый успешный суперкомпьютер CDC 6600, выпущенный в 1964 году, был способен выполнять 3 миллиона операций с плавающей запятой в секунду (FLOPS). Самый же быстрый в мире современный суперкомпьютер Fugaku разгоняется до 4 экзафлопс.
На днях, 22 марта 2022 года, NVIDIA анонсировала NVIDIA Eos — суперкомпьютер с искусственным интеллектом, который заработает в конце этого года. Ожидается, что он обеспечит вычислительную производительность ИИ на уровне 18,4 экзафлопс, что будет в 4 раза быстрее, чем у Fugaku. И, таким образом, NVIDIA Eos отберёт у Fugaku чемпионское звание.
Но для чего вся эта гонка вычислительных вооружений? И кому всё это нужно? Разработка и обслуживание суперкомпьютеров — весьма затратное занятие как с финансовой, так и с энергетической точки зрения.
Но их использование — жизненно важный вопрос. Суперкомпьютеры Fugaku и Cambridge-1, например, участвуют в разработке вакцины от COVID-19. В Индии суперкомпьютеры предсказывают приближение муссонов, что очень важно для страны, экономика которой на 70% зависит от сельского хозяйства.
В этой подборке рассмотрим интересные применения суперкомпьютеров в XXI веке и подивимся их мощи.
Почему GPU обманывают о своей нагрузке и как с этим бороться
10 min
В предыдущем посте я рассказывал о том, как мы строили свои суперкомпьютеры. В этом — поделюсь опытом, который мы накопили, эксплуатируя наши кластеры. Этот опыт будет полезен не только тем, кто обучает огромные ML-модели. На грабли, о которых пойдёт речь, легко наступить, даже если вы специалист с парой GPU.
Почему в распределённом обучении нельзя доверять утилизации GPU? Почему переход в эру распределённого обучения — фундаментальный сдвиг парадигмы мышления, к которому должен быть готов каждый ML-разработчик? Ещё больше «Почему» и ответов на них — под катом.
Почему в распределённом обучении нельзя доверять утилизации GPU? Почему переход в эру распределённого обучения — фундаментальный сдвиг парадигмы мышления, к которому должен быть готов каждый ML-разработчик? Ещё больше «Почему» и ответов на них — под катом.
Как и для чего мы построили ML Space
7 min
Речь пойдет о платформе для ML-разработки полного цикла. Работа над ней стартовала с запуска одной из наиболее производительных вычислительных систем в России — суперкомпьютера Christofari. Расскажем, как мы строили ML Space и что предлагает платформа.
Необычные суперкомпьютеры начала лета 2022 года: от системы на самом большом процессоре в мире до космического HPE Space
6 min
Суперкомпьютеров становится все больше, о чем свидетельствует рейтинг Top500. Систем больше, а их производительность все растет. Первое место в рейтинге занимает Китай, второе — США, третье — Япония. Потом следуют Франция, Канада, Великобритания, Россия и другие страны. Но здесь речь об «обычных» суперкомпьютерах, если так можно выразиться.
Но есть и нестандартные системы, которые не входят в рейтинг Top500, но показывают весьма неплохие результаты. Чемпионами назвать их нельзя, но их разработчики и не стремятся к лидерству, поскольку задачи, выполняемые этими необычными суперкомпьютерами, весьма специфические.
Лучшие суперкомпьютеры мира — как выглядят и зачем нужны?
17 min
В этой статье речь пойдет о самых первых строчках рейтинга TOP500 — лучших вычислительных машинах мира. Что это за системы, зачем они нужны и чем занимаются?
Суперкомпьютеры и квантовые вычисления: переход на новый уровень
Easy
3 min
Recovery Mode
В последние годы научное сообщество и промышленность всё больше обращают внимание на развитие квантовых технологий, особенно в области вычислений. В данной статье мы поговорим о том, как суперкомпьютеры и квантовые вычисления могут изменить принципы работы с данными и ускорить научные исследования.
Суперкомпьютеры: третья мировая гонка
6 min
Только что вернулся с конференции ПАВТ 2011 и хотел бы познакомить уважаемое хабрасообщество с современным состоянием дел в области высокопроизводительных вычислений.
Постараюсь по возможности ссылаться на первоисточники — а именно, на статьи из журнала "Суперкомпьютеры" и материалы конференции.
Суперкомпьютеры традиционно использовались в военных и научных целях, но в последние годы в их применении произошли революционные изменения, связанные с тем, что их мощность «доросла» до моделирования реальных процессов и предметов при доступной для бизнеса стоимости.
Все, наверное, знают, что в автомобилестроении расчеты на суперкомпьютерах используются для повышения безопасности, например так получил свои 5 звезд Ford Focus. В авиапромышленности выпуск нового реактивного двигателя по традиционной технологии — дорогостоящее удовольствие, например создание АЛ-31 для СУ-27 заняло 15 лет, потребовало создать и разрушить 50 опытных экземпляров и стоило 3,5 млрд. долларов. Двигатель для Сухой Супержет, спроектированный уже с участием суперкомпьютеров, сделали за 6 лет, 600 млн евро и было построено 8 опытных экземпляров.
Нельзя не отметить и фармацевтику — большая часть современных лекарств проектируется с помощью виртуального скрининга , который позволяет радикально снизить затраты и повысить безопасность лекарств.
Дальше — больше.
Сегодня в развитых европейских странах:
47,3% высокотехнологической продукции производится с использованием имитационного моделирования фрагментов проектируемых сложных систем или изделий;
32,3% продукции производится с использованием имитационного моделирования мелкомасштабных аналогов проектируемых систем и изделий;
15% продукции производится с использованием полномасштабного имитационного моделирования проектируемых систем и изделий;
и лишь 5,4% проектируемых сложных систем и изделий производится без имитационного моделирования.
Суперкомпьютерные технологии в современном мире стали стратегической областью, без которой невозможно дальнейшее развитие. Мощность национальных суперкомпьютеров сейчас так же важна, как мощность электростанций или количество боеголовок.
И сейчас в мире началась
Постараюсь по возможности ссылаться на первоисточники — а именно, на статьи из журнала "Суперкомпьютеры" и материалы конференции.
Зачем это все нужно
Суперкомпьютеры традиционно использовались в военных и научных целях, но в последние годы в их применении произошли революционные изменения, связанные с тем, что их мощность «доросла» до моделирования реальных процессов и предметов при доступной для бизнеса стоимости.
Все, наверное, знают, что в автомобилестроении расчеты на суперкомпьютерах используются для повышения безопасности, например так получил свои 5 звезд Ford Focus. В авиапромышленности выпуск нового реактивного двигателя по традиционной технологии — дорогостоящее удовольствие, например создание АЛ-31 для СУ-27 заняло 15 лет, потребовало создать и разрушить 50 опытных экземпляров и стоило 3,5 млрд. долларов. Двигатель для Сухой Супержет, спроектированный уже с участием суперкомпьютеров, сделали за 6 лет, 600 млн евро и было построено 8 опытных экземпляров.
Нельзя не отметить и фармацевтику — большая часть современных лекарств проектируется с помощью виртуального скрининга , который позволяет радикально снизить затраты и повысить безопасность лекарств.
Дальше — больше.
Сегодня в развитых европейских странах:
47,3% высокотехнологической продукции производится с использованием имитационного моделирования фрагментов проектируемых сложных систем или изделий;
32,3% продукции производится с использованием имитационного моделирования мелкомасштабных аналогов проектируемых систем и изделий;
15% продукции производится с использованием полномасштабного имитационного моделирования проектируемых систем и изделий;
и лишь 5,4% проектируемых сложных систем и изделий производится без имитационного моделирования.
Суперкомпьютерные технологии в современном мире стали стратегической областью, без которой невозможно дальнейшее развитие. Мощность национальных суперкомпьютеров сейчас так же важна, как мощность электростанций или количество боеголовок.
И сейчас в мире началась
Tsubame-KFC: суперкомпьютер с погружной системой охлаждения из Японии
3 min
В Японии порой придумывают и создают весьма странные устройства, однако, здесь же обычно создают и уникальные IT проекты, которые быстро становятся известными. К примеру, Tsubame-KFC — это суперкомпьютер, который использует погружную систему охлаждения. О такой системе охлаждения, где работающая техника погружается в охлаждающую жидкость (как правильно, минеральное масло), на Хабре писали не раз. Но вот о Tsubame-KFC постов практически нет. А ведь это суперкомпьютер, который занимает первую строчку в рейтинге суперкомпьютеров Green 500. Сам рейтинг создан для оценки наиболее энергоэффективных суперкомпьютеров мира.
IBM работает вместе с Nvidia над созданием суперкомпьютеров нового поколения
2 min
Министерство энергетики США выделило 325 миллионов долларов США корпорации IBM на создание двух суперкомпьютеров, которые уже получили собственные названия: Sierra и Summit. В системах будут использоваться технологии IBM, процессорные ускорители Nvidia и сетевая инфраструктура от Mellanox.
Один из суперкомпьютеров будет выполнять расчеты по проектам, которые нужны для энергетиков, метеорологов, физиков и представителей других специальностей. Эту работу будет выполнять Sierra, а установлена система будет в Oak Ridge National Laboratory (Теннесси). Второй суперкомпьютер, Summit, будет работать на благо военных в Lawrence Livermore National Laboratory (Калифорния).
Немного о трендах в области суперкомпьютеров
2 min
Сегодня мы затронем тему развития отрасли суперкомпьютеров, которая дотянулась до уровня производительности в экзафлопс. Дальнейший прост может потребовать кардинального пересмотра подходов к проектированию.
