Суперкомпьютеры

В предыдущем посте я рассказывал о том, как мы строили свои суперкомпьютеры. В этом — поделюсь опытом, который мы накопили, эксплуатируя наши кластеры. Этот опыт будет полезен не только тем, кто обучает огромные ML-модели. На грабли, о которых пойдёт речь, легко наступить, даже если вы специалист с парой GPU.



Почему в распределённом обучении нельзя доверять утилизации GPU? Почему переход в эру распределённого обучения — фундаментальный сдвиг парадигмы мышления, к которому должен быть готов каждый ML-разработчик? Ещё больше «Почему» и ответов на них — под катом.

Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Но сегодня мы поговорим не о местах в рейтинге, а о том, чем полезно на практике участие в подобных замерах.

Из этого поста вы узнаете про наши первые попытки создать свои кластеры и грабли на этом пути. Расскажем, как устроены суперкомпьютеры для машинного обучения и почему мы в итоге пришли к собственной архитектуре. Важная часть истории будет посвящена разбору проблем замеров производительности, которые, вопреки первым впечатлениям, принесли нам не только места в рейтинге, но и реальную пользу для наших ML-проектов.

Поможет мне в этом Дмитрий Монахов dmtrmonakhov. Он уже известен читателям Хабра по докладу о разработке ядра Linux. Передаю ему слово.

16 октября 2020 года на семинаре в Институте программных систем РАН (Переславль-Залесский) был показан экспериментальный компьютер, охлаждаемый кипящей жидкостью. Конечно, кипящей при невысокой температуре (40°C). По словам исследователей, это позволяет в тысячи раз улучшить отбор тепла на процессоре и создать одинаково холодные условия во всей установке.

_{Слева монитор управляющей системы,
справа компьютер, на его процессоре заметно кипение.}

Компьютер не перемещает никаких грузов, не обрабатывает сырья, не выпекает хлеб или керамику — то есть не тратит электрическую мощность на производство продукции. Вся эта мощность должна быть рассеяна компьютером без перегрева, всё его тепло надо сбросить в окружающую среду. Поэтому охлаждение электроники становится очень важной, ключевой задачей. Шаг за шагом было придумано воздушное охлаждение, потом изолированное жидкостное (охладитель в трубках), потом погружное (электроника плавает в охладителе). А теперь сделан следующий шаг — фазовый переход.

Математикам наконец-то удалось найти три куба чисел, сумма которых равна 42. Так была решена задача, над которой ломали голову целых 65 лет: можно ли каждое из натуральных чисел от 1 до 100 выразить как сумму трёх кубов?

Задача, сформулированная в 1954 году, заключается именно в этом: x³+y³+z³=k. K — это каждое из чисел от 1 до 100; вопрос в том, каковы x, y и z?

За прошедшие десятилетия были найдены решения для самых лёгких чисел. В 2000 году математик Ноам Элкис из Гарвардского университета опубликовал алгоритм, упрощающий поиск решений для более сложных чисел.

На текущий год оставались только два самых сложных числа: 33 и 42.

В 1985 году Институт инженеров электротехники и электроники (IEEE) установил стандарт IEEE 754, отвечающий за форматы чисел с плавающей запятой и арифметики, которому суждено будет стать образцом для всего железа и ПО на следующие 30 лет.

И хотя большинство программистов использует плавающую точку в любой момент без разбора, когда им нужно проводить математические операции с вещественными числами, из-за определённых ограничений представления этих чисел, быстродействие и точность таких операций часто оставляют желать лучшего.

Итак, пришло время поговорить о следующем поколении мультиклеточных процессоров: MultiClet S1. Если вы впервые слышите о них, то обязательно ознакомьтесь с историей и идеологией архитектуры в этих статьях:

• «Мультиклеточный процессор — это что?»
• «Мультиклет R1 — первые тесты»
• «Компилятор С/С++ на базе LLVM для мультиклеточных процессоров: быть или не быть?»

На данный момент новый процессор находится в разработке, но уже появились первые результаты и можно оценить, на что он будет способен.

После более чем годовой подготовки начался эпохальный матч, который стал важной вехой в истории шахмат.

Ни до, ни после 1997 года поединки между компьютером и человеком не привлекали к себе такого общественного внимания.

Ошеломительный результат воспринялся широкой общественностью как начало эры новых чемпионов.

Первый серьёзный шахматный матч человека и машины закончился в пользу нашего вида, но, как уже знаем, это была всего лишь прелюдия к более захватывающим событиям.

Прежде чем продолжить увлекательное чтиво о битве шахматных титанов, представляющих разные «формы жизни», спешу сообщить что мой соавтор Роман Жуков, он же Rom77, объявился и жив-здоров. К сожалению, у него нет времени и интереса для участия в создании новых эпизодов, однако он предоставил неоценимую помощь, которая будет оказывать существеннейшее влияние на написание этой (да и следующей) статьи. В своё время Роман много изучал перипетии этого противостояния, используя в том числе один источник, очень малоизвестный в русскоговорящей среде.

После некоторого перерыва, продолжаю серию статей (а также обещаю в ближайшее время её закончить) про многолетнюю шахматную борьбу двух миров – человеческого и компьютерного. Планировалось, что Rom77 напишет статьи про обе битвы Каспарова с Deep Blue, но, к сожалению, мой соавтор, написавший отличное начало, не выходит на связь. Мне иногда приходят письма от благодарных читателей с вопросом почему же до сих пор нет продолжения, поэтому, вновь берусь за перо сажусь за клавиатуру, дабы продолжить прервавшееся повествование про приключения Гарри и его кремниевых друзей. Помимо разрозненных сведений о событиях тех лет, в статье также решил использовать, оказавшиеся в моём распоряжении, черновые наброски Романа про матч 1996 года.

Вторая серия о многолетней борьбе Каспарова с армадой терминаторов. Первую статью из цикла читайте здесь.

Шахматные программы считали с каждым годом всё быстрее и всё адекватнее оценивали позиции, в том числе и не изобилующими тактическими ударами. Алгоритмы совершенствовались и боты достигли успехов, выигрывая не только в комбинационном, но и в позиционном ключе. Компьютерные игроки почти излечились от жадности и если люди жертвовали материал, то роботы, ради восстановления игрового баланса, троянских коней с легким сердцем отправляли обратно.

Участие компьютеров в человеческих соревнованиях вошло в моду. IT-компании охотно и щедро спонсировали мероприятия, с непременным условием – роботы играют на тех же правах, что и люди. Особенно интересен 1994 год, в которых произошли несколько знаковых событий, когда внезапно компьютеры начали регулярно наносить людям чувствительные поражения.

История о нашумевшем противостоянии Каспарова с детищем IBM уже затрагивалась на GeekTimes Хабре. Мой комментарий хоть и набрал приличное количество плюсов, содержит несколько существенных неточностей, которые я уже исправить, увы, не в силах. Дабы внести ясность и расставить все точки над ё, было решено написать более подробную статью про этот знаковый матч. Однако в творческом процессе выяснилось, что затронутая тема гораздо обширнее, многограннее и интереснее, и охватывает куда больший период времени. А посему статья про матч 1997 года органично трансформировалась в серию публикаций о незаурядных победах и поражениях 13-го чемпиона мира в борьбе с искусственным разумом на протяжении 15 лет.

На написание этого обзора натолкнул пост «Секрет древней игры го. Почему компьютер до сих пор не обыграл человека?», опубликованный 25 мая. В самом посте, и, тем более, в комментариях, было много сказано по поводу компьютерных шахмат вообще и матча Deep Blue — Каспаров (1997) в частности. Понятно, что сейчас, спустя уже без малого двадцать лет, мало кому интересны все подробности того матча: компьютеры развиваются с колоссальной скоростью, современные смартфоны легко дадут фору компьютерам того времени, да и возможно, сами шахматы несколько утратили популярность последнее время — по каким причинам — это уже тема отдельного разговора.

Впрочем, некоторые подробности, судя по всему, действительно неизвестны, а подробности эти таковы, что заголовки о “падении последнего интеллектуального бастиона” — не более, чем газетный прием, ибо случившийся по итогам матча, по сути, скандал, в силу своей шахматной специфичности вряд ли был бы интересен широкой публике. Нет, я, несмотря на то, что всегда являлся поклонником Гарри Кимовича Каспарова (исключительно в шахматном плане), не собираюсь его оправдывать за то поражение и пытаться доказать, что все было совсем не так, как сейчас общеизвестно. И уж тем более целью не является опровержение некоторых комментариев на шахматную тему к посту хабраюзера alizar. Единственная цель — рассказать некоторые подробности того, что именно произошло в Нью-Йорке в начале мая 1997 года, и почему результат этого противостояния, по мнению автора, на самом деле никому ничего не доказал.

“Суперкомпьютер IBM Watson теперь может участвовать в дебатах, IBM создало искусственный интеллект” — гласят все технологические новостные ленты. Они ссылаются на результаты конференции Milken Institute Global Conference на которой IBM представила новую функцию Debater своего супекомпьютера, без пяти минут искусственного интеллекта, Watson, которая заключается в том, что компьютер якобы может свободно и аргументированно дискутировать на любую заданную тему, как обычный человек.
Новость была воспринята на ура — давненько у нас небыло слышно о прогрессе в разработке искусственного интеллекта.
К сожалению, на волне радости, мало кто удосужился проверить, действительно ли Watson обладает аналитическими способностями или его создатели решили обмануть зрителей и сымитировать деятельность.
Я детально разобрал суждения Watson’a и пришел к очень неутешительным выводам — дебаты провалились.

Еврокомиссия одобрила финансирование самого крупного и амбициозного проекта по симуляции человеческого мозга. Проект Human Brain Project объединит усилия европейских учёных на 2013-2023 гг и предварительно оценивается в 1,19 млрд евро.

Ученые говорят, что если Вселенная продукт симуляции, то мы увидим подсказки в высокоэнергетических космических лучах.
Одна из самых взлелеянных идей в современной физике, квантовая хромодинамика, теория которая описывает сильное взаимодействие, как она связывает кварки и глюоны в протоны и нейтроны. Это основание вселенной.

Таким образом, интересная цель симулировать квантовую хромодинамику на компьютере, чтобы увидеть что получится на макро уровне. Моделирование на таком уровне должно быть более или менее эквивалентно симуляции самой вселенной.

Конечно, есть одна или две проблемы на этом пути. Квантовая хромодинамика мозгосносяще сложна и оперирует вычислениями на планковских масштабах. Поэтому даже используя самые мощные суперкомпьютеры мира, физики могут симулировать лишь маленькие кусочки космоса размером в несколько фемтометров (10^-15).

Звучит не впечатляюще, но важно, что такая симуляция практически неотличима от происходящего в реальности (по крайней мере насколько мы это понимаем).

Не так сложно себе представить, что прогресс подобный закону Мура, позволит физикам симулировать намного большие участки вселенной. Участки размером всего в несколько микрометров в диаметре могут вместить в себя полную работу человеческой клетки.

И снова, работа симулируемой клетки будет неотличима от реальной.

Подобные размышления приводят к тому, что возможно наша вселенная запущена на супермощном компьютере. А если это так, есть ли возможность это проверить?

Сегодня мы получили в некотором роде ответ от Силаса Бине из университета Бонна в Германии, и его коллег. Они говорят, что есть возможность найти проявления симуляции нашей вселенной, по крайней мере в некоторых сценариях.

Для начала небольшое введение. Проблема любой симуляции в том, что законы физики, которые, по сути, непрерывны, в симуляции накладываются на дискретную трехмерную решетку, состояние которой изменяется во времени.

Бине и коллеги поставили вопрос, приведут ли ограничения решетки к какого-либо рода ограничениям на физические процессы нашей вселенной. В частности они проверили высокоэнергетические процессы, которые затрагивают меньшие части пространства пока их энергия нарастает.

На днях побывал на открытии одного перспективного дата-центра – Оверсан.



Под катом – фотографии ДЦ и Гордон Фримен :)

МЦСТ (Московский Центр Спарк (SPARС) Технологии) — российская компания, специализирующаяся на разработке универсальных микропроцессоров, микроконтроллеров и управляющих вычислительных комплексов (wiki).

Есть вкратце, то это та самая организация, что разработала знаменитую серию процессоров «Эльбрус», используемых в отечественных суперкомпьютерах «Эльбрус» (с названиями они не заморачивались).
В принципе, вся информация лежит на википедии и оффсайте, и более подробно о TTX процов я вряд ли смогу рассказать, но вот небольшой фотоотчетег с поля боя предоставить могу.

Итак, в лохматом 1994 году Sun Microsystems выпускает процессор microSPARC II, которым комплектует SPARCStation 4/5/10/20 (к нам на растерзание попала SPARCStaion 5, которую, кстати, самые упоротые фанаты железа до сих пор могут достать):

Французский программист Фабрис Беллар (известен также как основатель проектов FFmpeg и QEMU) на своём персональном компьютере под управлением Fedora 10 установил новый мировой рекод вычисления числа Пи с точностью до 2,7 трлн знаков после запятой (2242301460000 знаков в шестнадцатиричном разряде или 2699999990000 в десятичном). Это любопытное достижение, ведь рекорды за последние 14 лет ставились на суперкомпьютерах стоимостью в миллионы долларов.

Компьютер Беллара имеет следующие характеристики:

64-х битная версия Fedora 10
Процессор: Core i7, 2.93 ГГц
Память: 6 ГБ
Диск: пять дисков Seagate Barracuda 7200.11 по 1.5 ТБ
Файловая система: ext4

Инженеры из бельгийского университета Антверпена показали свету свой компактный суперкомпьютер Fastra II. Внешне он представляет из себя обыкновеннный системный блок, но заключает в себе по истине колоссальные вычислительные мощности в 12 терафлопс.