Суперкомпьютеры

Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Но сегодня мы поговорим не о местах в рейтинге, а о том, чем полезно на практике участие в подобных замерах.

Из этого поста вы узнаете про наши первые попытки создать свои кластеры и грабли на этом пути. Расскажем, как устроены суперкомпьютеры для машинного обучения и почему мы в итоге пришли к собственной архитектуре. Важная часть истории будет посвящена разбору проблем замеров производительности, которые, вопреки первым впечатлениям, принесли нам не только места в рейтинге, но и реальную пользу для наших ML-проектов.

Поможет мне в этом Дмитрий Монахов dmtrmonakhov. Он уже известен читателям Хабра по докладу о разработке ядра Linux. Передаю ему слово.

В 1985 году Институт инженеров электротехники и электроники (IEEE) установил стандарт IEEE 754, отвечающий за форматы чисел с плавающей запятой и арифметики, которому суждено будет стать образцом для всего железа и ПО на следующие 30 лет.

И хотя большинство программистов использует плавающую точку в любой момент без разбора, когда им нужно проводить математические операции с вещественными числами, из-за определённых ограничений представления этих чисел, быстродействие и точность таких операций часто оставляют желать лучшего.

“Суперкомпьютер IBM Watson теперь может участвовать в дебатах, IBM создало искусственный интеллект” — гласят все технологические новостные ленты. Они ссылаются на результаты конференции Milken Institute Global Conference на которой IBM представила новую функцию Debater своего супекомпьютера, без пяти минут искусственного интеллекта, Watson, которая заключается в том, что компьютер якобы может свободно и аргументированно дискутировать на любую заданную тему, как обычный человек.
Новость была воспринята на ура — давненько у нас небыло слышно о прогрессе в разработке искусственного интеллекта.
К сожалению, на волне радости, мало кто удосужился проверить, действительно ли Watson обладает аналитическими способностями или его создатели решили обмануть зрителей и сымитировать деятельность.
Я детально разобрал суждения Watson’a и пришел к очень неутешительным выводам — дебаты провалились.

Еврокомиссия одобрила финансирование самого крупного и амбициозного проекта по симуляции человеческого мозга. Проект Human Brain Project объединит усилия европейских учёных на 2013-2023 гг и предварительно оценивается в 1,19 млрд евро.

На днях побывал на открытии одного перспективного дата-центра – Оверсан.



Под катом – фотографии ДЦ и Гордон Фримен :)

МЦСТ (Московский Центр Спарк (SPARС) Технологии) — российская компания, специализирующаяся на разработке универсальных микропроцессоров, микроконтроллеров и управляющих вычислительных комплексов (wiki).

Есть вкратце, то это та самая организация, что разработала знаменитую серию процессоров «Эльбрус», используемых в отечественных суперкомпьютерах «Эльбрус» (с названиями они не заморачивались).
В принципе, вся информация лежит на википедии и оффсайте, и более подробно о TTX процов я вряд ли смогу рассказать, но вот небольшой фотоотчетег с поля боя предоставить могу.

Итак, в лохматом 1994 году Sun Microsystems выпускает процессор microSPARC II, которым комплектует SPARCStation 4/5/10/20 (к нам на растерзание попала SPARCStaion 5, которую, кстати, самые упоротые фанаты железа до сих пор могут достать):

Интереснейшую реализацию шахматной программы показали вчера на Хабре.
Почитав комментарии, я пришел к выводу, что принцип работы наиболее распространенных алгоритмов игры в шахматы, шашки и тому подобные известны не всем.

Вместе с тем задача создания программы, играющей во что-то, достаточно тривиальна, если имеются способы расчета некоторых величин и оценок, специфичных именно для этой игры.