Суперкомпьютеры

Новогодняя интеллектуальная разминка с Cloud.ru 🦾

формулаВсем привет! Продолжаем занимать вас интеллектуальными задачами, и наша следующая — с уровнем уровень сложности «эксперт»:

Вы — Агент K, работающий в «Департамента мостов и тоннелей»  («Люди в черном» / Men-in-Black). У вас 24 часа, чтобы обучить большую языковую модель для общения с аркелианцами. Сколько GPU NVIDIA A100 нужно для вашего суперкомпьютера, чтобы успеть обучить модель за это время и спасти Землю? Создайте формулу для вычисления машинного времени суперкомпьютера (в GFLOPS или в GPU-часах), затрачиваемого на обучение модели не хуже чем Llama 2 70B (с возможностью применения для оценки времени обучения других моделей). 

Время обучения Llama 2 — 1720320 GPU-часов, для обучения модели использован датасет с 2 триллионами токенов. Другие необходимые данные возьмите в интернете. 

Будет хорошо, если ваша формула будет учитывать размеры обучающего датасета, число параметров сети, число слоев, оценку количества эпох и другие необходимые вам параметры. Ожидаемая форма ответа — это методика / формула вашего расчета. 

Варианты ответов оставляйте в комментариях 👇 В пятницу — 10 января — Павел Бузин (@pbuzin) — эксперт Cloud.ru по AI и машинному обучению, раскроет правильный ответ под этим постом.

И оставляйте реакции и предложения — как вам такой формат, что можно улучшить? 

Вам может быть интересно:

• Нобелевские премии 2024 и искусственный интеллект. Химия: предсказание белковых структур

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Проверьте точность ваших вычислений 🧮

Привет, Хабр! Мы продолжаем рубрику для тех, кто хочет поразмять мозги. На этот раз предлагаем вам решить задачу посложнее: 

Как нам поведал Дуглас Адамс в «Путеводитель для путешествующих автостопом по галактике», «сверхразумная раса существ создала компьютер Думатель (Deep Thought) — второй по производительности за всё существование времени и вселенной, — чтобы найти окончательный ответ на величайший вопрос жизни, вселенной и всего такого. После семи с половиной миллионов лет вычислений Думатель выдал ответ: «Сорок два».

Оцените накопленное количество ошибок вычислений ответа «Сорок два» под воздействием космической радиации при следующих условиях:

• Сверхразумная раса – Земляне;

• Думатель находится на орбите Плутона;

• размер Думателя 1 * 1 * 1 км;

• Думатель сделан из водяного льда;

Каждая молекула является вычислительной ячейкой, которая может поменять свое состояние.

Каждая частица галактического излучения, попавшая в Думатель, приводит к изменению состояния вычислительной ячейки (одной ошибке) с вероятностью 100%.

Варианты ответов оставляйте в комментариях 👇 В пятницу Павел Бузин (@pbuzin) — эксперт Cloud.ru по AI и машинному обучению, раскроет правильный ответ под этим постом.

И оставляйте реакции — как вам в целом такой формат, хотите еще задач в будущем?

Вам может быть интересно:

• Нобелевские премии 2024 и искусственный интеллект. Химия: предсказание белковых структур

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Большинство университетских профессоров в мире - ленивые. Как выдумали в 1970-е годы преподавать дизайн конечных автоматов примером FSM для светофора (Traffic Light Controller FSM), так и тянут эту бодягу и по 21-му веку. При том, что современные дизайнеры чипов не светофоры конструируют, а ускорители тренировки нейросетей.

Короче мы на Школе Синтеза Цифровых Схем решили преломить эту дурную традицию (которая встречается от Южной Америки до Средней Азии и Филиппин, с провинциальными вузами в Штатах включительно) и ввести в преподавание современный хардкор. То есть сделать домашку с конструированием FSM для управления блоками FPU выдранными из современного реального открытого RISC-V процессора.

По сложности начинается не сложнее светофора, зато куда ближе к реальности и можно сделать миллион вариантов домашек и экзаменов, чтобы студенты друг у друга не списывали один и тот же светофор.

Пример домашки: сконструировать FSM (а потом и конвейер) для вычисления такого-то ряда Маклорена (для синуса, экспоненты итд), имея в наличии N блоков умножения, M сложения и R деления с плавающей точкой - с разными латентностями.

При обсуждении такой домашки возник вопрос нужно ли для операций с плавающей точкой устанавливать флаг error для нечисел и бесконечностей. Конечно нужно, потому что это удобный повод рассказать про концепцию NaN и Infinity. Полез в википедию и в шоке обнаружил, что статья IEEE_754 на русском отсутствует, хотя есть на украинском. Это непорядок, нужно срочно поправить!

3 сентября в Москве состоится конференция Tech2b Conf, посвященная актуальной ситуации на российском рынке аппаратных и программных решений, а также вопросам импортозамещения.

Вас ждут:

• Демо-зона с флагманскими продуктами и комплексами решений от «Группы Астра» (xData), «Гравитон», Orion soft, «Аквариус», «Киберпротект», «Р7-Офис», «Скала^р», ICL Techno, eXpress и других ведущих российских производителей. 

• ML-ПАК: презентация нового российского ПАКа для машинного обучения от К2 НейроТех.

• 4 тематические дискуссии в формате открытого диалога об актуальной ситуации на рынке решений для построения ИТ-инфраструктуры

В программе деловой части:

Пленарная сессия «TECH View. Задачи бизнеса — решения ИТ»
Обсудим препятствия на пути к импортозамещению и способы их преодоления, а также критерии выбора альтернативных решений для построения ИТ-инфраструктуры

Дискуссии «TECH Talk»

⚙️ Hard-вектор российского ИТ-рынка
Оценим рынок и возможности доступных сейчас серверов, систем хранения данных и резервного копирования

⚙️ Множество VMесто привычного
Разберем подходы к выбору из 50+ платформ виртуализации на рынке и сценарии внедрения частного облака

⚙️ Инфраструктурный soft-переход
Рассмотрим операционные системы, службы каталога, СУБД, пользовательские сервисы с точки зрения производительности, необходимости миграции монолитных баз данных и построения экосистемы 

Организатор Tech2b Conf — К2Тех. Участие в конференции бесплатно, по предварительной регистрации. Подробности по ссылке.

В США на аукционе продали суперкомпьютер Cheyenne за $480 085.

Начальная цена лота была $2500. Примечательно, что покупателю за свой счёт нужно будет демонтировать и вывезти суперкомпьютер из 30 телекоммуникационных стоек с места его текущей установки.  

Система Cheyenne была запущена в 2016 году Cheyenne и в то время занимала 20 место в списке самых мощных суперкомпьютеров в мире. В состав решения входят 8064 18-ядерных процессора Intel Xeon E5-2697v4, 313 ТБ оперативной памяти и 40 ПБ хранилища данных. Суперкомпьютер потребляет 1,7 МВт мощности и достигает производительности в 5,34 PFLOPS. Согласно пояснению продавца, примерно 1% вычислительных узлов вышли из строя, главным образом из-за ошибок ECC в модулях DIMM.  

Гендиректор Nvidia Дженсен Хуанг (Jensen Huang) лично доставил свой новый флагманский ускоритель DGX H200 в офис компании OpenAI в Сан-Франциско, подчеркнув тесную связь между двумя гигантами в отрасли искусственного интеллекта.

Хуанга встретили соучредитель OpenAI Грег Брокман и гендиректор компании Сэм Альтман.

DGX H200 – это новейший ускоритель ИИ-вычислений Nvidia, оснащенный 141 ГБ памяти HBM3e. Производитель позиционирует это решение как самый мощный ИИ-ускоритель Nvidia, знаменующий шаг вперёд в области технологий ИИ с производительностью в 1 экзафлопс.

В новосибирском Академгородке запустили суперкомпьютер «Сергей Годунов», который назван в честь советского и российского математика с мировым именем.

Монтаж и тестирование системы выполнили специалисты из группы компаний РСК. Оборудование для реализации проекта суперкомпьютера было приобретено на грант, предоставленный Минобрнауки РФ и направленный на обновление приборной базы ведущих научных организаций, в рамках федерального проекта «Развитие инфраструктуры для научных исследований и подготовки кадров» нацпроекта «Наука и университеты».

Суперкомпьютер «Сергей Годунов» создан на основе передовой платформы «РСК Торнадо» с использованием жидкостного охлаждения. Каждый узел системы оснащён двумя процессорами Intel Xeon Ice Lake-SP, имеющими по 38 ядер и работающими на частоте 2,4 ГГц. В момент введения в эксплуатацию общая производительность кластера достигла 54,4 Тфлопс.

Планируется увеличить производительность более чем в два раза, до 120,4 Тфлопс. И.о. директора ИМ СО РАН Андрей Миронов отметил, что новый суперкомпьютер поможет существенно повысить эффективность научных исследований и будет способствовать развитию новых технологий.

Планируемые задачи для новой системы:

• медицинская электроакустическая томография;

• вычислительная аэрогидродинамика и оптимизация турбулентных потоков;

• моделирование сценариев развития системы биосфера-экономика-социум;

• решение обратных задач геофизики прямым методом на основе подхода Гельфанда — Левитана.

Президент РФ поручил до 1 марта 2024 года разработать и реализовать меры для увеличения вычислительных мощностей суперкомпьютеров в России. Перечень поручений опубликован на сайте Кремля.

«Разработать и реализовать комплекс мер, направленных на увеличение вычислительных мощностей суперкомпьютеров, находящихся в РФ, определив конкретные параметры увеличения этих мощностей», — говорится в публикации.

К 1 марта правительству РФ поручено разработать механизмы использования архивов государственных и муниципальных органов, библиотечных фондов в целях создания наборов данных. Ответственным назначен премьер-министр Михаил Мишустин.

В октябре 2023 года «Ведомости» со ссылкой на данные АНО «Цифровая экономика» сообщили, что семь российских суперкомпьютеров входят в мировой рейтинг топ-500. У США в нем 150 машин, у Китая — 134. Далее идут Германия с 36 суперкомпьютерами и Япония с 33. По состоянию на июнь 2023 года Россия занимала в рейтинге 12 место.

В программу международной конференции по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals, которое проводилось совместно с учёными из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.

Petals — это система с открытым исходным кодом для работы с большими нейронными сетями не только на суперкомпьютерах и для небольших команд исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы. 

Помимо доклада о Petals в программу NeurIPS 2023 вошли исследования учёных из команды Yandex Research, включая:

• алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения;

• алгоритм прореживания передовых трансформерных моделей для компьютерного зрения;

• оценку устойчивости передовых моделей графовых нейросетей;

• метрику для квантификации степени гетерофильности заданного графа;

• схему распределённой оптимизации для задач вариационных неравенств;

• анализ стохастического градиентного спуска с нижними оценками на его сложность.

В Институте математики имени С.Л. Соболева Сибирского отделения Российской академии наук (ИМ СО РАН) в Новосибирске появился новый суперкомпьютер. Высокопроизводительную систему планируется применять для разработки перспективных технологий, анализа данных и выполнения научных исследований.

На разработку и создание вычислительного комплекса был предоставлен грант в рамках федеральной инициативы «Развитие инфраструктуры для научных исследований и подготовки кадров» Национального проекта «Наука и университеты».

Разработчиками из компании РСК предусмотрена возможность дальнейшего расширения этого суперкомпьютера.

В основу суперкомпьютера положена платформа «РСК Торнадо» с жидкостным охлаждением, которая позволяет одновременно использовать в одной системе вычислительные узлы на базе зарубежных x86-процессоров и отечественных чипов «Эльбрус». В сборке задействованы вычислительные узлы, оснащённые двумя процессорами Intel Xeon Ice Lake‑SP (38 ядер; базовая частота 2,4 ГГц).

Производительность кластера суперкомпьютера в текущей конфигурации составляет 54,4 Тфлопс. Предполагается, что новая система позволит сотрудникам института решать сложные исследовательские задачи в области математики, физики, биологии.

И.о. директора ИМ СО РАН Андрей Евгеньевич Миронов подчеркнул, что новый суперкомпьютер поможет существенно повысить эффективность научных исследований и будет способствовать развитию новых технологий.