Pull to refresh
  • by relevance
  • by date
  • by rating

Криптомайнинговая фирма купила 223 тысячи GPU

Computer hardware Cryptocurrencies

Northern Data, один из крупнейших поставщиков инфраструктурных решений для высокопроизводительных вычислений (HPC) и майнинга, покупает 24 000 серверов на базе EPYC вместе с 223 000 графическими процессорами AMD и Nvidia у Block.one, заплатив 195 миллионов евро и еще 170 миллионов евро в акциях. По условиям данной сделки, при приобретении Northern Data компании Decentric Europe BV (одного из подразделений Block.one), которая и владеет вышеперечисленным оборудованием, Block.one станет держателем примерно 18,2% акций Northern Data. Новые графические процессоры и серверы сделают серверную инфраструктуру компании мощнее самого быстрого в мире суперкомпьютера Fugaku.

Читать далее
Total votes 26: ↑21 and ↓5 +16
Views 14K
Comments 42

CUDA: с места в карьер

GPGPU *
Многие видели моё введение в современные технологии высокопроизводительных вычислений и оценки производительности, теперь я продолжу тему более подробным рассказом о технологии CUDA.
Для тех кто не смотрел предыдущие серии: CUDA позволяет писать и запускать на видеокартах nVidia(8xxx и выше) программы написанные на С++ со специальными расширениями. На правильных задачах достигается значительное превосходство по производительности на $ по сравнению с обычными CPU.
Достижимая производительность — 1 трлн и выше операций в секунду на GTX295.

NB: Статья — краткое введение, покрыть все ньюансы программирования под CUDA в одной статье вряд ли возможно :-)
Читаем дальше CUDA crash course
Total votes 39: ↑37 and ↓2 +35
Views 26K
Comments 26

Будущее суперкомпьютерных вычислений

Intel corporate blog
   За день до начала календарного лета, в Гамбурге прошла Международная Суперкомпьютерная Конференция (International Supercomputing Conference, ISC), на которой компания Intel объявила о намерении запустить новую суперкомпьютерную архитектуру Intel Many Integrated Core (MIC).

image

   Благодаря новому продукту, системы на ее основе смогут производить вычисления со скоростью, измеряющейся в триллионах(!) операций в секунду!
Читать дальше →
Total votes 63: ↑54 and ↓9 +45
Views 13K
Comments 77

Суперкомпьютеры на страже генетики

Intel corporate blog
   В преддверии нового поста программы "5 недель с компанией Intel", предлагаю ознакомиться с интересным текстом, в котором рассказывается о применений высокопроизводительных систем (HPC) на примере нескольких российских разработок.

image
Читать дальше →
Total votes 83: ↑67 and ↓16 +51
Views 14K
Comments 81

Проблемы суперкомпьютера в средней полосе

Intel corporate blog
   Третья серия программы «5 недель с компанией Intel» посвящена высокопроизводительным вычислениям (high-performance computing, HPC) — так на профессиональном жаргоне называются суперкомпьютеры и расчеты, которые на них производятся.

image
Эта картинка имеет отношение к посту

Читать дальше →
Total votes 59: ↑41 and ↓18 +23
Views 15K
Comments 70

О погоде на завтра

Intel corporate blog
   В начале весны загадочный, но реально существующий ChipMan вместе с несколькими коллегами побывал в Росгидрометцентре, где несколько часов общался с начальниками Росгидромета и его вычислительного центра и разглядывал суперкомпьютерные стойки.

image

   Ниже — краткий экскурс в историю метеорологии и то, как работает Росгидромет и другие современные метеорологические службы.
Читать дальше →
Total votes 92: ↑84 and ↓8 +76
Views 20K
Comments 73

Java как язык для параллельных вычислений. Установка, настройка, первая программа

Java *
Здравствуйте,

Ни разу не видел за определённый промежуток своей работы с HPC людей, пишущих на Java параллельные программы. Сам писал кое-что на С, разглядывал Фортран, но душа всегда тянулась к Java. В конце концов сел и попробовал разобраться.

Содержание:
1) Имплементации MPI for Java; Что это? Где взять?
2) Как установить всё это? Как настроить?
3) Напишем свою самую-самую простую программу. Как её запустить?

Читать дальше →
Total votes 42: ↑35 and ↓7 +28
Views 16K
Comments 43

Хорошая новость для тех, кому нужен HPC, HA и просто SSI-кластер, наконец

Configuring Linux *
У меня для вас есть хорошая новость. Кажется, я сегодня уломал отцов Kerrighed дебианизировать свои труды.

Что это означает для нас, для обычных людей? У вас есть компьютер, где стоит Ubuntu или ещё какой-то Дебиан-подобный Linux? Назовём его Компьютер №1. На нём вы сможете сделать что-то обычное, типа

apt-get install kerrighed-kernel...

ну, вероятно, придётся уж потратить и пару минут на конфигурацию. Далее, перезагрузив Ubuntu, вы увидите новоиспечённое ядро в grub-меню. Выбираете и попадаете в обычную Ubuntu с одним необычным свойством, назовём его "SSI with DRBL"…

Что за зверь «SSI with DRBL»?

Читать дальше →
Total votes 87: ↑84 and ↓3 +81
Views 8.1K
Comments 77

Http Parameter Contamination (more)

Information Security *
Продолжая исследование атаки Http Parameter Contamination (HPC), мною был проведен примитивный фаззинг, в том числе в тех средах, которые не были затронуты Ivan Markovic в его оригинальном исследовании. Стоит сразу отметить, что ничего принципиально нового найдено не было. С другой стороны была выявлена интересная особенность интерпретатора Python, а также, получен боевой сплоит на отказ в обслуживании в отношении сервера Tomcat :) Но по последнему, пока non disclosure.

Полученные результаты представлены на картинке ниже.
Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Views 1.6K
Comments 10

Microsoft выпустила математическую библиотеку, оптимизированную для работы в Облаке: Cloud Numerics

Microsoft corporate blog
На этой неделе Microsoft анонсировала выпуск нового продукта для Azure и платформы .Net — Microsoft Codename “Cloud Numerics” Lab. Это математическая библиотека способная параллельно обрабатывать большие объемы данных в облаке. Она также позволяет масштабировать вычислительные модели, реализованные на C# для Windows Azure.

Выпуск этой библиотеки явился плодом труда нескольких лет серьезной работы специалистов в области параллельных вычислений и вычислительной математики. Значительная часть этих работ была выполнена Российским подразделением Microsoft.

Эта библиотека предоставляет легкую в использовании модель программирования скрывающую сложность разработки распределенных алгоритмов, доступ к .NET библиотеке численных алгоритмов состоящих из широкого набора функций. От элементарных, до сложных статистических и функций линейной алгебры. Cloud Numerics также дает возможность запускать программы в Azure и получать доступ к неограниченным вычислительным мощностям в облаке.

Читать дальше →
Total votes 41: ↑33 and ↓8 +25
Views 7.8K
Comments 5

Cloud Numerics – что это такое?

Microsoft corporate blog
На прошлой неделе я опубликовал заметку о выпуске Microsoft'ом математической библиотеки для работы в облаке.

(Ссылка на сам продукт)

Мне поступило много вопросов о том, зачем нужна эта библиотека, чем она отличается от множества других и как она работает и я решил написать об этом подробнее и привести больше примеров. В этой публикации я приведу пересказ ранее опубликованных статей моим коллегой Ронни Хугервертом и простой пример. В следующих постах я планирую привести более сложные примеры работы Cloud Numerics.

Итак, “Cloud Numerics” является новым Фреймворком для программирования .NET предназначенным для выполнения интенсивных вычислений над большими распределенными массивами данных.

Этот Фреймворк состоит из:

1. Обычные и распределенные контейнеры для массивов данных
2. Системы позволяющей манипулировать распределением данных на узлах кластера в облаке и выполнять над ними параллельные вычисления
3. Широкий набор библиотечных математических функций, которые могут выполняться на множестве узлов кластера одновременно
4. Набор утилит упрощающих развертку и выполнение приложений построенных на Cloud Numerics в среде Windows Azure
Читать дальше →
Total votes 25: ↑18 and ↓7 +11
Views 4.9K
Comments 2

Быстрое сжатие изображений по алгоритму JPEG на CUDA

High performance *GPGPU *Image processing *
Краткое содержание: Создан быстрый кодер FVJPEG для сжатия изображений по алгоритму JPEG на видеокартах NVIDIA. Значительное ускорение получено при распараллеливании алгоритма, его реализации и оптимизации с помощью технологии CUDA. По скорости сжатия кодер FVJPEG превосходит все существующие в настоящее время программные и аппаратные решения для компрессии изображений по алгоритму Baseline JPEG.
Читать дальше →
Total votes 74: ↑59 and ↓15 +44
Views 19K
Comments 49

Опубликованы записи докладов и интервью с конференции DevCon'12

Microsoft corporate blog Website development *


Отличная новость для всех, кто участвовал или по каким-то причинам не смог принять участие в конференции DevCon’12: на сайте конференции и ресурсе TechDays опубликованы все видеозаписи и презентации докладов.

В открытом доступе вы найдете:
  • более 50 докладов по 8 ключевым темам;
  • пленарные доклады 1-го и 2-го дней;
  • запись сессии вопросов и ответов со Скоттом Хансельманом, главным архитектором по проектам с сообществами Microsoft;
  • интервью с докладчиками конференции, состоявшиеся непосредственно на DevCon’12 во время перерывов.
Перейти к списку докладов и интервью с DevCon'12
Total votes 40: ↑31 and ↓9 +22
Views 8.1K
Comments 0

А что вы знаете о высоких нагрузках: часть вторая

ITmozg corporate blog High performance *
Первый блин далеко не всегда комом. Организованная нами в августе конференция по высоким нагрузкам HPC прошла на ура, поэтому мы продолжаем проводить подобные мероприятия.


6 октября в рамках IT-фестиваля профессионального развития BitByte будет проведена HPC-конференция.
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Views 13K
Comments 19

IT-фестиваль BitByte

ITmozg corporate blog
6 октября в Москве состоится крупнейший IT-фестиваль BitByte, который объединит IT-специалистов различного возраста, профессий и уровней профессионального развития.
Во время фестиваля гости смогут посетить выступления спикеров, на стендах компаний пообщаться с техническими Гуру и с HR-специалистами, а также отдохнуть в лаундж-зоне.


Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views 4.8K
Comments 3

Видеозаписи докладов с High Performance Conference

ITmozg corporate blog High performance *
Дорогие хабрачитатели, мы готовы представить вам видеозаписи всех докладов с конференции по высоким нагрузкам HPC, которая состоялась 9 августа в Москве.



Прямо сегодня (или в любое удобное для вас время) в программе:
Сергей Аверин XEK, Badoo (участвовал в создании таких проектов как Хабр, dirty, leprosorium, autokadabra, dribbler, trendclub и др.);
Юрий Насретдинов, Badoo;
Андрей Сумин AndrewSumin, Mail.ru Group (ранее Яндекс, HeadHunter);
Константин Осипов, Mail.Ru Group ( ранее Oracle, Sun, MySQL, Ringrows, Spylog, Interpro);
Даниил Павлючков, ITmozg.ru.

Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Views 13K
Comments 3

2013: пора прекратить погоню за флопсами

High performance *
Translation
От переводчика: Exascale computing — это такой амбициозный проект по достижению производительности порядка ExaFLOPS к 2018 году. Есть мнение, что наукоемким вычислениям уже сейчас тесно в петафлопсах. Так ли это на самом деле? Размышления на эту тему Уильяма Гроппа, директора Parallel Computing Institute, были опубликованы в The Exascale Report.

2013: TIME TO STOP TALKING ABOUT EXASCALE
William D. Gropp


Каждый, кто читает это, верит в силу вычислительных технологий. Нам кажется само собой разумеющимся, что производительность самых мощных вычислительных систем должна продолжать расти с прежней скоростью, чтобы удовлетворять потребности общества. Тем не менее, это не так уж и бесспорно.
Читать дальше →
Total votes 57: ↑46 and ↓11 +35
Views 28K
Comments 52

NUMизматика, NUMерология и просто о NUMA

Intel corporate blog High performance *Concurrent computing *
NUMA (Non-Uniform Memory Access — «Неравномерный доступ к памяти» или Non-Uniform Memory Architecture — «Архитектура с неравномерной памятью») — технология совсем не новая. Я бы даже сказала, что совсем старая. То есть, в терминах музыкальных инструментов, это уже даже не баян, а, скорее, варган.
Но, несмотря на это, толковых статей, объясняющих, что это, а главное, как с этим эффективно работать, нет. Данный пост, исправляющий эту ситуацию, предназначен прежде всего для тех, кто ничего не знает про NUMA, но также содержит кое-что интересное и для знатоков-NUMизматов, а главное, он облегчает жизнь мне, инженеру Intel, так как отныне всех интересующихся NUMA русскоязычных разработчиков буду отсылать к нему.
Читать дальше →
Total votes 21: ↑19 and ↓2 +17
Views 43K
Comments 14

Основы HPC-технологий

High performance *
Sandbox

Определение высоконагруженных систем и способов их построения

      Нагрузка на сервер — это важный показатель использования серверного оборудования. Хит – это запрос клиента к серверу для получения информации. Нагрузка сервера определяется как отношение количества клиентских запросов (хитов) ко времени, выражается в хитах в секунду. Согласно исследованиям Microsoft в 2010 году высоконагруженным сервером можно считать сервер с нагрузкой 100-150 хитов в секунду.
      В литературе встречаются такие понятия как HPC-система, высоконагруженная система, высоконагруженный кластер, Highload-система, суперкомпьютер, которые порой используются как синонимы. Мы будем понимать сайт с нагрузкой не менее 150 хитов в секунду.
      Кластер – это группа компьютеров, которые работают вместе и составляют единый унифицированный вычислительный ресурс. Каждый узел работает под управлением своей копии операционной системы, в качестве которой чаще всего используются Linux и BSD.
      Чтобы понять каким образом задачи, выполняемые кластером, распределяются по его узлам необходимо дать определение масштабироемости. Масштабируемость — способность системы справляться с увеличением рабочей нагрузки (увеличивать свою производительность) при добавлении ресурсов. Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ресурсов. Чем ближе это отношение к единице, тем лучше. Также под масштабируемостью понимается возможность наращивания дополнительных ресурсов без структурных изменений центрального узла системы. Масштабирование архитектуры высоконагруженной системы может быть горизонтальным и вертикальным. Вертикальное масштабирование заключается в увеличении производительности системы за счёт увеличения мощности сервера. Главный недостаток вертикального масштабирования в том, что оно ограничено определённым пределом. Параметры железа нельзя увеличивать бесконечно. Однако на самом деле вертикальная компонента присутствует практически всегда, а универсального горизонтального масштабирования как такового не существует. Горизонтальное масштабирование заключается в увеличении производительности системы за счёт подключения дополнительных серверов. Именно горизонтальное масштабирование является сейчас фактически стандартом. Известен также такой термин, как диагональное масштабирование. Оно подразумевает одновременное использование двух подходов.
      И наконец, необходимо определить основной принцип, использующийся при построении любой кластерной архитектуры. Это — трёхзвенная структура системы (рис. 1). Три звена – это фронтэнд, бэкэнд и хранилище данных. Каждое звено выполняет свои функции, отвечает за различные стадии в обработке запросов и по-разному масштабируется. Первоначально запрос приходит на фронтэнд. Фронтэнды отвечают, как правило, за отдачу статических файлов, первичную обработку запроса и передачу его дальше. Второе звено, куда приходит запрос, уже предварительно обработанный фронтэндом — это бэкэнд. Бэкэнд занимается вычислениями. На стороне бэкэнда, как правило, реализуется бизнес-логика проекта. Следующий слой, который вступает в дело обработки запроса – это хранилище данных, которые обрабатываются бэкэндом. Это может быть база данных или файловая система.Трёхзвенная структура кластерной архитектуры
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Views 14K
Comments 18

Что мы знаем о серверах высокой плотности

CloudMTS corporate blog High performance *
Блейд-сервера RLX Technologies

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.
Читать дальше →
Total votes 45: ↑39 and ↓6 +33
Views 42K
Comments 44