Высоконагруженные системы *

Японцы, как всегда, впереди планеты всей в области реализации всяких идей из сферы компьютеризации. Дело в том, что сейчас, как никогда, ощущается потребность в устройствах и ПО для быстрой оцифровки книг. Уж не знаю, с какой скоростью оцифровывает книги Google (наверное, у них особенные устройства, которые особо не афишируются). Но японцы создали рабочий прототип сканера, способный сканировать книги со скоростью 170 страниц в минуту. Для достижения такого результата ребята из Токийского университета (и снова он, этот Токийский университет) выпили саке, закусили кальмаром создали систему, которая фотографирует переворачиваемые странички со скоростью в 500 снимков в секунду. Результат такой съемки обрабатывается специальным ПО и сохраняется на жестком диске в виде оцифрованной информации.

Корпорации все время соревнуются, выпуская все более производительные гаджеты, со все большим объемом памяти, доступной для пользователя и прочими преимуществами. Буквально каждую неделю мы слышим, что очередная компания достигла успеха в какой-то отдельной сфере. К примеру, сегодня стало известно о том, что компания Toshiba выпустила самый быстрый чип памяти формата SDHC UHS-I. Данный чип совместим с таким форматом карт памяти, как SD Memory Card 3.0, причем на аппаратном уровне. В общем, разработчики заявляют, что их чип является наиболее быстрым в мире и по скорости записи данных, и по скорости чтения. Отмечу, что это уже не концепт и не единичная разработка, а носитель, который поступил в продажу.

Всего несколько дней назад этот процессор был анонсирован на конференции Hot Chips 2010, причем анонс прошел довольно скромно, несмотря на значимость самого продукта. Анонс нового процессора был сделан не руководством компании, а простым (ну, или не очень простым) инженером IBM по имени Брайан Карран. Он скромно заявил, что вскоре начнутся продажи самого производительного процессора в мире, тактовая частота которого составляет, сколько бы вы думали? Да, 5,2 гигагерца. Жаль конечно, но этот процессор никак нельзя встроить в потребительский ПК, или ноутбук — он предназначен для мейнфремов серии Z.

При этом стоимость такого дата-центра составляет 500 миллионов долларов, что, в принципе, почти обычная цена для дата-центров корпораций такого уровня. Так вот, Microsoft собирается полностью изменить структуру своего существующего дата-центра, практически полностью перестроив и расширив его. Такая необходимость возникла из-за постоянного увеличения активности пользователей различных сервисов корпорации. По словам руководства компании, новый дата-центр является структурой четвертого поколения, и его так и назвали в проекте, Gen4. Gen4 будет полностью модульным, не только в отношении серверов, но и в отношении общей инфраструктуры (энергосеть, механика, водоснабжение и прочее).

Похоже, процессоры ARM уже созрели для использования не только в телефонах, но и в дата-центрах. Появилась неофициальная информация, что Facebook станет первой крупной компанией, которая заменит архитектуру x86 на ARM в одном из своих дата-центров (в Орегоне).

В качестве поставщика процессоров может быть выбрана компания Smooth-Stone. Это довольно молодой американский стартап, инвесторами которого являются ARM Holdings и Texas Instruments. Компания была создана в январе 2008 года именно с целью разработки и вывода на рынок серверных процессоров архитектуры ARM. Исполнительный директор компании — Барри Эванс (Barry Evans), бывший руководитель подразделения XScale ARM в Intel.

Сегодня в Сети появилась информация о том, что Министерство Обороны США заключило с компанией NVIDIA контракт на 25 миллионов долларов. Контракт предусматривает создание компанией сверхмощного суперкомпьютера, который по крайней мере в 1000 раз быстрее нынешних «гигантов мысли» вычислительной техники. Интересно, что время действия договора — четыре года, так что у компании NVIDIA довольно много времени.

В последнее время на хабре чаще стали встречаться обсуждения масштабируемых систем и NoSQL решений. Эта статья, написанная техническим директором Amazon — одна из лучших вводных, на мой взгляд, показывающая, какие проблемы возникают при построении масштабируемых систем, что нужно учесть при выборе инструментария, что имеют ввиду авторы кассандры, говоря про обеспечение AP в кассандре и CP в HBase и многое другое.

Компьютерщики из Калифорнийского университета впервые пробили барьер 1 ТБ в минуту по скорости сортировки. Спроектированная ими система показала результат 1,014 ТБ в тесте Indy Minute Sort на соревнованиях Sort Benchmark 2010. Использовался кластер из 52 серверов, в каждом установлено по два четырёхядерных процессора, 24 ГБ памяти и 16 жёсткими дисками по 500 ГБ.

Они также повторили старый мировой рекорд в тесте Indy Gray Sort по скорости сортировки триллиона записей (результат: 172 минуты, то есть 0,582 ТБ в минуту), причём созданная ими система использовала вчетверо меньше ресурсов, чем та, которой принадлежало предыдущее достижение. Здесь работал кластер из 47 серверов описанной выше конфигурации.

Результаты показаны на тестах Indy, то есть набор данных частично оптимизирован для максимальной производительности (см. правила). Теперь рекордсмены готовятся к тестам Daytona и применению своих разработок на реальных задачах.

Здравствуйте,

Сегодняшний пост посвящён деликатной проблеме тестирования производительности кластера. Многие скажут (и будут правы), что, в общем-то, результаты подобных тестов предназначены исключительно для пресс-релизов и отчётности перед TOP500 и практической пользы не имеют. Однако средства тестирования можно применять и для определения узких мест системы. Так, в первом посте речь пойдёт о Linpack & Lizard.

Оглавление:

1) Общие сведения о Linpack
2) Основные параметры Linpack
3) Lizard. Реализация Linpack для Windows-систем
4) Lizard. Оптимизация Linpack для Windows-систем
5) Native-средства для тестирования кластера

То есть не зеленый по цвету, понятное дело, а устройство, которое наносит окружающей среде гораздо меньший вред, чем аналогичные по мощности суперкомпьютеры. Японцы сообщили о том, что их суперкомпьютер будет вскоре готов, еще в июне. Вскоре после этого Grape-DR занял первую строчку в рейтинге «Little Green500 List», который публикуется ежемесячно. Кстати, энергоэффективность японского суперкомпьютера составляет 815,4 мегафлоп/Вт, это на 5% превосходит достижение предыдущего лидера, систему от IBM с энергоэффективностью в 773,38 мегафлоп/Вт. Таким образом, Grape-DR по праву занимает первую строчку в «зеленом» списке суперсистем.

Введение

Новый набор SIMD инструкций для x86-процессоров Intel AVX был представлен публике ещё в марте 2008 года. И хотя реализации этих инструкций в железе ждать ещё полгода, спецификацию AVX уже можно считать устоявшейся, а поддержка набора инструкций AVX добавлена в новые версии компиляторов и ассемблеров. В данной статье рассмотрены практические вопросы оптимизации для Intel AVX подпрограмм на языках C/C++ и ассемблер.

На хабре уже рассказали о том, что такое OpenCL и для чего он нужен, но этот стандарт сравнительно новый, поэтому интересно как соотносится производительность программ на нём с другими решениями.

В этом топике приведено сравнение OpenCL с CUDA и шейдерами для GPU, а также с OpenMP для CPU.

Тестирование проводилось на задаче N-тел. Она хорошо ложится на параллельную архитектуру, сложность задачи растёт как O(N²), где N — число тел.

Компания IBM объявила о введении в строй суперкомпьютера для Швейцарского государственного технологического института Цюриха (ETH Zurich). Он ничем бы не выделялся среди подобных, если б не уникальная система охлаждения Aquasar, которая, по мнению IBM, открывает «новую эпоху в энергоэффективном компьютинге».



Aquasar представляет собой систему медных микротрубок с горячей водой (60°С), которые заведены внутрь блейд-серверов и вплотную примыкают к радиаторам процессоров (85°С). Вода нагревается до 65°С, по замкнутому контуру проходит через теплообменник, остывает до 60°С и возвращается назад. Цикл занимает 20 секунд.

Опубликована статистика ОС используемых в суперкомпьютерах на 1 июня 2010 г.

Сайт High Scalability провел тестирование облачных сервисов хранения данных на масштабируемость в зависимости от нагрузки. В качестве тестирования применили распространенный тест TPC-W. Для тестирования нагрузку постепенно увеличивали от 1 пользователя до 9000 одновременно работающих пользователей. В тестировании принимали участие следующие сервисы: полноценная реляционная СУБД SQL Azure, Amazon S3, Amazon RDS, Amazon SimpleDB, Google AppEngine.

Результаты тестирования:



Очевидно, что SQL Azure, представляя собой полноценную реляционную БД, показывает отличные результаты. По возможностям+масштабируемости — это однозначно лидер тестирования. Сервис от Google оказался аутсайдером проведенного тестирования.

Первоисточник: highscalability.com/blog/2010/5/26/end-to-end-performance-study-of-cloud-services.html

Знаете ли вы, что Гомер Симпсон, глава семейства «The Simpsons», когда-то действительно официально работал на компанию Интел, причем довольно успешно? А именно, он рекламировал пончики процессор Pentium II. Посмотреть, как это было, можно здесь.
Ну а под катом можно посмотреть завершение предыдущего поста с 21 любопытными фактами про Intel SIMD.

Когда я впервые увидела этот мультфильм, то абсолютно не впечатлилась. Какие-то желтые (хорошо хоть не зеленые) человечки с выпученными глазами, сюжет не особенно интересный, шутки несмешные…

Но вскоре все радикально изменилось. Нет, «Симпсоны» остались теми же, зато я провела около месяца в командировке в мир Симпсонов — США, где наконец поняла, почему этот сериал многие считают лучшим. «The Simpsons» — действительно прекрасная пародия на американский образ жизни от мелочей до глобальных вопросов, это и юмор и философия и еще много отличных поводов для просмотра.

К чему это я? А к тому, что наверняка первое знакомство с семейством векторных инструкций SIMD (и, в частности, SSE) многих программистов не впечатлило. Какие-то новые инструкции с выпученными длинными регистрами, одновременно работающие над группой данных, возни много, а толку, скорее всего, мало…

Попробую радикально изменить это представление. Нет, я не буду убеждать вас, что SSE — прекрасное средство оптимизации приложений. Пойду другим путем. В Симпсонах — 21 сезон (кстати, это — самый длинный сериал в истории американского ТВ). В честь этого я приведу 21 интересный факт про Intel SIMD. Надеюсь, что действительно интересный — даже знатокам SIMD.

Из документации о Blitz: Чрезвычайно быстрый и мощный шаблонизатор для очень больших интернет-проектов.

Приведу несколько фактов:

1. Это шаблонизатор используемый Хабром;
2. Этот шаблонизатор используется на высоко-нагруженных проектах, он написан на C, подключается как расширение PHP;
3. Его скорость сопоставима с самим php (бенчмарк под катом);
4. Верстальщики будт счастливы, так как в шаблонах нет логики приложения, нет циклов, ветвлений и т.д.;
5. Один из его авторов Алексей Рыбак fisher.

Во вторник один из дата-центров Amazon полностью лишился электропитания из-за того, что возле здания автомобиль случайно врезался в столб и повредил линию электропередачи. К сожалению, переключение на питание от генераторов не сработало как нужно, и в результате серверы EC2 стояли обесточенными некоторое время. Как сообщается, для некоторых клиентов с восточного побережья США даунтайм продлился больше часа. Это уже пятый (!) сбой в работе Amazon EC2 за последнюю неделю.

Подробности инцидента тоже весьма любопытны. Дело в том, что сначала питание нормально переключилось на генераторы, но от упавшего столба произошёл мощный импульс в землю возле дата-центра, и от него сработал предохранительный датчик, который должен отслеживать проблемы с заземлением внутри дата-центра. Из-за ошибочного срабатывания датчика система безопасности мгновенно автоматически обесточила здание, чтобы защитить оборудование.

Демонстрация квантовых вычислений, проведённая японскими исследователями, наглядно продемонстрировала удивительный для кого-то факт: обычная молекула способна выполнять математические операции в тысячи раз быстрее, чем персональный компьютер.

В качестве теста было выбрано дискретное преобразование Фурье, стандартная операция, которая используется во многих областях технологий — в обработке сигналов, теории вероятностей, статистике, криптографии, акустике, сжатии MP3, сжатии JPEG и т.д. Оказалось, что молекула йода выполняет такое преобразование на несколько порядков быстрее, чем процессор обычного персонального компьютера.

Результаты своей работы японские учёные опубликовали в журнале Physical Review Letters [Kouichi Hosaka, Hiroyuki Shimada, Hisashi Chiba, Hiroyuki Katsuki, Yoshiaki Teranishi, Yukiyoshi Ohtsuki, Kenji Ohmori. Ultrafast Fourier Transform with a Femtosecond-Laser-Driven Molecule. Physical Review Letters, 2010; 104 (18): 180501 DOI: 10.1103/PhysRevLett.104.180501], отзыв на их работу есть в свободном доступе.

К сожалению, это исключительно концептуальный эксперимент, а для реальной пользы использовать вычислительную мощь молекул пока никто не умеет. Но если научатся, то в будущем одной молекулы будет достаточно для каждого пользователя.

via Science Daily