Высокая производительность *

Компания IBM объявила о введении в строй суперкомпьютера для Швейцарского государственного технологического института Цюриха (ETH Zurich). Он ничем бы не выделялся среди подобных, если б не уникальная система охлаждения Aquasar, которая, по мнению IBM, открывает «новую эпоху в энергоэффективном компьютинге».



Aquasar представляет собой систему медных микротрубок с горячей водой (60°С), которые заведены внутрь блейд-серверов и вплотную примыкают к радиаторам процессоров (85°С). Вода нагревается до 65°С, по замкнутому контуру проходит через теплообменник, остывает до 60°С и возвращается назад. Цикл занимает 20 секунд.

Опубликована статистика ОС используемых в суперкомпьютерах на 1 июня 2010 г.

Сайт High Scalability провел тестирование облачных сервисов хранения данных на масштабируемость в зависимости от нагрузки. В качестве тестирования применили распространенный тест TPC-W. Для тестирования нагрузку постепенно увеличивали от 1 пользователя до 9000 одновременно работающих пользователей. В тестировании принимали участие следующие сервисы: полноценная реляционная СУБД SQL Azure, Amazon S3, Amazon RDS, Amazon SimpleDB, Google AppEngine.

Результаты тестирования:



Очевидно, что SQL Azure, представляя собой полноценную реляционную БД, показывает отличные результаты. По возможностям+масштабируемости — это однозначно лидер тестирования. Сервис от Google оказался аутсайдером проведенного тестирования.

Первоисточник: highscalability.com/blog/2010/5/26/end-to-end-performance-study-of-cloud-services.html

Знаете ли вы, что Гомер Симпсон, глава семейства «The Simpsons», когда-то действительно официально работал на компанию Интел, причем довольно успешно? А именно, он рекламировал пончики процессор Pentium II. Посмотреть, как это было, можно здесь.
Ну а под катом можно посмотреть завершение предыдущего поста с 21 любопытными фактами про Intel SIMD.

Когда я впервые увидела этот мультфильм, то абсолютно не впечатлилась. Какие-то желтые (хорошо хоть не зеленые) человечки с выпученными глазами, сюжет не особенно интересный, шутки несмешные…

Но вскоре все радикально изменилось. Нет, «Симпсоны» остались теми же, зато я провела около месяца в командировке в мир Симпсонов — США, где наконец поняла, почему этот сериал многие считают лучшим. «The Simpsons» — действительно прекрасная пародия на американский образ жизни от мелочей до глобальных вопросов, это и юмор и философия и еще много отличных поводов для просмотра.

К чему это я? А к тому, что наверняка первое знакомство с семейством векторных инструкций SIMD (и, в частности, SSE) многих программистов не впечатлило. Какие-то новые инструкции с выпученными длинными регистрами, одновременно работающие над группой данных, возни много, а толку, скорее всего, мало…

Попробую радикально изменить это представление. Нет, я не буду убеждать вас, что SSE — прекрасное средство оптимизации приложений. Пойду другим путем. В Симпсонах — 21 сезон (кстати, это — самый длинный сериал в истории американского ТВ). В честь этого я приведу 21 интересный факт про Intel SIMD. Надеюсь, что действительно интересный — даже знатокам SIMD.

Из документации о Blitz: Чрезвычайно быстрый и мощный шаблонизатор для очень больших интернет-проектов.

Приведу несколько фактов:

1. Это шаблонизатор используемый Хабром;
2. Этот шаблонизатор используется на высоко-нагруженных проектах, он написан на C, подключается как расширение PHP;
3. Его скорость сопоставима с самим php (бенчмарк под катом);
4. Верстальщики будт счастливы, так как в шаблонах нет логики приложения, нет циклов, ветвлений и т.д.;
5. Один из его авторов Алексей Рыбак fisher.

Во вторник один из дата-центров Amazon полностью лишился электропитания из-за того, что возле здания автомобиль случайно врезался в столб и повредил линию электропередачи. К сожалению, переключение на питание от генераторов не сработало как нужно, и в результате серверы EC2 стояли обесточенными некоторое время. Как сообщается, для некоторых клиентов с восточного побережья США даунтайм продлился больше часа. Это уже пятый (!) сбой в работе Amazon EC2 за последнюю неделю.

Подробности инцидента тоже весьма любопытны. Дело в том, что сначала питание нормально переключилось на генераторы, но от упавшего столба произошёл мощный импульс в землю возле дата-центра, и от него сработал предохранительный датчик, который должен отслеживать проблемы с заземлением внутри дата-центра. Из-за ошибочного срабатывания датчика система безопасности мгновенно автоматически обесточила здание, чтобы защитить оборудование.

Демонстрация квантовых вычислений, проведённая японскими исследователями, наглядно продемонстрировала удивительный для кого-то факт: обычная молекула способна выполнять математические операции в тысячи раз быстрее, чем персональный компьютер.

В качестве теста было выбрано дискретное преобразование Фурье, стандартная операция, которая используется во многих областях технологий — в обработке сигналов, теории вероятностей, статистике, криптографии, акустике, сжатии MP3, сжатии JPEG и т.д. Оказалось, что молекула йода выполняет такое преобразование на несколько порядков быстрее, чем процессор обычного персонального компьютера.

Результаты своей работы японские учёные опубликовали в журнале Physical Review Letters [Kouichi Hosaka, Hiroyuki Shimada, Hisashi Chiba, Hiroyuki Katsuki, Yoshiaki Teranishi, Yukiyoshi Ohtsuki, Kenji Ohmori. Ultrafast Fourier Transform with a Femtosecond-Laser-Driven Molecule. Physical Review Letters, 2010; 104 (18): 180501 DOI: 10.1103/PhysRevLett.104.180501], отзыв на их работу есть в свободном доступе.

К сожалению, это исключительно концептуальный эксперимент, а для реальной пользы использовать вычислительную мощь молекул пока никто не умеет. Но если научатся, то в будущем одной молекулы будет достаточно для каждого пользователя.

via Science Daily

Откуда есть пошла

Не так давно выпустился я из такого занимательного (судя по временным затратам, на бесполезную деятельность) заведения, как университет. Ну, казалось бы, закончил учебу, так живи и радуйся. Работай, плати налоги, в общем, будь добр, отрабатывай то, что вложило в тебя государство. Вот все бы хорошо, но незадолго до выпуска увлекла меня одна любопытная тема- тема распределенных вычислений. Ведь это же прям коллективный “разум”, “взаимовыручка” среди железной братии. Забавно, не правда ли?! Да и хочется двигать науку, аж зубы ноют.

Здравствуйте. Сегодня я вам хочу рассказать о том, кто и зачем сделал сайт metro29.ru.
Всё дело в том, что многие в интернете озадачились вопросом откуда и для чего это было сделано.
На сайте чётко и ясно было написано для каких целей он создан. Всё равно большая часть народа не верила. Ну не верит народ, что существуют люди в нашей стране, которые делают что-то не выгоды ради, а помощи для.

Сколько бы ни говорили, что логи способны полностью заменить отладку, увы и ах — это не совсем так, а иногда — совсем не так. Действительно, иногда и в голову не придет, что надо было писать в лог именно эту переменную — в то же время, в режиме отладки можно часто просмотреть сразу несколько структур данных; можно, в конце концов, наткнутся на проблемный участок абсолютно случайно. Поэтому иногда отладка неизбежна, и часто она способна сэкономить очень немало времени.

Отлаживать однопоточное Java приложение просто. Отлаживать многопоточное Java приложение — чуть сложнее, но все равно просто. Отлаживать мультипроцессное Java приложение? С процессами, запущенными на разных машинах? Это определенно сложнее. Именно поэтому все руководства по Hadoop рекомендуют обращаться к отладке только и исключительно тогда, когда другие опции (читай: логгинг) исчерпаны и не помогли. Ситуация зачастую усложняется тем, что на больших кластерах у вас может и не быть доступа к конкретным map/reduce узлам (именно с этим вариантом я и столкнулся). Но давайте решать проблему по частям. Итак…

Сценарий первый: локальный Hadoop

Самый простой вариант из всех возможных. Локальная инсталляция Hadoop — все выполняется на одной машине, и более того — в одном процессе, но в разных потоках. Отладка эквивалентна отладке обычного мультипоточного Java приложения — что может быть тривиальнее?

Как же этого добиться? Мы идем в директорию, где у нас развернут наш локальных Hadoop (я полагаю, что вы умеете это делать или умеете прочитать соответствующую инструкцию и уже теперь с этим справитесь).

    $ cd ~/dev/hadoop
    $ cp bin/hadoop bin/hdebug
    $ vim bin/hdebug

Наша задача — добавить еще одну опцию JVM, где-то в районе 282-283 строки (в зависимости от версии, номер может и измениться), сразу после того, как скрипт закончил формировать $HADOOP_OPTS:

Два часа назад начались взрывы в Метро (горячая линия: 637-22-22, 622-14-30 и 624-34-40, список пострадавших, больницы, где сдать кровь, куда сообщить об опасности).
Я наблюдаю за новостными сайтами. Практически все они (из тех, которые обычно читаю я) не справляются с нагрузкой и «лежат», а именно:

• lenta.ru — открывается 1 раз из 5, в заголовках опечатки.
• gazeta.ru — открывается 1 раз из 10.
• interfax.ru — поначалу открывался с ошибками ASP и битыми ссылками, теперь вообще недоступен.
• mosmetro.ru — не работает вообще

Благоразумно поступили на rian.ru — если я правильно понял, они перевели весь сайт в мобильный (облегчённый) режим, так что страницу отдают без задержек.

На северо-востоке Англии, возле городка Биллингем, введён в строй дата-центр с уникальной системой охлаждения, которая использует ледяной ветер с Северного моря. Климатические условия таковы, что ветер дует стабильно и постоянно, причём всегда почти в одном направлении. Для системы вентиляции дата-центра это идеальные условия.

Воздушные потоки из атмосферы сначала пропускают через фильтры (интересно, как они фильтруют солёный воздух?), а потом через восемь 2,2-метровых вентиляторов они поступают прямо на серверные стойки: см. виртуальный тур по зданию. Таким образом, в рабочем помещении дата-центра поддерживается постоянная температура 24°C. Когда ветер становится слишком холодным, то в системе вентиляции его слегка подогревают от теплообменников, которые снимают тепло с серверов.

Дата-центр Wynyard построен подрядчиком EDS для компании HP.

Google приступил к апгрейду файловой системы на своих серверах. Предварительно было проведено тестирование трёх файловых систем XFS, EXT4 и JFS с точки зрения быстродействия. Оказалось, что при гугловских нагрузках EXT4 и XFS показывают примерно одинаковый результат, но для простоты апгрейда с существующей EXT2 была выбрана именно EXT4. Об этом сотрудники компании сообщили в специализированном листе рассылке, посвящённом EXT4.

Как сообщается, миграция закончена уже на 50%, но осталось самое трудное: перевести на новую файловую систему самые ресурсоёмкие приложения, включая Gmail (″ext4 is already moving the bottleneck away from the storage stack for some of our most intensive applications″).

Специально для проведения финальной стадии апгрейда на работу в Google был приглашён известный активист Linux-сообщества Ted T'so, он же главный разработчик файловых систем EXT2, EXT3 и EXT4.

Привет, %username%
Тут я хочу рассказать о том, как я настраивал кеширование на одном сервере, точнее VDS. Характеристики сервера: 2000MHz, 2GB RAM, 80Gb HDD, технология виртуализации — OpenVZ.
Было решено использовать Nginx версии 0.7.64. На сервере находилось около 200 сайтов. И несколько высоко нагруженных проектов. Вот эти самые проекты и давали ощутимые тормоза и нагрузку на сервер. Мы будем рассматривать DLE в этом примере.

Dklab Realplexor — это Comet-сервер, позволяющий держать одновремено сотни тысяч долгоживущих открытых HTTP-соединений с браузерами пользователей. JavaScript-код, запущенный в браузере, подписывается на один или несколько каналов Realplexor-а и вешает обработчик на поступление данных. Сервер может в любой момент записать сообщение в один из таких каналов, и оно будет моментально передано всем подписчикам (хоть одному, хоть тысяче), в режиме реального времени и с минимальной нагрузкой для сервера.

^{Хотя идейным вдохновителем Realplexor-а был предыдущий проект, dklab_multiplexor, код Realplexor-а не имеет с ним практически ничего общего. Поэтому я и решил сменить название. Несопоставимы также возможности продуктов (см. ниже), да и размер кода увеличился в 7 раз.}

Realtime-направление сейчас довольно активно развивается на Западе, и в нем особенно выделяется продукт Tornado — событийно-ориентированный веб-сервер на языке Python. Правда, Tornado — это не столько Comet-сервер, сколько инструмент, с помощью которого можно запрограммировать «в том числе» и Comet-сервер. Ключевые слова: Comet, Push Server, Long polling, JavaScript, XMLHttpRequest.

Главные преимущества Realplexor-а:

• простота использования: наличие API для JavaScript, API для PHP (в будущем — и для других языков);
• простота конфигурирования;
• широкий функционал (либо отстутствующий, либо недоступный напрямую в аналогах).

Лучше один раз увидеть...

Я сделал отдельную онлайн-песочницу, чтобы продемонстрировать функционал нового Realplexor-а и то, для чего вообще нужны Comet-серверы (кстати, это физически тот же самый демон Realplexor-а, что использует мой новый стартап РуТвит). Песочница реализует что-то типа многоканального чата: зайдя, вы получите как будто бы 2 независимых «браузера», запущенных на разных компьютерах.

• Верхний «браузер» отображает каналы — в них моментально появляются новые сообщения, как только кто-то их туда отправляет на стороне сервера. Конечно же, эту страницу могут просматривать одновременно сотни тысяч пользователей, и они все будут видеть одно и то же (реализовано с использованием Realplexor JavaScript API). Можно «на лету» добавлять новые каналы (подписка) или скрывать уже имеющиеся (отписка).
• Нижний браузер содержит формы, позволяющие добавлять сообщение в произвольный канал, указав его имя. Форма AJAX-ом отправляется на сервер, и уже там PHP-скрипт записывает в Realplexor полученный текст через PHP API. (И да, так можно чатиться.)

По умолчанию на странице открыто 3 канала с именами Alpha, Beta и RuTvit. Но, конечно, вы можете закрыть эти каналы и открыть новые. Вот, например, страница с единственным открытым каналом по имени Habrahabr: http://rutvit.ru/realplexor/demo?ids=Habrahabr.



Песочница демонстрирует следующие функции Realplexor-а:

PHP-FPM — патч к PHP, предоставляющие альтернативный интерфейс FastCGI. Обычно используется с nginx в проектах с высокими нагрузками или дефицитом ресурсов. Для удобной и упрощенной инсталляции мы собрали PHP-FPM в пакет для Debian 5 Lenny. Последнюю пару недель тестировали и тюнили, сейчас выложили в публичный доступ. Над пакетами в поте лица трудился viliar, которому дружно направляем за это благодарности и карму. Багрепорты и замечания приветствуются, лучше комментами к посту.

Инструкция по установке

Может кому будет интересно как «по-быстрому» провести нагрузочное тестирование своего веб-приложения.
Подробности под катом

Заметка посвящена не столько возможным методам защиты (о них уже было много написано), сколько обзору небольшого списка для быстрой проверки при подготовке к возможных скачкам посещаемости. Судя по статистике нагрузки на электронные магазины на прошлой неделе (когда начался рождественский сезон продаж на Западе), даже для крупных магазинов время ответа может колебаться на 20%, что же говорить о менее крупных веб-сайтах?

Такую проверку обязательно нужно проводить перед выпусками новых продуктов, а также перед сезоном массовых покупок (для России это время в канун Нового Года и Рождества). Итак, с чего начать?

26 октября 2009 года состоялась SpeedGeeks L.A. в Южной Калифорнии.
Тематика — достижение высокой производительности веб-сайтов.

Вашему вниманию хотелось бы представить видео и презентации. Которые недавно были опубликованы.

Videos All