Высокая производительность *

Недавно был установлен новый мировой рекорд разгона Ivy Bridge Core i7 377oK с использованием жидкого гелия. Известный в определенных кругах оверклокер Ник Ши смог разогнать процессор до частоты в 7.136 ГГц на материнской плате ASRock Z77 OC Formula.

Большинство современных жестких дисков внутри корпуса содержат воздух, который ограничивает возможности работы системы. Воздух создает определенное сопротивление движущимся элементам, в результате чего скорость чтения/записи ограничены. Компания Western Digital собирается заменить воздух внутри жесткого диска на гелий, что, по мнению разработчиков, увеличит цену производительность жесткого диска.

Одноплатный дешёвый мини-компьютер Raspberry Pi уже использовали повсеместно — теперь у исследователей из университета Саутгемптона под предводительством профессора Саймона Кокса (Simon Cox) руки дошли до того, чтобы из Raspberry соорудить суперкомпьютер при помощи известного детского конструктора Lego.

Профессор Кокс заказал для проведения научного эксперимента 64 мини-компьютера и, по всей видимости, не один комплект Lego. Каждый Raspberry был снабжён SD-картой объёмом в 16 Гб и был установлен в «стойку», для изготовления которой и был применён конструктор.

Каждое «ядро суперкомпьютера» выглядело следующим образом:

Предисловие

Наш основной проект — оптимизация показов рекламы в социальных сетях и мобильных приложениях. Каждый показ баннера — результат взаимодействия достаточно большого числа сервисов, расположенных на разных серверах, иногда в разных датацентрах. Естественно что существует задача мониторинга связи между серверами и сервисами. О том, в каком виде стоит эта задача, какие решения подходят, какие не подходят — речь дальше.

Двое участников форума сетевых администраторов Networking-forum.com нашли на складе своей компании неизвестные устройства под названием Pluto с 20 портами 10GbE и 4 портами 1 GbE. Они заинтересовались, потому что никогда не видели подобных девайсов. На передней панели был разъём неизвестного типа: как SFP, но не такой глубокий, и надписи по-фински на задней панели. Поиск в интернете почти ничего не дал. Удалось лишь разузнать, что MAC-адреса на корпусе принадлежат компании Google как производителю оборудования. В феврале этого года фотографии странного коммутатора впервые были опубликованы на форуме — и расследование началось.

Несмотря на то, что многие крупные ИТ-корпорации собираются сокращать в ближайшем будущем тысячи своих сотрудников, некоторые компании стараются все же расширяться, а не сокращаться. Так, IBM открывает новый дата-центр в России. Правда, точная дата открытия будет известна только в четверг. Этот дата-центр призван улучшить работу компании с клиентами из России и СНГ.

Иногда разработчики различных веб-проектов сталкиваются с необходимостью обработки больших объемов данных или использованием ресурсозатратного алгоритма. Старые инструменты уже не дают необходимой производительности, приходится арендовать/покупать дополнительные вычислительные мощности, что подталкивает к мысли переписать медленные участки кода на C++ или других быстрых языках.

В этой статье я расскажу о том, как можно попробовать ускорить работу Node.JS (который сам по себе считается довольно быстрым). Речь пойдет о нативных расширениях, написанных с помощью C++.

Электронный словарь сегодня стал одним из основных инструментов переводчика, наряду с браузером, оцифрованными справочниками и базами соответствий (последнее важно в основном лишь для переводчиков нехудожественных текстов).

Среди электронных словарей ABBYY Lingvo отличается одной ключевой особенностью: полнотекстовым поиском с индексацией. Что-то похожее можно реализовать при помощи индексов в Adobe Acrobat, но удобство интерфейсов именно в словарной области не подлежит сравнению.

ABBYY Lingvo давно уже превратился из обычного словаря в универсальный агрегатор источников. Вдобавок к титанической работе фирмы-создателя, энтузиастами оцифрованы в формат Lingvo сотни пособий, в том числе и основные двуязычные словари, и многотомные толковые словари серий Cambridge, Collins, Longman, Merriam-Webster, Oxford, и энциклопедические словари вроде Британики. Созданы локальные копии сетевых гигантов (Википедий, Викисловарей, Urban Dictionary и так далее). И при обычном использовании это предоставляло бы исключительные возможности. Но при полнотекстовом поиске всё это богатство превращается ещё и в языковые корпусы и базы соответствий. Значение такого поиска при переводах сложных терминов, устойчивых словосочетаний, фразеологизмов трудно переоценить.

С каждым выпуском ABBYY расширяет допустимые границы компилируемых словарей и поисковых индексов. Уже сейчас можно скомпилировать словарь размером почти в 2 гигабайта исходного текста. Однако при подключении большого количества словарей индекс разрастается. И сами словари на диске, и поисковый пользовательский индекс также могут достигать гигабайтных размеров. При этом полнотекстовый поиск замедляется, на него начинает влиять скорость работы винчестеров. Эпоха развития SSD может помочь в решении этой проблемы, но пока эти механизмы ещё не используются повсеместно из-за большей цены и меньшей износоустойчивости. К счастью, есть способ, по приросту скорости выигрывающий даже у SSD.

Достаточно давно умельцы в Сети демонстрируют свои проекты охлаждения компьютеров и игровых консолей при помощи погружения системы в минеральное масло. Пример такого проекта можно видеть здесь, вроде как публиковалось нечто подобное и на Хабре, найти не смог. Теперь таким способом охлаждения заинтересовалась и корпорация Intel. Понятно, не для игровых консолей, а для серверов.

Если у человека, далекого от компьютерной индустрии, спросить, что находится внутри процессора, ответ, скорее всего, ограничится словами «мозг компьютера». Те, кому эта тема ближе, назовут примерно десяток различных блоков (например, кэш, ядра и контроллер памяти). Но вот как эти блоки соединены друг с другом, ответить, скорее всего, затруднятся или ответят неверно. А ведь кому-то наверняка хочется это знать! Давайте удовлетворим здоровое любопытство уважаемых хаброжителей.

В серии статей, первая из которых сейчас перед вами, мы попробуем как можно более простыми словами рассказать о самых последних достижениях в процессоростроении, а именно – о коммуникационных фабриках, новом подходе к взаимодействию компонент процессора.

По сути, IBM уже несколько десятков лет производит мейнфреймы для облачных сервисов, хотя раньше «облако» имело другие названия. В связи с нынешней модой впервые компании IBM вставила слова Elastic Cloud прямо в название мейнфрейма.

Новый мейнфрейм IBM zEnterprise EC12 обладает модульной конструкцией и впечатляющими техническими характеристиками:

• Самый быстрый в мире процессор, шесть ядер с тактовой частотой 5,5 ГГц. Активные ядра могут быть сконфигурированы как центральные процессоры (CP), процессоры для виртуальных Linux-машин — Integrated Facility for Linux (IFL), процессоры для приложений (zAAP), интегрированные информационные процессоры (zIIP), Internal Coupling Facility (ICF).

Вице-президент по инфраструктуре крупнейшей социальной сети мира, которая переживает не лучшие дни на фондовой бирже, Джей Перикх (Jay Parikh) рассказал журналистам о некоторых статистических показателях работы своей компании, что позволяет оценить масштаб данных и число пользователей, активно работающих с Facebook.

Прежде всего оказалось, что в отличие от многих компаний, которые строят распределённую сеть дата-центров для облегчения доставки контента пользователям из различных регионов, Facebook хранит все данные в одном «кластере» объёмом более 100 Пб, что больше любого из кластеров дата-центров компаний, сравнимых по масштабам с Facebook. Это позволяет инженерам оперативно получать доступ к сети и контролировать её состояние.

Новую операционную систему от Firefox, Firefox OS, запустили на мини-компьютере Raspberry Pi. Цель проекта по запуску этой системы на мини-ПК — продемонстрировать нетребовательность к ресурсам со стороны операционной системы. В общем-то, сейчас многие новинки программного обеспечения настолько ресурсоемкие, что нужен достаточно мощный ПК для нормальной работы таких приложений. А новая OS вполне способна работать на ПК с минимальными характеристиками Raspberry Pi. Конфигурация этого ПК уже неоднократно описывалась на Хабре, так что повторяться не стоит.



Насколько можно видеть, работает система действительно неплохо. К слову, при демонстрации некоторых приложений и раскрытии файлов система почти не тормозила, все шло просто отлично. Конечно же, не идеально, но вполне сносно. Кто не видел, как выглядит Firefox OS, стоит посмотреть, правда, сама операционка «светится» недолго.

Давайте представим себе типичный, набирающий популярность стартап, использующий, например, PHP или Python. Сначала все находится на одном сервере — PHP (или Python), Apache, MySQL. Затем вы выносите MySQL на отдельный сервер, устанавливаете nginx для раздачи контента, возможно, добавляете memcached для кеширования и еще несколько серверов приложений…

Со временем число серверов будет расти, и рано или поздно вы зададитесь вопросами
«А что сейчас вообще происходит с системой? Как часто выполняется тот или иной скрипт и как долго? Какие операции занимают большую часть времени?» Системы мониторинга типа Zabbix дают лишь общую, поверхностную картину состояния приложения.

Чтобы получить ответы на эти вопросы, в Badoo был разработан сервиc мониторинга и статистики в реальном времени — Pinba. В данной статье мы расскажем о нашем опыте использования его для мониторинга и профайлинга нашей системы.

TL;DR:

• Node.js v0.8 позволяет обрабатывать 1 млн одновременных HTTP Comet соединений на Intel Core i7 Quad/16 Gb RAM практически без дополнительных настроек.
• На 1 соединение тратится чуть больше 10 Kb памяти (4.1 Kb Javascript Heap + 2.2 Kb Node.js Native + 3.8 Kb Kernel)..
• V8 Garbage Collector не рассчитан на управление > ~500Mb памяти. При превышении нужно переходить на альтернативный режим сборки мусора, иначе «отзывчивость» сервера сильно уменьшается.
• Подобный опыт можно (и нужно!) без особых затрат повторить самому (см. под катом).

Websocket′ы полезны постоянным дуплексным соединением backend-сервера с браузером клиента — это прочный мост между сервисом и посетителями, по которому удобно беспрепятственно транспортировать потоки данных в обе стороны.

В результате внедрения websocket′ов наш проект получил возможность в реальном времени менять по своему усмотрению отображение страниц в браузере на протяжении всей клиентской сессии и иметь обратную связь.

В ходе построения всей технологической цепочки мы легко перешагнули через проблемы с браузерами, лишь изредка не поддерживающими либо сами websocket′ы, либо их эмуляцию через flash.

Однако, когда дело дошло до полевых испытаний, обнаружилась масса проблем с ISP, всеми мыслимыми и немыслимыми способами пытающимися сэкономить трафик за счёт своих клиентов. Об этих и других «граблях» полноценного боевого внедрения websocket′ов читайте под катом.

Физик Гарвардского университета Александр Висснер-Гросс (Alexander Wissner-Gross) в интервью Wired высказал мнение, что через 20-30 лет крупнейшие финансовые компании мира начнут использовать ускорители заряженных частиц и нейтринные детекторы, чтобы передавать данные напрямую через Землю. Хотя скорость нейтрино не больше, чем скорость света, но за счёт сокращения маршрута удастся уменьшить latency на несколько десятков миллисекунд.

Опыты по передаче данных с помощью нейтрино уже были. Как раз весной этого года учёные передали информацию с ускорителя в Фермилаб на нейтринный детектор, расположенный в километре от него. Правда, скорость передачи данных во время эксперимента составила всего 0,1 бита в секунду. Но учёные уверены, что с помощью правильной модуляции могут повысить пропускную способность на один-два порядка.

Столкнувшись с существенными потерями производительности на использовании django orm, я стал искать выход из положения, рассматривая разные способы использования orm. Что у меня получилось — смотрите подкатом.

Если вы когда-нибудь писали приложение на Objective-C, вы должны быть знакомы с классом NSNumber — оберткой, превращающей число в объект. Классический пример использования — это создание числового массива, заполненного объектами вида [NSNumber numberWithInt:someIntValue];.

Казалось бы, зачем создавать целый объект, выделять под него память, потом ее чистить, если нам нужен обычный маленький int? В Apple тоже так подумали, и потому NSNumber — это зачастую совсем не объект, и за указателем на него скрывается… пустота.

Если вам интересно, как же так получается, и при чем тут меченые указатели — добро пожаловать под кат!

Весь поисковый индекс Google размещается в RAM памяти уже как минимум 5 лет. Почему бы не попробовать сделать то же самое и с поисковым индексом для Lucene?

В последнее время, оперативная память стала весьма недорога, поэтому для высоконагруженных ресурсов, вполне резонно ожидать серьезного улучшения производительности за счет размещения поискового индекса целиком в оперативной памяти.

Очевидный вопрос – не попробовать ли нам загрузить весь индекс, в предоставляемый Lucene класс RAMDirectory?