Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.

Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.



Под катом — подробная расшифровка лекции и слайды.

Современные предприятия в своей работе используют все больше серверов. Из-за этого существенно увеличивается количество рутинных задач, необходимых для их выполнения инструментов, стандартов, которые необходимо соблюдать в работе системы. Это, в свою очередь, увеличивает расходы на обслуживание, а также потери из-за разнообразных сбоев. Как решение большинства проблем можна использовать средства автоматизации. Одно из них — Hewlett Packard Enterprise (HPE) Server Automation. Это программное обеспечение для предназначенное для централизации управления и постановки на поток множества функций дата-центров, а также автоматизации критически важных мест в управлении ИТ-инфраструктурой.

С ростом объёмов информации, обрабатываемых компаниями, растут и серверные парки. Всё это обилие крупной техники со временем устаревает, списывается и… зачастую выбрасывается или простаивает мёртвым грузом на складах. Однако серверы, как и любая электроника, содержат в своём составе большое количество вредных веществ, поэтому их необходимо грамотно перерабатывать. Казалось бы, это довольно скучное и затратное занятие, но если подойти к нему с умом, то можно добывать из старых серверов золото. В буквальном смысле. И не только из них.

В течении нескольких лет я администрирую пару серверов на платформе INTEL, на которых крутится ИИС, при их запуске и работе возникает такое ощущение, что где-то рядом готовится к взлёту небольшой самолёт. Как выяснилось, причина проста: неправильно сконфигурирован FRUSDR.

Для оптимальной производительности сервера необходимо обновить и заново сконфигурировать FRUSDR (Field Replaceable Unit/Sensor Data Record).

Поиск в сети инструкции по обновлению и настройки FRUSDR не дал должного результата, так что, изучив документацию от INTEL, решил свести всё в одну статью.

Итак, приступаем к обновлению BMC, BIOS, FRUSDR и ME

Решил написать эту статью после знакомства с публикацией «HP, Dell и IBM: компоненты, отвечающие за надёжность сервера», поскольку имею другое мнение насчёт некоторых моментов. Эта статья не претендует на инновационные подходы, а просто описывает полученный опыт и, надеюсь, предотвратит банальные ошибки.

Мы постоянно делимся опытом оптимизации служебных систем нашего IaaS-провайдера:

• Как работает API нашего IaaS-провайдера
• Как мы разработали свой DNS-менеджер

Сегодня наше внимание привлек кейс Ticketmaster. Попробуем кратко его проанализировать.

В блоге 45 Drives вышел достаточно интересный материал Роба МакКвина, который работает в R&D отделе компании. В нем идет речь об оптимизации полосы пропускания. Попробуем разобраться в этой истории и основных моментах, о которых рассказал Роб.

На днях мы решили провести небольшое экспресс-исследование на тему того, какие ОС являются наиболее популярными среди наших клиентов. Расскажем об этом и немного о западном опыте.

Совсем недавно появилась информация о том, что IBM планирует выпустить мейнфрейм-серверы под управлением Linux. Кратко об этом под катом.

Технологии хранения данных — отдельная тема. Не так давно мы косвенно затрагивали ее в нашем материале об управления дисковым пространством сервера.

Сегодня мы поговорим о том, как команда поискового сервиса Algolia пыталась решить внезапно возникшую проблему с SSD-дисками.

Как правило, в крупных и средних компаниях существуют высоконагруженные транзакционные информационные системы, которые являются важнейшей составляющей бизнеса, их называют OLTP-системами. С ростом бизнеса нагрузка увеличивается очень быстро, поэтому задача увеличения производительности имеющихся ресурсов под серверы баз данных, стоит очень остро. Зачастую для решения задачи увеличения производительности серверов баз данных приобретается более мощное оборудования (так называемое «вертикальное» масштабирование), но этот способ имеет очень существенный минус: компания рано или поздно купит сервер баз данных максимальной производительности по приемлемой цене, и что делать дальше? Дальше перспективы для бизнеса могут быть не такие радужные – во многих случаях речь идет об ухудшении репутации компании, невозможности обслужить клиентов в моменты повышенного спроса, значительной потере прибыли.

Всегда относился к Intel Hyper-Threading как к маркетинговому продукту. Но недавно я взглянул на эту технологию под другим углом.

Настал момент, когда лицензия vSphere Standart позволила создавать и запускать виртуальные машины с количеством виртуальных процессоров равных 8. О том, чем это грозит в случае установленного процессора с 4-мя физическими ядрами и поддержкой Hyper-Threading, читайте дальше.

Встала необходимость организовать мониторинг исправной работы контроллеров семейства LSI MegaRAID на серверах, работающих под управлением гипервизора VMware vSphere ESXi v5.5. И соответственно автоматически получать уведомления при наличии какого-либо сбоя, например отказе одного из HDD. В процессе проработки оказалось, что найденное решение не ограничивается только хранилищами данных гипервизора.

mod_performance – 0.4

Завершающий цикл статей, посвященных модулю apache — mod_performance.

Экскурс в историю

Это обычный модуль Apache 2.x для Linux:

1. модуль предназначен для сбора и накопления статистики по использованию ресурсов(CPU и memory, время выполнения скрипта) веб-сервером Apache 2.4/2.2/2.0;
2. модуль позволяет производить анализ собранных данных.

Обзор HP ProLiant DL360 Gen9

С появлением процессоров семейства Xeon E5-2600 v3 от Intel, многие поставщики стали выпускать вычислительные платформы, использующие преимущества повышенной производительности новой архитектуры Xeon. DL360 Gen9 является новой серийной вычислительной платформой с форм-фактором 1U в семействе HP ProLiant, и в дополнение к новым процессорам E5-2600 v3 и памяти DDR4 DL360 Gen9 отражает технологические достижения компании HP и общее видение компании по поводу конвергированных центров обработки данных.

В группе предприятий «Х» используют терминальные сервера.
Начался новый сезон и в одном из представительств загрузка cpu начала достигать 100 процентов, что есть плохо, особенно после того, как пользователи начали жаловаться на скорость работы.
Причина возникновения проблемы была не понятна, количество сотрудников не менялось, софт не менялся… Все представительства в одинаковых условиях.

Собрал тестовый стенд и начал искать решение…
Долго перебирал разные настройки сервера и клиентских мест, это отдельная тема.
В творческом поиске сравнил протоколы RDP и RemoteFX, результаты решил опубликовать.

Сервер PowerEdge VRTX — это платформа, с форм-фактором Tower, обеспечивающая хранение данных при помощи 25 накопителей малого форм-фактора (SFF) или 12 накопителей крупного форм-фактора (LFF), а также поддерживающей до четырех серверных узлов с двумя SFF-накопителями в каждом. Вне зависимости от типа узла, Dell PowerEdge M620 или M520s, сервер поддерживает до 64 процессорных ядер (128 логических ядер). M620 демонстрирует максимальную производительность с процессором Intel E5-2680 при 2, 7ГГц, в то время как максимальная производительность M520 с процессором Intel E5-2470 составляет 2,3ГГц. Серверный узел M620 оснащен 24 разъемами для модулей памяти DIMM с поддержкой до 32 ГБ оперативной памяти для каждого, что в общей сложности на четырех серверных узлах составляет 3072 ГБ оперативной памяти. Серверный узел M520 оснащен 12 разъемами для модулей памяти DIMM с поддержкой до 32 ГБ оперативной памяти для каждого разъема. Сервер VRTX с форм-фактором 5U имеет возможность монтажа в стойку, но изначально был разработан для организаций, требующих бесперебойной работы единой системы для простоты управления и уменьшения опорной поверхности аппаратных средств и затрат на информационные технологии. Сервер VRTX является идеальным решением для предприятий малого и среднего бизнеса, а также удаленных офисов и филиалов, избегающих выделять место или средства под обычный стоечный сервер и приветствующих объединение IT-оборудования в единый корпус.



Разъемы PCIe обеспечивают функциональность системы, уникальной чертой Dell PowerEdge VRTX является наличие восьми разъемов PCIe, которые могут присваиваться вычислительным узлам при помощи интерфейса управления для большей гибкости и функциональности. Сервер оснащен тремя разъемами максимальной высоты и максимальной длины с поддержкой платы двойной ширины (225Вт), а также 5 разъемами половинной высоты и половинной длины (75Вт). Данный уровень соединений гарантирует возможность использования существующей в организации IT-инфраструктуры и/или обновить для установки InfiniBand, Ethernet, PCIe SSD или подобных PCIe-устройств. Кроме того, сервер VRTX использует на 86% меньше кабелей для резервных источников питания и внешних подключений, чем четыре отдельных сервера, два внешних сетевых коммутатора и два устройства внешней памяти. Этот факт позволит сэкономить время системных администраторов на организацию и управление кабелями.

Компания AMI (American Megatrends Inc.) знакомая всем в далеком прошлом и может настоящем времени логотипом в левом верхнем углу монитора при включении компьютера или ноутбука.



Объявила о выпуске утилиты StorTrends IDATA (Intelligent Data Analysis Tracking Application) для интеллектуального анализа узких мест в ИТ инфраструктуре, это бесплатный софтверный инструмент разработанный для определения точной оценки производительности ИТ инфраструктуры, потенциала и требований к пропускной способности. Этот полезный инструмент поможет предупредить болевые точки инфраструктуры, прежде чем они станут головной болью, обеспечив детальные отчеты для принятия необходимых и обоснованных решений из расчета на будущее.

Есть у меня несколько VPS'ок с Gentoo, бегущих под VMWare, для которых я, пожадничав, выделил всего по 7G дискового пространства. Как-то раз, после выхода очередной версии gcc, на одной из них закончилось место. Покопавшись, я обнаружил, что главными потребителями были директории /usr/src и /usr/portage. Тут же родилась мысль переместить их на файловую систему с компрессией (ага, на NTFS) и выбор пал на Reiser4, так как эти данные идеально подходят для неё — очень много файлов и они все маленькие.

Про эту файловую систему в сети имеется множество противоречивой информации (2013), но, пожалуй, стоит почитать статью (2010) ведущего разработчика.
Цитата из статьи:

за последние четыре года я не помню, чтобы кто-то терял данные на reiser4 разделе при исправно работающем железе. Ко мне обращалось несколько человек с жалобой на работу fsck. В конечном итоге все они получали и свои данные и работающий fsck.

Не надо её бояться…

Продолжаю цикл коротких заметок по базовым, но весьма нужным хитростям для популярной АТС.

Asterisk имеет модульную структуру, и содержит в своём составе десятки модулей, отвечающих за те или иные функции, форматы, протоколы и прочее.
В каждом конкретном случае две трети этих модулей бывают не нужны, и для увеличения стабильности и быстродействия системы их следует отключить.