Как стать автором
Обновить
32.2

Серверная оптимизация *

Разгружаем сервер

Сначала показывать
Порог рейтинга
Уровень сложности

Сервис оповещения миллиона пользователей с помощью RabbitMQ

Время на прочтение 20 мин
Количество просмотров 56K

Почти в самом начале создания платформы (некоего фундамента, фреймворка на котором базируются все прикладные решения) нашего облачного веб-приложения СБИС мы поняли, что без инструмента, позволяющего сообщить пользователю о каком-либо событии с сервера, жить будет довольно-таки трудно. Все мы хотим мгновенно видеть новое сообщение от коллеги (которому лень пройти 10 метров), поднимающую корпоративный дух новость от руководства, очень важную задачу от отдела тестирования или получение поощрения (особенно денежного). Но путь становления был тернист, поэтому расскажем немного про трудности, которые мы встретили при взрослении от 5.0e3 до 1.0e6 одновременных подключений от пользователей.


Читать дальше →
Всего голосов 35: ↑32 и ↓3 +29
Комментарии 24

Архитектура хранения и отдачи фотографий в Badoo

Время на прочтение 20 мин
Количество просмотров 25K


Артем Денисов ( bo0rsh201, Badoo)


Badoo — это крупнейший в мире сайт знакомств. На данный момент у нас зарегистрировано порядка 330 миллионов пользователей по всему миру. Но, что гораздо более важно в контексте нашего сегодняшнего разговора, — это то, что мы храним около 3 петабайт пользовательских фотографий. Каждый день наши пользователи заливают порядка 3,5 миллионов новых фотографий, и нагрузка на чтение составляет порядка 80 тысяч запросов в секунду. Это достаточно много для нашего бэкенда, и с этим иногда бывают трудности.

image

Я расскажу про дизайн этой системы, которая хранит и отдает фотки в целом, и приведу на нее взгляд с точки зрения разработчика. О том, как она развивалась, будет краткая ретроспектива, где я основные вехи обозначу, но уже более подробно буду говорить только о тех решениях, которые мы сейчас используем.
Всего голосов 31: ↑29 и ↓2 +27
Комментарии 38

Тюнинг сетевого стека Linux для ленивых (v2.5.0)

Время на прочтение 2 мин
Количество просмотров 18K

Представлен выпуск проекта netutils-linux 2.5.0, набора утилит для мониторинга и тюнинга производительности сетевого стека Linux. Всё написано на Python (поддерживаются python 2.6+ и 3.4+) и доступно под MIT-лицензией.


Цель проекта — упростить и унифицировать процесс тюнинга сетевого стека и сетевых карт, снизив необходимость разбираться в устройстве сетевого стека для сисадминов и освободить их головы от рутинных вычислений и написания с нуля кучи одинаковых bash-скриптов.


Рекомендации для использования — наличие канала с 200+ Мбит/с, обрабатываемого Linux-based машиной, и требований к минимизации задержек и потерь.


С прошлого (и первого) публичного релиза было исправлено несколько неприятных ошибок, связанных с совместимостью с архитектурами, дистрибутивами Linux, версиями Python и зависимостей проекта, приводивших к невозможностям запуска некоторых утилит.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 5

Splunk 7.0. Что нового?

Время на прочтение 3 мин
Количество просмотров 5.8K


Месяц назад компания Splunk на своей 8-ой ежегодной конференции Splunk Conf 2017 презентовала выпуск нового мажорного релиза Splunk 7.0. В этой статье мы расскажем об основных нововведениях и улучшениях платформы, а также покажем пару примеров.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 4

Истории

Инструкция как скомпилировать динамический модуль ngx_pagespeed для Nginx на Debian

Время на прочтение 3 мин
Количество просмотров 9K
Цель: Предоставить инструкцию по сборке динамического модуля, дать понимание принципа сборки динамического модуля для Nginx поставленного из репозитория Debian.

Целевая аудитория: Администраторы серверов, продвинутые администраторы сайтов, сео-оптимизаторы и просто те кто хочет добиться хорошей оценки от сервиса Google PageSpeed.

Статей на эту тему не мало в поиске светится, но на мой взгляд ни одна не раскрыта как надо. Да и нет толковых пояснений. Для не опытного юзера это может оказаться сложным, да и большая часть статей поясняет как собирать Nginx вместе с модулем, и только единицы показывают что можно собрать динамический.

План действий такой:

1. Арендуем vps на час.
2. Собираем на арендованной vps динамический модуль на той же самой версии Nginx что была использована на боевом (это ВАЖНО!!!. Поддержка динамических модулей у Nginx появилась с версии 1.9.11).
3. Перекидываем модуль на новый сервер.
4. Конфигурируем Nginx.
5. Применяем настройки.
6. Замораживаем версию Nginx (Если это не сделать, то при ближайшем обновлении Nginx, произойдёт падение сервера. Причина в том что скомпилированный модуль будет работать только с конкретной версией Nginx. Если захотите обновиться, скомпилируете модуль для новой версии и обновитесь).

Или следим за тем что обновляем и своевременно добавляем новый собранный модуль.

Преимущество в том что боевой сервер не подвергается изменению и если Вам к примеру не понравится ngx_pagespeed, то вы просто уберёте строчки конфигурирующие его и сам модуль. Ну и если Вы используете несколько серверов с Nginx Вы можете один раз скомпилировать модуль для них всех.
Читать дальше →
Всего голосов 19: ↑13 и ↓6 +7
Комментарии 29

Оптимизация веб-серверов для повышения пропускной способности и уменьшения задержки

Время на прочтение 31 мин
Количество просмотров 44K


Привет! Меня зовут Макс Матюхин, я работаю в SRV-команде Badoo. Мы в Badoo не только активно пишем посты в свой блог, но и внимательно читаем блоги наших коллег из других компаний. Недавно ребята из Dropbox опубликовали шикарный пост о различных способах оптимизации серверных приложений: начиная с железа и заканчивая уровнем приложения. Его автор – Алексей Иванов – дал огромное количество советов и ссылок на дополнительные источники информации. К сожалению, у Dropbox нет блога на Хабре, поэтому я решил перевести этот пост для наших читателей.

Читать дальше →
Всего голосов 78: ↑78 и ↓0 +78
Комментарии 7

Серверы HPE ProLiant Gen8 и Gen9 vs. Gen10

Время на прочтение 10 мин
Количество просмотров 27K
Семейство серверов HPE ProLiant сегодня насчитывает несколько десятков моделей нескольких генераций. Имеется достаточно много подробных описаний отдельных моделей. Однако часто возникает необходимость охватить одним взглядом общую картину и сравнить модели. В данной статье акцент сделан на сравнительную характеристику некоторых серверов наиболее распространенных Gen8 и Gen9 с появившейся в этом году Gen10.

.

Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Комментарии 12

VMware vSAN 6.6.1 ─ еще один шаг к совершенству

Время на прочтение 9 мин
Количество просмотров 6.6K
В версии vSAN 6.6.1, которая вышла в июле текущего года, добавлены некоторые новые опции к тем, которые появились несколько месяцев назад в релизе vSAN 6.6. В целом, гиперконвергентная инфраструктура (HCI) vSAN получила несколько важных дополнений и теперь характеризуется еще меньшими эксплуатационными затратами.


Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 3

ИБП на литий-ионных аккумуляторах: разбираемся в плюсах и минусах на примере продукции Schneider Electric

Время на прочтение 4 мин
Количество просмотров 29K
При всеобщем технологическом прогрессе остаются вещи, которые не меняются на протяжении десятилетий. Это, например, свинцово-кислотные батареи для источников бесперебойного питания (ИБП), которые используются в производстве этих устройств на протяжении десятков лет, а сама технология была изобретена еще в 1859 году. Но прогресс все же не стоит на месте, и более совершенные технологии берут свое. Так, компания Schneider Electric, выпускающая источники бесперебойного питания под брендом АРС, с 2015 года предлагает ряд моделей ИБП с литий-ионными аккумуляторами. Мы расскажем вам, чем такие ИБП отличаются от традиционных, и в чем их преимущество.
image
Читать дальше →
Всего голосов 12: ↑9 и ↓3 +6
Комментарии 15

Сбор данных о загрузочных событиях Windows Server 2016

Время на прочтение 6 мин
Количество просмотров 8.4K


В Windows Server 2016 есть не особенно известная функция «Сбор данных о настройках и загрузочных событиях». Она позволяет удаленно собирать информацию о событиях, произошедших в процессе загрузки системы. Такая возможность особенно полезна при поиске «плавающих» проблем во время загрузки ОС.


В статье я расскажу, как можно удобно собирать эти недостающие сведения.

Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Доклады с прошедшей JiraMania: про обновления, зависимости и дедлоки

Время на прочтение 1 мин
Количество просмотров 2.7K


В августе Яндекс.Деньги провели митап Jiramania. На нем разработчики и администраторы рассказали про отмычки и ноу-хау по работе с Jira.


Помимо неспешных бесед за кофе и круассанами, Гончик Цымжитов из ITIVITI поделился перцовыми пластырями от боли обновления Jira. После чего на сцену вышел Вадим Гаузяк из СберТеха с результатами своего исследования дедлока в agile-плагине Jira 7.


Но хватит интриг — под катом вы найдете оба доклада.

Всего голосов 6: ↑6 и ↓0 +6
Комментарии 1

Возможности виртуализации для экономии на IT

Время на прочтение 8 мин
Количество просмотров 9.4K


Однажды в студеную зимнюю пору… Решил я заняться покраской заборов. И перейти на темную сторону, чтобы под покровом вечной космической ночи фармить в Еве (EVE Online) и однажды захватить мир. Естественно, мои верные электронные слуги должны трудиться 24/7/365 (им сон не нужен) и мой комп, ревущий как турбина Боинга 747, для этого подходил мало. Окинув взглядом свое скромное жилище (все поработители мира начинали с малого), я обратил внимание на сервак, скромно стоящий в углу. Это было подлинное чудо в двухюнитовом корпусе китайского ноунейма. Все вентиляторы в нем были вырваны и заменены на радиаторы, а вместо сердца — каменный топор третий пень. Сервак был тих и абсолютно бесполезен для данной задачи.

Поболтавшись по форумам потомственных ботоводов в третьем поколении, я понял как вернуть утраченные счастье и веру в человечество. Надо закинуть ботов на виртуалки, благо на гипервизоре, размещенном на сервере, уже стоял ESXI 5.5. Есть один маленький нюанс. Виртуалке нужна поддержка 3D и достаточная производительность, мы ведь тут с вами в игрушки играем, а не в ворде по клавиатуре тыц-тыц. Серьезные люди, ага. А потому встает задача — прокинуть в виртуалку физическую видеокарту. А там и до всеобщего счастья рукой подать.
Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 6

Cisco Digital Network Architecture: основные возможности новой платформы

Время на прочтение 7 мин
Количество просмотров 8.5K
В конце июня компания Cisco представила обновление своей реализации SDN (Sofware Defined Network) для campus-сетей в рамках свой концепции Cisco Digital Network Architecture (DNA). DNA — программно-аппаратное решение для campus-сетей, основанное на последних поколениях сетевого оборудования, поддерживающего управление через REST API используя YANG модели. Обновления касаются системы управления сетью, мониторинга, аналитики, в том числе обрабатываемой с помощью технологии машинного обучения, и обратных связей между ними, благодаря чему возможна проактивная реакция на возможные неполадки в сети и сетевые угрозы.


Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 0

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн

Рынок источников бесперебойного питания вырос впервые за четыре года

Время на прочтение 4 мин
Количество просмотров 4.5K
Седьмого августа аналитическая компания IHS Markit поделилась результатом очередного исследования: после четырех лет спада рынок источников бесперебойного питания (ИБП) вернулся к росту в 2016 году и приблизился к оценке в $7,4 млрд. Хотя положительная динамика составила 1,6%, аналитики прогнозируют дальнейшее увеличение объема рынка в 2017 и 2018 годах. Это поднимает вопрос влияния облачных сервисов на рынок аппаратного обеспечения.

Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Система мониторинга PERFEXPERT — решение проблем производительности СУБД

Время на прочтение 65 мин
Количество просмотров 11K
Специализированный программный комплекс «PERFEXPERT» – самостоятельный программный продукт, позволяющий без вмешательства в работу баз данных и обслуживающих их программ в режиме реального времени собирать, протоколировать и визуально отображать сведения о нагрузке на систему баз данных MS SQL, оценивать эффективность их работы и выявлять причины низкой производительности.

В начале лета разработчик этого программного продукта компания SOFTPOINT и производитель серверного оборудования компания STSS запустили акцию: при покупке любого сервера или СХД клиент получает Сертификат на бесплатное тестирование ПО диагностики СУБД PERFEXPERT сроком на 3 месяца. Акция продлится до конца лета.

Учитывая положительный результат акции, мы решили расширить круг её охвата. С сегодняшнего дня, в течение 3 месяцев, любой читатель этой статьи получает 2 недели тестирования PERFEXPERT в своей инфраструктуре СУБД.
Подробности получения сертификата после описания функционала и настройки
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 5

Левенштейн и подсознательная любовь к DevOps

Время на прочтение 2 мин
Количество просмотров 2.6K
Нас тут частенько обвиняют в том, что мы пишем рекламные статьи, цель которых “опять пропиарить свои курсы”. Поэтому сегодня мы не будем говорить о том, что скоро стартанет курс “DevOps практики и инструменты” — нет.

Сегодня мы хотим поделиться с вами методом розыгрыша, который придумали наши преподаватели — инженеры компании Экспресс 42. Статьи про методы розыгрыша, как показывает статистика, тоже не все любят читать, но ирония судьбы (на последнем розыгрыше мест на курсе “WEB разработчик” оба победителя — читатели Хабра) просто требует, чтобы мы продолжали писать :)

Прежде чем приступить к описанию механизмов розыгрыша, небольшая предыстория: перед каждым курсом мы проводим Дни открытых дверей, где разыгрываем среди тех, кто успешно сдал вступительное тестирование, бесплатные места на курсе. Поэтому перед нашими преподавателями стоит необычная задача: придумать не только кристально честный розыгрыш, но еще и максимально интересный розыгрыш: ведь День открытых дверей — это весело!



Читать дальше →
Всего голосов 6: ↑4 и ↓2 +2
Комментарии 1

Oracle Storage Cloud Services ─ все, в чем нуждается корпоративное хранилище данных

Время на прочтение 8 мин
Количество просмотров 4.4K
Корпоративные хранилища данных на основе публичного облака и относящиеся к ним сервисы уже достаточно проверены клиентами. Они отвечают их потребностям в хранении данных, предоставлении доступа и защите. В исполнении Oracle безопасное, эластичное и простое использование этих данных доступно в любой момент и в любой окружающей IT среде, связанной с интернетом.


Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 0

Как ускорить сайт или факторы, влияющие на загрузку сайта

Время на прочтение 8 мин
Количество просмотров 25K
Цель: Дать базовые понятия о факторах, влияющих на скорость загрузки сайта. Разобрать каждый этап загрузки. Дать понятие о способах ускорения за счёт оптимизации каждого фактора загрузки, на который можно повлиять.

Сразу хочу пояснить, что не буду давать тут каких-либо конфигов и команд, статья предназначена для представления картины загрузки сайта в целом, а далее уже, обнаружив проблемное место, человек сможет хотя бы погуглить в нужном направлении.

Целевая аудитория: владельцы сайтов, web-студии, специалисты и любители. Постараюсь написать статью таким образом, чтобы она была доступна в понимании всем.

Причина написания статьи кроется в том, что я заметил, что многие даже не понимают истинных причин тормозов их сайтов и решил написать эту статью, чтобы человек сам смог прочитать и понять, чего же ему не хватает. На загрузку сайта влияет очень много факторов, на большую часть из них мы можем повлиять; остальные нам просто нужно учитывать.
Читать дальше →
Всего голосов 24: ↑16 и ↓8 +8
Комментарии 19

СХД Infortrend — альтернатива А-брендам. Обзор и тестирование

Время на прочтение 6 мин
Количество просмотров 18K
Системы хранения данных все чаще используются в IT-инфраструктуре сегмента малого и среднего бизнеса. Рабочие места мигрируют в виртуальную среду, а для хранения данных уже не достаточно обычной «файловой помойки» в виде старого железа набитого дисками. Поэтому для многих небольших компаний рано или поздно встаёт вопрос выбора Enterprise СХД начального уровня. Задачи перед системой хранения становятся типовые: обеспечить необходимую производительность, отказоустойчивость и совместимость с существующей IT-инфраструктурой. Но, к сожалению, решающим фактором выбора является обоснованность стоимости решения.

У производителей первого эшелона есть подходящие продукты, отвечающие всем требованиям к функционалу и уровню сервиса. Но вот с совместимостью и стоимостью владения подобных решений есть определённые трудности. Поэтому данная статья посвящена альтернативе А-брендам — системе хранения данных Infortrend.

Infortrend — это представитель Тайваньских производителей с узкой специализацией на системы хранения данных. За более чем 20-летний период работы по проектированию и производству собственных СХД, Infortrend создал продукт, успешно конкурирующий с представителями крупных мировых брендов.
Рассмотрим продуктовую линейку Infortrend, функционал и результаты тестирования
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 10

Как мы добавили RAM в серверы HPE

Время на прочтение 5 мин
Количество просмотров 13K

Качество и надежность DRAM сейчас важнее, чем когда-либо, в основном из-за растущего использования виртуализации серверов. Конечно, стоит отметить что модули RAM, по мнению многих IT-специалистов, являются одними из самых надёжных элементов сервера и выходят из строя последними. Виртуализация имеет много преимуществ, но она значительно увеличивает количество необходимой памяти в сервере для обеспечения оптимальной производительности максимального числа виртуальных машин. По данным HP за 5 лет с 2007 до 2011 средняя память, установленная на всех серверах HP ProLiant, выросла более чем на 500% — от 4 ГБ до более чем 30 ГБ на сервер.

В настоящее время как облачный провайдер мы используем blade-серверы HP ProLiant BL460c Gen8 на шасси HPE BLADESYSTEM C7000 ENCLOSURE. Полностью QuickSpecs тут, обозначим лишь спецификацию RAM.
Читать дальше →
Всего голосов 8: ↑6 и ↓2 +4
Комментарии 11

Вклад авторов

Работа