Серверная оптимизация

zhoglo 28 мая 2020 в 11:08

Как мы пережили резкий рост нагрузки x10 на удаленке и какие выводы сделали

• Блог компании СберМаркет,
• Высокая производительность,
• IT-инфраструктура,
• Серверная оптимизация,
• Разработка под e-commerce

Привет, Хабр! Последние пару месяцев мы прожили в очень интересной ситуации, и я хотел бы поделиться нашей историей скейлинга инфраструктуры. За это время СберМаркет вырос в заказах в 4 раза и запустил сервис в 17 новых городах. Взрывной рост спроса на доставку продуктов потребовал от нас масштабирования инфраструктуры. О самых интересных и полезных выводах читайте под катом.

Читать дальше →

itsoft 28 мая 2020 в 10:48

Сервис проверки HTTP-заголовков сервера

• Хостинг,
• Разработка веб-сайтов,
• Серверная оптимизация,
• Серверное администрирование

behek 19 мая 2020 в 14:31

На чём стоит экономить в облаке

• Блог компании Техносерв,
• Виртуализация,
• Серверная оптимизация,
• Хранение данных

Облака удобны своей гибкостью. Нужен мощный вычислительный кластер на восемь часов: арендовал в три клика, выполнил задачу и потушил машины. К сожалению, многие просто неверно понимают идеологию облачных ресурсов и часто разочаровываются, когда видят счета в конце месяца.

Чтобы оптимизировать затраты, нужно начать со сбора хорошей статистики. Я попробую вкратце описать подходящие для этого инструменты.

Ключевой принцип экономии — выключать всё ненужное и минимизировать резерв, насколько это возможно. Отвыкайте мыслить в парадигме локального сервера в инфраструктуре компании. Если сможете автоматизировать расширение и выключение облачных ресурсов в зависимости от нагрузки — ещё лучше.

Рассмотрим ситуации, когда выгоднее фиксированные тарифы, а когда — pay-as-you-go-концепция (PAYG). Плюс рассмотрим, что можно выключить лишнего, и где чаще всего впустую расходуются ресурсы. Пройдёмся по основным видам ресурсов: CPU, RAM, виртуальным дискам, сети и бэкапам.

Читать дальше →

pladar 2 мая 2020 в 23:46

Неудачная статья про ускорение рефлексии

• Высокая производительность,
• .NET,
• Серверная оптимизация,
• C#,
• Управление разработкой

ruvds 30 апреля 2020 в 16:13

Борьба за миллисекунды. Как выбрать сервер с наименьшим пингом

• Блог компании RUVDS.com,
• Серверная оптимизация,
• Серверное администрирование,
• Облачные сервисы

Для многих задач задержки между клиентом и сервером критически важны, например в онлайн играх, видео/голосовых конференциях, IP телефонии, VPN и т.д. Если сервер будет слишком удален от клиента на уровне IP-сети, то задержки (в народе «пинг», «лаг») будут мешать работе.

Географическая близость сервера не всегда равна близости на уровне IP маршрутизации. Так, например, сервер в другой стране может быть «ближе» к вам, чем сервер в вашем городе. Все из-за особенностей маршрутизации и построения сетей.



Как выбрать сервер максимально близкий ко всем потенциальным клиентам? Что такое связность IP-сетей? Как направить клиента на ближайший сервер? Разберемся в статье.

Читать дальше →

Хеш+кэш: оптимизация «потоковой» обработки

• Блог компании Тензор,
• Высокая производительность,
• JavaScript,
• Серверная оптимизация,
• Node.JS

Что делать, если в базу хочется записать массу «фактов» много большего объема, чем она способна выдержать? Сначала, конечно, приводим данные к более экономичной нормальной форме и получаем «словари», в которые будем писать однократно. Но как это делать наиболее эффективно?

Именно с таким вопросом мы столкнулись при разработке мониторинга и анализа логов серверов PostgreSQL, когда остальные способы оптимизации записи в БД оказались исчерпаны.

Сразу оговоримся, что наши коллекторы работают под управлением Node.js, поэтому с процессорными регистрами и кэшами мы никак не взаимодействуем. А вариант использования «стораджей» или внешних кэширующих сервисов/БД дает слишком большие задержки при входящих потоках в несколько сотен Mbps.

Поэтому мы стараемся кэшировать все в RAM, конкретно — в памяти JavaScript-процесса. Про то, как эффективнее это организовать, и пойдет речь дальше.

Читать дальше →

eaton_ru 29 апреля 2020 в 11:52

4 аргумента убедить директора приобрести ИБП в малом бизнесе

• Блог компании Eaton,
• Серверная оптимизация,
• Энергия и элементы питания

Страх и жадность — это про страсти на Уолл-стрит? Совсем нет, именно эти два чувства испытывает директор в компании малого бизнеса, когда админ приходит просить денег на ИБП (источник бесперебойного питания) для сервера, онлайн-кассы и рабочих мест. Скорее всего, админу откажут. Но есть 4 аргумента, благодаря которым столь необходимая покупка может получить одобрение.

«База лежит», в конторе шок и трепет

Компания «нажглась» на экономии и при отключении электроснабжения потеряны ценные данные? Админ — проси денег на ИБП для сервера, не отходя от кассы. Это твой звездный час.
Стандартная ситуация — при отключении электропитания падает сервер 1С, а после возобновления подачи электроэнергии пользователи замечают, что нормальная работа с 1С невозможна. К примеру, появляются сообщения «Ошибка при входе в 1С х.х: неверный формат хранилища данных, Невосстановимая ошибка при выполнении запроса POST» и т.д. и т.п.

Читать дальше →

Автоматизированное создание конфигурационного файла MySQL, оптимизированного под производительность

• Системное администрирование,
• MySQL,
• Серверная оптимизация,
• Серверное администрирование,
• Администрирование баз данных

• Из песочницы

Kilor 27 апреля 2020 в 10:10

PostgreSQL Antipatterns: навигация по реестру

• Блог компании Тензор,
• PostgreSQL,
• SQL,
• Серверная оптимизация,
• Администрирование баз данных

CREATE TABLE events(
  id
    serial
      PRIMARY KEY
, ts
    timestamp
, data
    json
);

CREATE INDEX ON events(ts DESC);

cur.execute("SELECT * FROM events;")
rows = cur.fetchall();
rows.sort(key=lambda row: row.ts, reverse=True);
limit = 26
print(rows[offset:offset+limit]);

ph_piter 24 апреля 2020 в 10:09

Истина прежде всего, или почему систему нужно проектировать, исходя из устройства базы данных

• Блог компании Издательский дом «Питер»,
• MySQL,
• PostgreSQL,
• Java,
• Серверная оптимизация

• Перевод

ruvds 16 апреля 2020 в 15:35

6 ключевых вопросов при переводе бизнеса в облако

• Блог компании RUVDS.com,
• Серверная оптимизация,
• Серверное администрирование,
• Облачные сервисы

Из-за вынужденных каникул даже крупным компаниям с развитой IT-инфраструктурой сложно организовать удаленную работу персонала, а у малого бизнеса попросту не хватает ресурсов для развертывания необходимых сервисов. Другая проблема связана с информационной безопасностью: открывать доступ во внутреннюю сеть с домашних компьютеров сотрудников рискованно без применения специализированных продуктов корпоративного класса. Аренда виртуальных серверов не требует капитальных затрат и позволяет вынести временные решения за пределы защищенного периметра. В небольшой статье мы рассмотрим несколько типовых сценариев использования VDS в условиях самоизоляции. Сразу стоит отметить, что статья ознакомительная и ориентирована больше на тех, кто только вникает в тему.

Читать дальше →

ITSumma 16 апреля 2020 в 13:14

Сравнение производительности HTTP/3 и HTTP/2

• Блог компании ITSumma,
• Серверная оптимизация,
• Сетевые технологии,
• Серверное администрирование,
• Браузеры

• Перевод

Мы в Cloudflare объявили о поддержке HTTP/3 в сентябре прошлого года, когда отмечали девятый день рождения. Наша задача всегда состояла в улучшении интернета. Сотрудничество в области стандартов — важная часть процесса, и нам повезло участвовать в разработке HTTP/3.

Хотя HTTP/3 ещё на стадии черновика, мы заметили большой интерес к новому протоколу со стороны наших пользователей (инфраструктура Cloudflare обслуживает более 10% сайтов интернета — прим. пер.). К настоящему моменту поддержку HTTP/3 активировали более 113 000 зон, и если у вас экспериментальный браузер, то теперь вы можете получить доступ к этим зонам по новому протоколу! Здорово, что его включили так много людей: работа по HTTP/3 большого количества реальных веб-сайтов означает, что можно тестировать больше разнообразных свойств со стороны браузеров.

Читать дальше →

zhovner 15 апреля 2020 в 14:47

Более безопасное подключение к SSH с помощью DNSSEC

• Блог компании RUVDS.com,
• Информационная безопасность,
• Серверная оптимизация,
• Серверное администрирование

Все, кто использует SSH знают, что при первом подключении к серверу, появляется сообщение с подтверждением отпечатка ключа. Дальше ключ сохраняется на стороне клиента, и больше это сообщение не показывается до момента пока сохраненный ключ не изменится. Но в чем практический смысл этой процедуры?

В реальной жизни почти никто не проверяет отпечаток SSH-ключа сервера не особенно задумываясь о возможности MiTM-атаках. С появлением DNS-записи SSHFP отпечаток ключа сервера можно хранить в DNS и проверять его подлинность с помощью DNSSEC. При этом не нужно даже подтверждать ключ при первом подключении. В статье разберем, как настроить запись SSHFP для своего SSH-сервера.

Читать дальше →

tuxxon 14 апреля 2020 в 10:37

Сотни тысяч маршрутов в секунду на ядро. Опыт Яндекс.Маршрутизации

• Блог компании Яндекс,
• Алгоритмы,
• Серверная оптимизация,
• Геоинформационные сервисы,
• Транспорт

Пару недель назад Даня Тарарухин рассказал на Хабре, как появился наш сервис, Яндекс.Маршрутизация, и как он помогает компаниям с логистикой. Создавая платформу, мы решили несколько интересных проблем, одной из которых и посвящён сегодняшний пост. Я хочу поговорить о самом планировании маршрутов и необходимых для этого ресурсах.

Читать дальше →

ruvds 9 апреля 2020 в 19:09

Втискиваем Windows Server на маломощную VPS с помощью Windows Server Core

• Блог компании RUVDS.com,
• Системное администрирование,
• Серверная оптимизация,
• Серверное администрирование,
• Облачные сервисы

По причине прожорливости Windows-систем в среде VPS доминируют легкие Linux-дистрибутивы: Mint, Colibri OS, Debian или Ubuntu, лишенные ненужного, в рамках наших задач, тяжеловесного окружения рабочего стола. Как говорится, только консоль, только хардкор! И на самом деле, это совершенно не преувеличение: тот же Debian стартует на 256 MB памяти и одном ядре с тактом 1 Ghz, то есть почти на любом «пне». Для комфортной работы понадобятся от 512 MB и процессор чуть пошустрее. Но что если мы скажем вам, что примерно то же можно провернуть на VPS под Windows? Что не нужно накатывать тяжеловесный Windows Server, который требует от трех-четырех гектаров оперативной памяти и минимум пару ядер с тактом в 1,4 GHz? Просто воспользуйтесь Windows Server Core — избавьтесь от GUI и части служб. О том как это сделать и поговорим в статье.

Читать дальше →

eaton_ru 1 апреля 2020 в 16:31

Бесперебойное электроснабжение торговых центров или Shopping Must Go On

• Блог компании Eaton,
• Серверная оптимизация,
• Энергия и элементы питания

Вечером 9 декабря 2019 года предпраздничный шопинг посетителей торгового центра Eaton Centre в Торонто был прерван неожиданным блэкаутом. Торговые галереи погрузились в темноту, и единственным источником света осталась рождественская елка — ее фото многие поспешили запостить в соцсети как совершенно мистическое явление. Впрочем, среди твитов были и такие, где мистику объяснили легко и просто: елка была подключена к источнику бесперебойного питания. Сегодня мы поговорим о том, на каких ИБП арендаторы могут организовать бесперебойное электроснабжение для своих площадей в торговых центрах. Ведь shopping must go on, не правда ли?

Читать дальше →

perlestius 31 марта 2020 в 01:36

Делегируем управление RDP-сеансами

• Системное администрирование,
• PowerShell,
• IT-инфраструктура,
• Серверная оптимизация,
• Серверное администрирование

• Tutorial

В организации, где я работаю, удаленка запрещена в принципе. Была. До прошлой недели. Теперь пришлось в срочном порядке внедрять решение. От бизнеса — адаптация процессов к новому формату работы, от нас — PKI с пин-кодами и токенами, VPN, детальное логирование и много чего ещё.
Помимо всего прочего, я занимался настройкой инфраструктуры удаленных рабочих столов aka службы терминалов. У нас несколько RDS-развертываний в разных ЦОДах. Одной из задач было дать возможность коллегам из смежных подразделений ИТ подключаться к пользовательским сеансам в интерактивном режиме. Как известно, для этого есть штатный механизм RDS Shadow и самый простой способ его делегировать — дать права локального администратора на RDS-серверах.
Я уважаю и ценю своих коллег, но очень жадный до раздачи админских прав. :) Тех, кто со мной солидарен, прошу под кат.

Читать дальше →

Вывод результатов поиска и проблемы с производительностью

• Блог компании EPAM,
• Разработка веб-сайтов,
• Программирование,
• SQL,
• Серверная оптимизация

Один из типовых сценариев во всех привычных нам приложениях — поиск данных по определенным критериям и вывод их в удобном для чтения виде. Тут же могут быть дополнительные возможности по сортировке, группировке, постраничному выводу. Задача, по идее, тривиальная, но при ее решении многие разработчики делают ряд ошибок, из-за которых потом страдает производительность. Попробуем рассмотреть различные варианты решений этой задачи и сформулировать рекомендации по выбору наиболее эффективной реализации.

Читать дальше →

SLY_G 20 марта 2020 в 10:00

Для edge-серверов десятого поколения Cloudflare выбирает процессоры от AMD

• Серверная оптимизация,
• Облачные сервисы

• Перевод

Ежедневно через сеть Cloudflare Network проходит более миллиарда уникальных IP-адресов; она обслуживает более 11 млн HTTP-запросов в секунду; она находится на расстоянии не более 100 мс от 95% интернет-населения. Наша сеть раскинулась на 200 городов в более чем 90 странах, а наша команда инженеров построила чрезвычайно быструю и надёжную инфраструктуру.

Мы очень гордимся нашей работой и настроены помочь сделать интернет лучше и безопаснее. Инженеры Cloudflare, чья работа связана с железом, тщательно разбираются в серверах и их компонентах, чтобы хорошо понять и выбрать наилучшее оборудование для максимизации его эффективности.

Наш программный стек обрабатывает высоконагруженные вычисления и очень зависит от скорости CPU, из-за чего нашим инженерам приходится постоянно оптимизировать эффективность и надёжность Cloudflare на всех уровнях стека. На стороне сервера проще всего увеличить вычислительную мощность, добавив ядер CPU. Чем больше ядер можно уместить в сервере, тем больше он сможет обрабатывать данных. Для нас это важно, поскольку разнообразие наших продуктов и клиентов со временем растёт, и рост запросов требует от серверов увеличения производительности. Чтобы увеличить их производительность, нам требовалось увеличить плотность ядер – и именно эту задачу мы выполнили. Ниже приводим детализацию данных по процессорам для серверов, разворачиваемых нами с 2015 года, включая и количество ядер:

Читать дальше →

Когда Linux conntrack вам больше не товарищ

• Блог компании Nixys,
• Настройка Linux,
• Системное администрирование,
• Серверная оптимизация,
• Серверное администрирование

• Перевод

Отслеживание соединений (“conntrack”) является основной функцией сетевого стека ядра Linux. Она позволяет ядру отслеживать все логические сетевые соединения или потоки и тем самым идентифицировать все пакеты, которые составляют каждый поток, чтобы их можно было последовательно обрабатывать вместе.

Читать дальше →