Серверная оптимизация *

Разгружаем сервер

Shoohurt 7 ноя 2009 в 20:03

Главный по Windows Server

1 мин

1.6K

Парни, через пару дней у меня будет редкая возможность встретиться лицом к лицу с Джастином Грэмом (Justin Graham), старшим техническим менеджером по продуктам Windows Server в Microsoft. Подозреваю, что этот товарищ может рассказать очень многое, но только если ему задать правильные вопросы. И вот беда: сам я в серверных технологиях с точки зрения опытного пользователя мало чего понимаю и посему правильных вопросов у меня нет.

Так что буду очень благодарен за любые более-менее интересные вопросы касательно серверных технологий Microsoft вообще и Windows Server в частности.

Ну а сразу после интервью обязательно опубликую ответы.

+19

deniaa 11 июн в 10:34

Function splitting и чистый код

Сложный

16 мин

3.1K

Блог компании Контур.NET * C# * Серверная оптимизация * Программирование *

Кейс

Сложная и тяжелая статья с непропорционально простым выводом. Вспомним фон Неймана, затронем процессорный кеш, поговорим про регистры и компиляторы. Тем, кому не хочется погружаться в детали, достаточно прочитать только Введение и Выводы.

+18

ph_piter 7 июл 2023 в 12:25

Балансировка нагрузки: простыми словами о всей мощи двух случайных вариантов

7 мин

Блог компании Издательский дом «Питер»Алгоритмы * Программирование * Распределённые системы * Серверная оптимизация *

Перевод

В мире динамического выделения ресурсов и балансировки нагрузки есть много интересных алгоритмов, но один из самых известных и занимательных – так называемый «метод двух случайных выборов». Он привносит очень простое изменение в процедуру случайного выделения ресурсов, а качество результатов от этого улучшается экспоненциально. Мне посчастливилось реализовать именно эту технику в гигантском масштабе, чтобы оптимизировать использование ресурсов в AWS Lambda, но мне всё равно долго не удавалось «прочувствовать» этот метод интуитивно. В этом посте хочу познакомить вас с той метафорической картиной этого алгоритма, которую я для себя составил, и которая очень удобна для понимания других продвинутых техник в этой области.

Читать дальше →

+18

Cloud4Y 3 ноя 2022 в 06:02

Облачная кухня: рецепт приготовления тестов производительности дисковой подсистемы сервера

34 мин

Блог компании Cloud4YСистемное администрирование * Виртуализация * Серверная оптимизация * Облачные сервисы *

Хабр, приветствую! Сегодня с вами Дмитрий Михайлов, ИТ-инженер Cloud4Y, и в этой статье я поделюсь с вами опытом проверки производительности виртуальных дисков.

+18

Tzimie 12 янв 2022 в 14:37

Спектральный анализ сервера

1 мин

4.4K

Статистика в ITМатематика * Серверная оптимизация * ГовнокодСистемное администрирование *

Что будет, если к Perfmon применить быстрое преобразование Фурье? Или функцию корреляции? Получится #черте_что!

+18

Leono 25 авг 2021 в 09:01

Как можно оптимизировать dot-product и не только. Доклад Яндекса

18 мин

4.1K

Блог компании ЯндексКачество кода * Серверная оптимизация * Высоконагруженные системы * C++ *

Разработчик инфраструктуры качества поиска Яндекса Ильнур Хузиев ilnurKh взял простую задачу — скалярное произведение двух векторов — и попробовал выжать все соки производительности кода. Из доклада вы узнаете, как использовать возможности процессора, настройки компилятора (и даже попробовать превзойти его), какой была бы правильная постановка задачи, как выбирать приоритеты и архитектуру. Да, вопрос выбора абстракций может встать даже на примере настолько простой задачи.

— Сегодня мы рассмотрим достаточно простую функцию — скалярное произведение двух векторов, и попробуем провести различные оптимизации. Надеюсь, что приёмы, которые мы рассмотрим, будут применены не только в этой задаче, но и в других.

Читать дальше →

+18

istishev 29 янв 2021 в 13:52

Самый большой процессор в мире — Cerebras CS-1. Разбор

6 мин

19K

Блог компании Droider.RuКомпьютерное железоПроцессорыСерверная оптимизация * Суперкомпьютеры

Наверняка вы подумали, что это какой-то очередной кликбейт. Что это за самый большой процессор в мире? Похоже сейчас нам будут рассказывать о процессоре, который на 5 процентов больше других, и то если рассматривать этот процессор только с определенной стороны. И да, просмотры и прочтения мы хотим собрать, но…

Сегодня мы расскажем вам о процессоре компании Церебро под названием Cerebras CS-1. И он действительно огромный!

Например, GPU, который считался самым большим раньше — это процессор Nvidia V100, а вот новый процессор Церебро. Он почти в 57 раз больше! Площадь самого чипа — 462 квадратных сантиметра — это почти столько же сколько площадь всей Nvidia 3090, вместе с системой охлаждения и разъемами.

Читать дальше →

+18

sergey_zorin 5 янв 2021 в 19:37

OCP Experience Lab — как мы строили мини-ЦОД в офисе

7 мин

11K

Блог компании GAGAR>INСистемное администрирование * Серверная оптимизация * Серверное администрирование * Компьютерное железо

Начиналось всё с создания небольшого стенда для тестирования серверов нашей собственной разработки. Но аппетит приходит во время еды, и в итоге мы создали единственную в России и вторую в Европе лабораторию OCP Experience Lab.

Читать далее ➾

+18

pladar 2 мая 2020 в 20:46

Неудачная статья про ускорение рефлексии

7 мин

8.2K

Управление разработкой * Серверная оптимизация * Высоконагруженные системы * C# * .NET *

Сразу объясню название статьи. Изначально планировалось дать хороший, надежный совет по ускорению использования рефлекшена на простом, но реалистичном примере, однако в ходе бенчмаркинга выяснилось, что рефлексия работает не так медленно, как я думал, LINQ работает медленнее, чем снилось в кошмарах. А в итоге оказалось, что мной еще и была допущена ошибка в замерах… Подробности этой жизненной истории под катом и в комментариях. Так как пример достаточно бытовой и реализованный в принципе как обычно делается в энтерпрайзе, получилось достаточно интересная, как мне кажется, демонстрация жизни: влияния на скорость работы основного предмета статьи было не заметно из-за внешней логики: Moq, Autofac, EF Core и прочей «обвязки».

Читать дальше →

+18

ua-hosting 13 янв 2020 в 06:44

HighLoad++, Юрий Насретдинов (ВКонтакте): как VK вставляет данные в ClickHouse с десятков тысяч серверов

18 мин

Блог компании ua-hosting.companyBig Data * IT-инфраструктура * Базы данных * Серверная оптимизация *

Туториал

HighLoad++ Moscow 2018, зал «Конгресс-холл». 9 ноября, 15:00

Тезисы и презентация: http://www.highload.ru/moscow/2018/abstracts/4066

Юрий Насретдинов (ВКонтакте): в докладе будет рассказано об опыте внедрения ClickHouse в нашей компании – для чего он нам нужен, сколько мы храним данных, как их пишем и так далее.

Дополнительные материалы: использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB

+18

ua-hosting 7 янв 2020 в 17:01

Использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB

11 мин

29K

Блог компании ua-hosting.companyBig Data * IT-инфраструктура * Базы данных * Серверная оптимизация *

Туториал

Перевод

Clickhouse — это колоночная система управления базами данных для онлайн обработки аналитических запросов (OLAP) с открытым исходным кодом, созданная Яндексом. Ее используют Яндекс, CloudFlare, VK.com, Badoo и другие сервисы по всему миру для хранения действительно больших объемов данных (вставка тысяч строк в секунду или петабайты данных, хранящихся на диске).

В обычной, «строковой» СУБД, примерами которых служат MySQL, Postgres, MS SQL Server, данные хранятся в таком порядке:

При этом значения, относящиеся к одной строке, физически хранятся рядом. В столбцовых СУБД значения из разных столбцов хранятся отдельно, а данные одного столбца – вместе:

Читать дальше →

+18

Data_center_MIRAN 10 дек 2019 в 06:41

Если данные не помещаются в память. Простейшие методы

5 мин

19K

Блог компании Дата-центр «Миран»Python * Алгоритмы * Программирование * Серверная оптимизация *

Перевод

Самка трубкозуба с детёнышем. Фото: Scotto Bear, CC BY-SA 2.0

Вы пишете программу для обработки данных, она отлично проходит тест на небольшом файле, но падает на реальной нагрузке.

Проблема в нехватке памяти. Если у вас 16 гигабайт ОЗУ, вы не сможете туда загрузить стогигабайтный файл. В какой-то момент у ОС закончится память, она не сможет выделить новую, и программа вылетит.

Что делать?

Читать дальше →

+18

ru_vds 3 июл 2018 в 08:38

Паттерн BIF: чистый код фронтенда и удобная работа с серверными данными

12 мин

15K

Блог компании RUVDS.comСерверная оптимизация * Веб-разработка * JavaScript *

Перевод

В материале, перевод которого мы сегодня публикуем, речь пойдёт о том, что делать в ситуации, когда данные, получаемые с сервера, выглядят не так, как нужно клиенту. А именно, сначала мы рассмотрим типичную проблему такого рода, а потом разберём несколько путей её решения.

Читать дальше →

+18

altrus 30 апр 2018 в 10:19

Производительность Joomla на больших объемах контента

4 мин

16K

Серверная оптимизация * PHP * MySQL * Joomla * CMS *

Joomla очень плохо переваривает базу данных даже с несколькими тысячами статей в таблице _content. При нескольких десятках тысяч запросы в базу стандартных модулей типа mod_articles_popular могут зависать на секунды.

Всё дело в ACL (Access Control List) — политике контроля доступа. Проверка законности доступа пользователя к материалам занимает свыше 98% времени выполнения запроса.

Читать дальше →

+18

dimskiy 17 янв 2017 в 08:00

Crysis на максималках, или зачем серверу видеокарта

5 мин

32K

Блог компании СЕРВЕР МОЛЛВиртуализация * IT-инфраструктура * Серверная оптимизация * Серверное администрирование *

image alt text

Помимо игры в Battlefield 1 и развлечений с VR-очками, установка отдельной видеокарты в сервер полезна при работе с графикой в виртуальной среде или для математических вычислений.

Использование GPU в серверной среде связано с некоторыми особенностями в каждом конкретном сценарии, поэтому разберем их подробнее.

Читать дальше →

+18

TonySemchishen 26 окт 2016 в 08:29

Замена RISC-машины на x86: приглашаю пощупать и потестировать завтра

3 мин

11K

Блог компании КРОКСистемное администрирование * Серверное администрирование * Серверная оптимизация * IT-инфраструктура *

RISC-архитектура довольно долго была безальтернативной для процессинга банков и другого ответственного хайлоада. Как только начался кризис, всё чаще и чаще стало звучать мнение, что x86 тоже вполне может справиться. Теперь x86 активно щупают и кое-где внедряют. Потому что экономия в разы.

Завтра, в четверг 27 октября, в 18:00 мы будем издеваться над x86-машиной с интригующим названием Huawei Kunlun. Приходите потыкать в него палочкой. Будем нагружать его Oracle и майнингом биткоинов до тех пор, пока он, как бензопила из анекдота, не скажет «Хррр».

Ниже — короткое FAQ про RISC-машины и программа тест-драйва.

Читать дальше →

+18

it_man 22 авг 2016 в 07:48

«Особенности памяти»: Что общего у кэша процессора и офисного клерка

4 мин

9.3K

Блог компании MWSIT-инфраструктура * Облачные вычисления * Серверная оптимизация * Системное администрирование *

Мы в «ИТ-ГРАД» рассказываем в своем блоге об интересных технологиях в области виртуализации, например, недавно мы говорили об облачных ERP-системах, а также о виртуальных GPU.

Сегодня мы углубимся в «железную тематику» и поговорим о кэше процессора.

/ фото Isaac Bowen CC

Читать дальше →

+18

olemskoi 17 ноя 2012 в 20:10

Тюнинг MySQL — thread_cache_size

1 мин

59K

Серверная оптимизация * Системное администрирование *

Параметр thread_cache_size играет немаловажную роль в производительности нагруженного MySQL-сервера. В некоторых случаях можно увеличить производительность на 30-50%.

Этот параметр указывает количество тредов, уходящих в кеш при отключении клиента. При новом подключении тред используется из кеша, что позволяет экономить ресурсы при больших нагрузках.

Читать дальше →

+18

Anton_from_Amber 3 окт 2011 в 11:25

Что кешировать?

8 мин

12K

Серверная оптимизация *

Из песочницы

Всё. На этом можно было бы статью закончить, так как эта аксиома повторяется из года в год на форумах и конференциях и кочует из текста в текст на всех технических ресурсах. Однако это ёмкое «Всё» не поясняет деталей. Ведь существует достаточно широкая прослойка программистов, движки и проекты которых справляются с задачей без мемкеша и шардинга. Но момент нагрузки приходит, и приходится разбираться.
Для таких людей я и разобрал на запчасти это универсальный ответ высоконагруженных проектов.
Ограничимся изучением системы для веба. Попросту говоря, на привычном обычном сайте. Используете ли вы готовую CMS, или уже выросли до каркаса, или написали «с нуля» код для нестандартного проекта – основными элементами процесса приёма-отдачи данных всегда будут одни и те же узлы. Я их рассмотрю с точки зрения «Где что можно закешировать».
Этапы выдачи

Читать дальше →

+18

jeje 29 июн 2010 в 12:13

Представляем IIS Express

4 мин

69K

Серверная оптимизация *

Перевод

Сегодня разработчики создают и тестируют ASP.NET сайты и приложения, используя один из двух веб-серверов:

ASP.NET Development Server, который является встроенным в Visual Studio
IIS Web Server, который встроен в Windows.

Каждый обладает своими преимуществами и недостатками, многие разработчики не раз говорили нам – “Очень хотелось бы с легкостью использовать ASP.NET Development Server, но при этом иметь на борту всю мощь и возможности IIS”. Сегодня, я с радостью представляю вам бесплатную версию IIS Express, который объединяет в себе лучшие качества обоих веб-серверов и позволит еще проще разрабатывать и запускать ASP.NET сайты и приложения.

IIS Express будет работать с VS 2010 и Visual Web Developer 2010 Express, запускаться на Windows XP и выше, не требует прав администратора и внесения изменений в код приложения. Позволяет работать со всеми типами ASP.NET приложений и разрабатывать, используя всю мощь возможностей IIS 7.x.

Читать дальше →

+18

1 2 ...

11 12

14 15 ...

31 32

Серверная оптимизация *

Главный по Windows Server

Function splitting и чистый код

Балансировка нагрузки: простыми словами о всей мощи двух случайных вариантов

Облачная кухня: рецепт приготовления тестов производительности дисковой подсистемы сервера

Спектральный анализ сервера

Как можно оптимизировать dot-product и не только. Доклад Яндекса

Самый большой процессор в мире — Cerebras CS-1. Разбор

OCP Experience Lab — как мы строили мини-ЦОД в офисе

Неудачная статья про ускорение рефлексии

HighLoad++, Юрий Насретдинов (ВКонтакте): как VK вставляет данные в ClickHouse с десятков тысяч серверов

Использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB

Если данные не помещаются в память. Простейшие методы

Паттерн BIF: чистый код фронтенда и удобная работа с серверными данными

Ближайшие события

Производительность Joomla на больших объемах контента

Crysis на максималках, или зачем серверу видеокарта

Замена RISC-машины на x86: приглашаю пощупать и потестировать завтра

«Особенности памяти»: Что общего у кэша процессора и офисного клерка

Тюнинг MySQL — thread_cache_size

Что кешировать?

Представляем IIS Express

Вклад авторов