Серверная оптимизация *

В нашем блоге мы уже рассказывали, как создать свой сервер Minecraft, однако с тех пор прошло 5 лет и многое поменялось. Делимся с вами актуальными способами создания и оптимизации серверной части столь популярной игры.

За свою 9-летнюю историю (если считать от даты релиза) Minecraft заработал потрясающее количество поклонников и хейтеров как среди обычных игроков, так и среди гиков. Простая концепция мира из кубиков превратилась из обычного развлечения в универсальную среду для общения и создания различных объектов из реального мира.

Для создания программно-определяемого центра обработки данных можно использовать предлагаемые вендорами референсные архитектуры. Ниже рассказывается о построении VMware Software Defined Data Center с помощью узлов Lenovo ThinkAgile VX.

Первая серия продуктовых вебинаров от экспертов Lenovo Data Center Group подходит к своему завершению. За два месяца, начиная с 28 апреля, мы поговорили о технологиях и решениях Lenovo для ЦОД, о серверах, СХД, сетевом оборудовании и многом другом. Более 1 300 человек, работающих либо активно интересующихся данной сферой, задавали свои вопросы экспертам и получали простые и понятные ответы.

Приглашаем всех на заключительный вебинар серии, который пройдет 02 июля в 15:00 и будет посвящен теме хранения неструктурированных данных. Григорий Прялухин, менеджер по программно-определяемым решениям, и Антон Котцов, менеджер по продукту СХД, расскажут о причинах появления и базовых принципах организации объектных хранилищ, а также рассмотрят конкретные реализации хранилищ Lenovo DCG и партнерские решения.

В ИТ есть такое понятие как End User Computing — вычисления для конечных пользователей. Как, где и в чем могут помочь такие решения, какими они должны быть? Согласно сегодняшним требованиям, сотрудники хотели бы иметь возможность безопасно работать с любого устройства, в любом месте. Технологические аспекты составляют до 30% стимулов для вовлеченных сотрудников, говорится в отчете Forrester (Employee Index). Это весомый фактор привлечения и удержания квалифицированных кадров.

Компьютерные системы, получившие собирательное название EUC, помогают сократить затраты и упростить управление настольными ПК.

Меня зовут Илья Ирхин, я руководитель отдела машинного обучения и анализа данных Яндекс.Такси.


Коронавирус и самоизоляция, безусловно, повлияли на наши ML-проекты. Из моего доклада вы узнаете, как изменились модели, метрики и процессы. Вторая часть доклада тоже связана с нынешней ситуацией. Я рассказал о проектах-бумерангах — мы делаем их не потому, что они улучшают метрики в моменте, а потому, что верим: эти проекты будут полезны в будущем. Например — в такое время, как сейчас.

Привет, Хабр! В прошлом году компания Kingston выпустила на рынок много интересных SSD корпоративного класса, среди которых Kingston DC500R, DC450R и NVMe-решение Kingston DC1000M. В 2020 году мы говорили с вами о том, что новинок станет еще больше. И сегодняшняя наша тема будет посвящена старым-новым SSD, Дело в том, что мы взяли вышеперечисленные модели и удвоили их емкость с 3,84 Тбайт до 7,68 Тбайт. Поставки обновленных накопителей начнутся с середины июня. Тем временем, чем не повод еще раз пробежаться по данным моделям и вспомнить, что интересного они предлагают конечному пользователю.

Привет, Хабр! Последние пару месяцев мы прожили в очень интересной ситуации, и я хотел бы поделиться нашей историей скейлинга инфраструктуры. За это время СберМаркет вырос в заказах в 4 раза и запустил сервис в 17 новых городах. Взрывной рост спроса на доставку продуктов потребовал от нас масштабирования инфраструктуры. О самых интересных и полезных выводах читайте под катом.

Для любого сайта важно правильно настроить HTTP-заголовки. На тему заголовков было написано много статей. Здесь мы обобщили накопленный опыт, документацию RFC. Какие-то из заголовков обязательные, какие-то устаревшие, какие-то могут вносить путаницу и противоречия. Мы сделали пузомерку для автоматической проверки HTTP-заголовков веб-сервера. В отличии от многих других сервисов, которые просто показывают заголовки, данный сервис позволяет:

1. задать значение типовых заголовков;
2. добавить свои произвольные заголовки;
3. указать версию HTTP-протокола: 1.0, 1.1, 2 (проверяет поддерживается ли HTTP/2);
4. указать метод запроса, время ожидания и данные postdata для отправки на сервер;
5. также пузомерка проверяет корректность ответа на запросы If-Modified-Since, If-None-Match, если в ответе сервера есть Last-Modified или ETag.

Облака удобны своей гибкостью. Нужен мощный вычислительный кластер на восемь часов: арендовал в три клика, выполнил задачу и потушил машины. К сожалению, многие просто неверно понимают идеологию облачных ресурсов и часто разочаровываются, когда видят счета в конце месяца.

Чтобы оптимизировать затраты, нужно начать со сбора хорошей статистики. Я попробую вкратце описать подходящие для этого инструменты.

Ключевой принцип экономии — выключать всё ненужное и минимизировать резерв, насколько это возможно. Отвыкайте мыслить в парадигме локального сервера в инфраструктуре компании. Если сможете автоматизировать расширение и выключение облачных ресурсов в зависимости от нагрузки — ещё лучше.

Рассмотрим ситуации, когда выгоднее фиксированные тарифы, а когда — pay-as-you-go-концепция (PAYG). Плюс рассмотрим, что можно выключить лишнего, и где чаще всего впустую расходуются ресурсы. Пройдёмся по основным видам ресурсов: CPU, RAM, виртуальным дискам, сети и бэкапам.

Сразу объясню название статьи. Изначально планировалось дать хороший, надежный совет по ускорению использования рефлекшена на простом, но реалистичном примере, однако в ходе бенчмаркинга выяснилось, что рефлексия работает не так медленно, как я думал, LINQ работает медленнее, чем снилось в кошмарах. А в итоге оказалось, что мной еще и была допущена ошибка в замерах… Подробности этой жизненной истории под катом и в комментариях. Так как пример достаточно бытовой и реализованный в принципе как обычно делается в энтерпрайзе, получилось достаточно интересная, как мне кажется, демонстрация жизни: влияния на скорость работы основного предмета статьи было не заметно из-за внешней логики: Moq, Autofac, EF Core и прочей «обвязки».

Для многих задач задержки между клиентом и сервером критически важны, например в онлайн играх, видео/голосовых конференциях, IP телефонии, VPN и т.д. Если сервер будет слишком удален от клиента на уровне IP-сети, то задержки (в народе «пинг», «лаг») будут мешать работе.

Географическая близость сервера не всегда равна близости на уровне IP маршрутизации. Так, например, сервер в другой стране может быть «ближе» к вам, чем сервер в вашем городе. Все из-за особенностей маршрутизации и построения сетей.



Как выбрать сервер максимально близкий ко всем потенциальным клиентам? Что такое связность IP-сетей? Как направить клиента на ближайший сервер? Разберемся в статье.

Что делать, если в базу хочется записать массу «фактов» много большего объема, чем она способна выдержать? Сначала, конечно, приводим данные к более экономичной нормальной форме и получаем «словари», в которые будем писать однократно. Но как это делать наиболее эффективно?

Именно с таким вопросом мы столкнулись при разработке мониторинга и анализа логов серверов PostgreSQL, когда остальные способы оптимизации записи в БД оказались исчерпаны.

Сразу оговоримся, что наши коллекторы работают под управлением Node.js, поэтому с процессорными регистрами и кэшами мы никак не взаимодействуем. А вариант использования «стораджей» или внешних кэширующих сервисов/БД дает слишком большие задержки при входящих потоках в несколько сотен Mbps.

Поэтому мы стараемся кэшировать все в RAM, конкретно — в памяти JavaScript-процесса. Про то, как эффективнее это организовать, и пойдет речь дальше.

Страх и жадность — это про страсти на Уолл-стрит? Совсем нет, именно эти два чувства испытывает директор в компании малого бизнеса, когда админ приходит просить денег на ИБП (источник бесперебойного питания) для сервера, онлайн-кассы и рабочих мест. Скорее всего, админу откажут. Но есть 4 аргумента, благодаря которым столь необходимая покупка может получить одобрение.

«База лежит», в конторе шок и трепет

Компания «нажглась» на экономии и при отключении электроснабжения потеряны ценные данные? Админ — проси денег на ИБП для сервера, не отходя от кассы. Это твой звездный час.
Стандартная ситуация — при отключении электропитания падает сервер 1С, а после возобновления подачи электроэнергии пользователи замечают, что нормальная работа с 1С невозможна. К примеру, появляются сообщения «Ошибка при входе в 1С х.х: неверный формат хранилища данных, Невосстановимая ошибка при выполнении запроса POST» и т.д. и т.п.

Всем привет.

Хочу обсудить с сообществом наш проект, с помощью которого можно за 1 минуту создать конфигурационный файл MySQL, оптимизированный под производительность (тюнинг MySQL). Таким образом можно достаточно быстро создавать конфигурационный файл для первичной оптимизации производительности MySQL.

Сегодня не будет никаких сложных кейсов и мудреных алгоритмов на SQL. Все будет очень просто, на уровне Капитана Очевидность — делаем просмотр реестра событий с сортировкой по времени.

То есть вот лежит в базе табличка events, а у нее поле ts — ровно то самое время, по которому мы хотим эти записи упорядоченно показывать:

CREATE TABLE events(
  id
    serial
      PRIMARY KEY
, ts
    timestamp
, data
    json
);

CREATE INDEX ON events(ts DESC);

Понятно, что записей у нас там будет не десяток, поэтому нам потребуется в каком-то виде постраничная навигация.

#0. «Я у мамы погроммист»

cur.execute("SELECT * FROM events;")
rows = cur.fetchall();
rows.sort(key=lambda row: row.ts, reverse=True);
limit = 26
print(rows[offset:offset+limit]);

Даже почти не шутка — редко, но встречается в дикой природе. Иногда после работы с ORM бывает тяжело перестроиться на «прямую» работу с SQL.

Но давайте перейдем к более распространенным и менее очевидным проблемам.

Привет, Хабр!

Мы продолжаем исследовать тему Java и Spring, в том числе, на уровне баз данных. Сегодня предлагаем почитать о том, почему при проектировании больших приложений именно структура базы данных, а не код Java, должна иметь определяющее значение, как это делается, и какие исключения есть из этого правила.

Из-за вынужденных каникул даже крупным компаниям с развитой IT-инфраструктурой сложно организовать удаленную работу персонала, а у малого бизнеса попросту не хватает ресурсов для развертывания необходимых сервисов. Другая проблема связана с информационной безопасностью: открывать доступ во внутреннюю сеть с домашних компьютеров сотрудников рискованно без применения специализированных продуктов корпоративного класса. Аренда виртуальных серверов не требует капитальных затрат и позволяет вынести временные решения за пределы защищенного периметра. В небольшой статье мы рассмотрим несколько типовых сценариев использования VDS в условиях самоизоляции. Сразу стоит отметить, что статья ознакомительная и ориентирована больше на тех, кто только вникает в тему.

Мы в Cloudflare объявили о поддержке HTTP/3 в сентябре прошлого года, когда отмечали девятый день рождения. Наша задача всегда состояла в улучшении интернета. Сотрудничество в области стандартов — важная часть процесса, и нам повезло участвовать в разработке HTTP/3.

Хотя HTTP/3 ещё на стадии черновика, мы заметили большой интерес к новому протоколу со стороны наших пользователей (инфраструктура Cloudflare обслуживает более 10% сайтов интернета — прим. пер.). К настоящему моменту поддержку HTTP/3 активировали более 113 000 зон, и если у вас экспериментальный браузер, то теперь вы можете получить доступ к этим зонам по новому протоколу! Здорово, что его включили так много людей: работа по HTTP/3 большого количества реальных веб-сайтов означает, что можно тестировать больше разнообразных свойств со стороны браузеров.

Все, кто использует SSH знают, что при первом подключении к серверу, появляется сообщение с подтверждением отпечатка ключа. Дальше ключ сохраняется на стороне клиента, и больше это сообщение не показывается до момента пока сохраненный ключ не изменится. Но в чем практический смысл этой процедуры?

В реальной жизни почти никто не проверяет отпечаток SSH-ключа сервера не особенно задумываясь о возможности MiTM-атаках. С появлением DNS-записи SSHFP отпечаток ключа сервера можно хранить в DNS и проверять его подлинность с помощью DNSSEC. При этом не нужно даже подтверждать ключ при первом подключении. В статье разберем, как настроить запись SSHFP для своего SSH-сервера.

Пару недель назад Даня Тарарухин рассказал на Хабре, как появился наш сервис, Яндекс.Маршрутизация, и как он помогает компаниям с логистикой. Создавая платформу, мы решили несколько интересных проблем, одной из которых и посвящён сегодняшний пост. Я хочу поговорить о самом планировании маршрутов и необходимых для этого ресурсах.