Наверное, вы легко перечислите 10 или более web-акселераторов, и список их постоянно растет. Кроме разных функциональных возможностей, web-акселераторы значительно отличаются архитектурно, тем, как они взаимодействуют с операционной системой и реализуют те или иные HTTP-стандарты.

Понимание архитектурных различий и внутренностей конкретных прокси может помочь в выборе решения, наиболее подходящего к конкретному проекту, и разобраться со сложными задачами производительности и аномалиями обслуживания.

Цель статьи — рассказать о принципах и механизме работы HTTP протоколов и серверов и критериях выбора Web Accelerator для вашего проекта.

Вероятно, вам всё еще нужно вызволить вашего кота из заложников деврела, раз вы читаете эту статью. Или у вас нашлась новая причина, так тоже бывает. Это третья часть квадрологии от Романа Поборчего, независимого эксперта — с 2015 он консультирует докладчиков наших конференций, как выступать на технические темы. 

В первой мы искали темы в задачах разработчиков, а во второй - в инструментах разработки. Сегодня мы будем искать темы для выступлений в процессах разработки. Они там есть, мы проверяли.

Если ваш кот всё ещё в заложниках у деврела и вам все еще надо выступать, сегодня мы продолжим искать темы для выступлений. Роман Поборчий с 2015 консультирует докладчиков наших конференций. Давайте посмотрим, где он советует искать технические темы для выступлений.

Это вторая часть, в первой мы рассмотрели, как найти темы для выступлений в ваших повседневных задачах разработчика. Давайте посмотрим, где они прячутся среди ваших инструментов.

Сегодня мы не будем касаться вопроса, зачем выступать. У каждого свои причины. Может быть, вы узнали на работе что-то такое, чем обязаны поделиться с миром — иначе вас просто «разорвет». Может быть, собираете портфолио для карьерного роста и верите, что выступление вам поможет. А может быть, деврел держит в заложниках вашего кота, пока вы не выступите на ближайшей конференции.

Как бы то ни было, вам надо выступать. Остается понять, откуда взять тему. Роман Поборчий с 2015 консультирует докладчиков наших конференций. Давайте посмотрим, где он советует искать технические темы для выступлений.

Если вы читали первую часть, то вы, наверное, запомнили, что уже 27 и 28 июня пройдет наша первая конференция тестировщиков — Test Driven Conf 2022. Для остальных чуть-чуть расскажу. Темы будут сплошь для профессионалов: про автоматизацию в тестировании и QA-процессах, про нагрузочное и ML-тестирование, про оптимизацию и аналитику. Чтобы лучше представлять, как все это будет, давайте посмотрим, какие решения задач тестировщиков предлагают наши спикеры.

В прошлый раз мы рассмотрели четыре секции в которых будут проходить доклады: оптимизация тестов и аналитики, автоматизация рутины, нагрузочное тестирование и cutting-edge технологии. Теперь немного погрузимся в доклады из остальных секций.

27 и 28 июня пройдет наша первая конференция тестировщиков — Test Driven Conf 2022. Темы будут сплошь для профессионалов: про автоматизацию в тестировании и QA-процессах, про нагрузочное и ML-тестирование, про оптимизацию и аналитику. Чтобы представить, как всё это будет, давайте посмотрим, что наши спикеры предлагают для решения задач тестировщиков.

Стремясь к повышению производительности базы данных, вы можете столкнуться с ситуацией, когда оптимизации и настройки уже недостаточно. Если вы не можете заменить движок БД, а для настройки параметры рабочей нагрузки больше нет возможностей — базу данных придется масштабировать. Делать это руками долго и нецелесообразно, но и у автоматизации процессов масштабирования есть свои подводные камни.

Это перевод статьи Дмитрия Костика и Миколы Моржан из Percona. С их помощью посмотрим, в какой степени можно автоматизировать горизонтальное масштабирование баз данных MongoDB, MySQL и PostgreSQL в Kubernetes и как это сделать?

Вместе с изменениями рынка меняется и наша объединенная конференция DevOps Conf & TechLead Conf 2022. Мы запустили дополнительный Сall for Paper, собрали заявки и отобрали самые горячие антикризисные доклады. Никаких банальностей, которые легко гуглятся или читаются в документации — не будет. Участники конференции, как обычно, поделятся собственным опытом и свежеобкатанными идеями.

Вместе с выступающими и благодаря им вы тоже сможете быстро меняться вслед за рынком, предугадывая и опережая возникающие угрозы. Расскажу, какие доклады мы добавили в программу.

В этом году DevOps & TechLead Conf 2022 пройдут на одной площадке. Участников ждут погружение в инженерные процессы в IT (от XP до devOps & beyond), musthave-инструменты и практики изменений в командах для быстрых и качественных релизов.

Мы встретились с экспертами из Программного комитета конференций — Дмитрием Зайцевым и Анастасией Асеевой-Нгуен. Поговорили о болях DevOps-инженеров и техлидов, о новых форматах и о самых актуальных темах в индустрии. О том, что получилось — читайте под катом.

Человеческий мозг обычно лучше воспринимает информацию из изображений, чем из текстов. И в инструментах, подобных Flame Graph, этот принцип блестяще реализован. Поэтому в Percona его используют в рамках работы группы поддержки. Чаще всего в тех случаях, когда нужно получить всестороннее представление о том, что и как долго проделывает MySQL. Так можно лучше понять, какие операции стоят за конкретной рабочей нагрузкой и каким образом лучше исправлять возникающие проблемы. И это можно использовать и для оптимизации, и для устранения неполадок.

Давайте воспользуемся их опытом и разберемся, откуда брать и как подготавливать образцы для визуализации данных. А после этого — как из них генерировать Flame Graph и как с этим работать.

Наша объединенная конференция DevOps&TechLead 2022 года уже очень скоро! И пока мы ее вовсю готовим, давайте вспомним, как закончились конференции в прошлом году — и какие доклады вам понравились. Если вы уже участвовали в наших конференциях DevOps&TechLead — это будет для вас как небольшое путешествие в прошлое, где мы воссоздадим в памяти атмосферу и эмоции. А если вы всё пропустили, то сегодня вы сможете представить, как там было. Поехали!

Конечно, в первую очередь докладчики делились проблемами, которые преодолели, предлагая пошаговые сценарии выхода из них. Главная фишка конференций, и наших в том числе — польза. Вы получаете не безликую теорию, а проверенные и еще раз перепроверенные на практике механизмы, метрики и подходы. Которые уже упростили жизнь командам, помогли выявить и решить проблемы.

Это маленькая, но полезная ретроспектива двух профессиональных конференций по интеграции процессов разработки, тестирования и эксплуатации. До совместного мероприятия DevOps&TechLead Conf 2022 осталась всего пара месяцев, поэтому самое время восстановить в памяти то, что было раньше.

Часто пользователи рассказывают о сбое базы данных по вине Out Of Memory Killer. Он завершает процессы PostgreSQL и остается причиной большинства отказов этой БД. Память на хост-компьютере может закончиться по нескольким причинам. Наиболее распространены из них четыре. Во-первых, может быть плохо настроена память на хост-компьютере. Во-вторых, могут быть ограничения глобальной переменной work_mem. Например, если у вас 32Гб RAM и work_mem=1Гб, то больше 32 соединений вы никогда не запустите. Каждое соединение PostgreSQL будет выделять этот размер памяти.

Третьей причиной будет большое количество подключений. Даже неактивное соединение может занимать значительный объем памяти. И наконец, другие программы тоже потребляют ресурсы, потому что для каждой из них этот компьютер является хостом.

Представляем вам перевод статьи от Jobin Augustine, который работает в Percona старшим инженером службы поддержки. Более 20-лет он был консультантом, архитектором, администратором и инструктором по PostgreSQL, Oracle и другим технологиям баз данных. Сегодня поговорим о том, как можно защититься от OOM с помощью HugePages и разберем насколько они важны и почему нужны.

Думаю, многие были в такой ситуации, когда каналы данных разрываются от бешеного количества алертов, находя нас, где бы мы ни были — когда мы едим, спим, в дороге или в душе. Когда мы уже боимся любого звука, который исходит от телефона. Когда уведомления — это белый шум, который мешает, а не помогает находить проблемы в инфраструктуре.

Но статья будет не про сравнение систем мониторинга или методов, а про простые практики, которые каждый из вас может применить. Про здравый смысл в применении этих практик. И про опыт ЦФТ — про те боль и проблемы, с которыми столкнулась компания, как их решала и к чему в итоге пришла. Эта история о том, как перестроить процессы внутри компании, чтобы мониторинг перестал быть стихийным и стал актуальным и управляемым.

Нормально делай — нормально будет, и Виталий Медведев, инженер по автоматизации ЦФТ, разделяет эту истину. Эта статья написана по его выступлению на конференции Saint HighLoad 2021.

Все кто хоть раз касался разработки I/O интенсивных приложений, наверное, задумывался о повышении их производительности. Особенно когда у проекта много внешних хранилищ и они находятся по всему миру. Давайте разберем какие есть инструменты с их плюсами и минусами и как их лучше использовать на примере конкретного проекта, в котором принимал участие Дмитрий Бундин, старший Big Data-разработчик в Grid Dynamics.

Чтобы разработать свой распределенный SQL-движок, можно написать свой SQL-оптимизатор для построения движков. Вам придется сделать парсер, семантический анализатор и придумать правила трансформации и оптимизации. Всё протестировать, а потом как-то интегрировать в свою систему. Но можно пойти более быстрым путем — внедрить для этого готовый инструмент.

Владимир Озеров, бывший инженер Hazelcast, а сейчас руководитель Querify Labs, на конференции HighLoad++ 2021 поделился опытом разработки и проектирования с нуля распределенного SQL-движка для продукта Hazelcast IMDG. Видео его выступления можно посмотреть здесь.

Сегодня статья о том, для чего в Hazelcast IMDG понадобилась эта разработка, и в чем преимущества и недостатки фреймворка Apache Calсite. Как на нем были реализованы встроенные оптимизации, выбор вторичных индексов и планирование перемещения данных в кластере. И как справились с описанием запросов произвольной сложности, кооперативной многозадачностью и оптимизированием сетевого протокола.

Сделать свою собственную SQL-базу данных или запускать SQL-запросы в NoSQL-базе данных — кажется, это очень непростая задача.  А если мы говорим о распределенной БД, то сложность возрастает многократно. Но, к счастью, Apache Calcite — фреймворк с открытым кодом — поможет сделать это довольно легко.

Роман Кондаков, Software Engineer в Querify Labs, на конференции HighLoad++ Весна 2021 рассказал об опыте интеграции Apache Calcite в распределенную in-memory-платформу Apache Ignite. Если ваша система распределена, и вы хотите завести в ней SQL, читайте про то, как устроен Apache Calcite и какие есть нюансы его использования для распределенных систем.  Видео его выступления можно посмотреть здесь.

Три года назад в группе компаний ЦФТ задачи бизнеса потребовали увеличения штата разработчиков в два раза. Перед отделом эксплуатации встало две задачи: не допустить линейного роста OPS и уменьшить TTM, не потеряв при этом в недоступности, непрерывности и безопасности.

В результате в компании теперь есть всё — и NoOps, и DevOps. Где-то пришлось пойти на компромиссы и доработать концепт NoOps напильником под себя. Сергей Бердников, руководитель отдела эксплуатации, сегодня расскажет, что получилось, и разберет — почему.

Бигдата из Xsolla уволила 150 человек. Проанализировала активность каждого сотрудника компании и отсортировала всех по вовлеченности. Ну а основатель освободил от должности 150 человек внизу списка.

Да, форма увольнения (письмом) выбрана ужасно, но по сути, Xsolla пошла на то, что уже давно должны были сделать все российские IT-компании. А именно — перешла к управлению и менеджменту на основе данных. А не чуйки, интуиции и не по понятиям.

Максим Лапшин — владелец Эрливидео, его компания уже 10 лет разрабатывает серверный софт для доставки и обработки видео. Его использует телевидение, он нужен для работы с камерами. Софт работает с разными вариантами железа, доставка — цифровая. 

При этом заказчики частенько спрашивали и про железо. Сначала разработчики отправляли клиентов подбирать его самостоятельно, но не все были этому рады — большинство хотят получать все в одном окне. Одновременно копилась статистика, когда клиенту обычно продают то, что надо сбыть продавцу. В итоге, если что-то не работало, виноват был Эрливидео. 

Так родилась идея создать свою материнскую плату. Идея переросла в большой квест, про который Максим рассказал на HighLoad++ Весна 2021. Все детали прохождения — в сегодняшней статье.