Когда мы начинаем работать с нагруженными системами, на передний план выходят задачи, как эту систему отмасштабировать — систем в стазисе не бывают. Они либо растут, либо умирают. Мы исходим из того, что системы растут по объёму задач, количеству запросов и другим критериям, по которым мы работаем с highload.

В «Сколково» в Москве 6-7 ноября пройдёт крупнейшая IT-конференция HighLoad++. Это самая высокая концентрация профессионалов из отрасли в стране: мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать тысячи и миллионы пользователей.

В чём особенность конференции?

Один из аспектов, который обсуждается внутри узкотематической конференции — как масштабировать эти системы, как добиться высокой производительности и надёжности в них. По каждому из этих направлений у будет достаточно большой объём докладов.

Тщательный отбор

Как отметил член ПК, представитель Yandex Cloud Антон Черноусов, одним из важнейших критериев отбора докладов было практическое использование материала: любой описываемый инструмент должен был пройти проверку временем:

«Ты придумал и реализовал архитектуру, но как она поведёт себя на практике —  непонятно. Мы в ПК считаем важным критерием полугодовой опыт эксплуатации предложенного решения. Этого срока обычно достаточно, чтобы под большой нагрузкой вылезли «детские болячки». На конференции должен быть представлен реальный продуктовый опыт эксплуатации системы, в которой эти «болячки» вылечили», — сказал он.

После того, как самые сочные, самые полезные из докладов были отобраны, члены ПК помогают сделать то самое high-quality: целая команда работает над качеством подачи материала, специальные коучи готовят спикеров и следят за качеством презентации.

Кроме того, в последние годы внутри HighLoad есть стремление сформировать отношение к open source. Члены ПК при рассмотрении доклада с какой-то внутренней разработкой изучают, есть ли она в открытом доступе, и могут ли люди переиспользовать её. Это как знак качества компании, потому что так они показывают, что готовы поделиться не только своим опытом использования, а ещё и наработками. 

Самая главная «плюшка», только тссс!

Конференция идёт два дня — это огромное количество потоков. Конечно, невозможно одновременно посмотреть все доклады, их очень много. Они разбиты по тематикам, но даже по своей специализации можно не всё успеть увидеть. Выход есть: все доклады остаются в личном кабинете участников, к ним всегда можно вернуться и пересмотреть.

«Проще именно внутренним поиском пользоваться. Это дистиллированное знание: ты приходишь, а там всё уже отжато, есть архитектура, проблемы, выводы. Ты сразу можешь не ломать голову, а сэкономить себе годы жизни, просто посмотрев 1-2-3 доклада», — рассказали в ПК.

Стенды и прочее есть у многих, это не дифференцирующий признак. При том, что организаторы немного преуменьшают возможности компаниям для хантинга, это всё равно происходит и к этому всё равно все относятся положительно.

«Стенды большей частью направлены на то, чтобы либо показать свой продукт, либо показать свою команду. А продукты и команды — это именно то, ради чего мы приходим в компанию. Когда ты ищешь работу, ты смотришь: «О, я хочу делать этот продукт!», или: «О, я хочу быть с этой командой!». Как правило, какой-то мэтч можно словить именно здесь», — добавил представитель Yandex Cloud.

Так за один день можно очень сильно изменить траекторию в карьере.

Что «в меню» на конференции

На HighLoad++ выступают все основные топ-корпорации, включая представителей Яндекса, Сбера, ВК, Озона, Авито, Т-Банк и другие бигтехи. Но среди небольших компаний тоже есть highload-кейсы — система может быть маленькой, но соответствовать какому-то из критериев highload’ности.

Воркшопы

Помимо докладов — а их за сотню улетает, — предусмотрены воркшопы для участников, которые неизменно собирают в последнее время полные залы. Это, в первую очередь, про практический опыт. Например, прямо сейчас один из членов ПК и его коллеги готовят воркшоп «Ломаем геораспределённый Postgres на базе Patroni».

«Важный момент воркшопа — это всегда единение с одной стороны докладчика, который предлагает какую-то тему, а с другой стороны людей, которые пришли на конференцию и одновременно работают. Это выглядит всегда просто очешуительно. 

Как правило, на воркшопы не хватает мест, потому что люди изголодались по практическому опыту и набиваются максимально. На летнем HighLoad в Санкт-Петербурге мы ставили дополнительные стулья, потому что не хватало места», — рассказал член ПК Антон Черноусов.

Продуктовая аллея

Продуктовая аллея — это точка пересечения создателей технологических решений и архитекторов систем, которые принимают решения об их внедрении. Пространство для глубокого технического анализа и экспертной оценки продуктов.

Участников ждут интерактивные стенды с live-демонстрациями ключевых российских tech-решений, презентации и мастер-классы от создателей продуктов с практическими примерами, спецпрограмма для техлидеров с профильными сессиями и закрытый нетворкинг.

В числе заявленных продуктов:

  • ПРЕГЕЛЬ — российская платформа для управления сложной IT-инфраструктурой. В её основе — графовая модель и AI-инструменты, которые превращают разрозненные системы в живую цифровую модель на основе реальных данных. Решение помогает видеть взаимосвязи, предотвращать сбои и снижать риски.

  •  РЕД СОФТ — российский разработчик ПО и решений для организации IT-инфраструктуры. Продукты РЕД СОФТ входят в Реестр российского ПО Минцифры России и сертифицированы ФСТЭК России. Заказчики РЕД СОФТ — госкомпании, корпорации, представители бизнеса из всех отраслей экономики.

  • NGENIX — российский провайдер сервисов ускорения и защиты для публичных веб ресурсов. Распределенная облачная платформа NGENIX помогает защищать веб-ресурс от DDoS-атак, взломов и вредоносных ботов, справляться с высокими нагрузками и ускорять загрузку веб-страниц для аудитории в любой точке России/

И это только часть!

Нетворкинг, тренды и вдохновение

Важный отличительный критерий конференции HighLoad++ — это многолетнее формирование сообщества людей, которые интересуются highload системами.

«Ответ на вопрос, почему человек должен прийти на HighLoad, заключается именно в профессиональном сообществе. Человек через конференцию может решить свою реальную задачу, то есть встретиться с комьюнити профессионалов, получить какой-то нетворк в этом комьюнити и дальше использовать его для решения задач», — отмечают в ПК.

Кроме того, через спикеров участники узнают обо всех последних трендах в отрасли: через конференцию проходят все топовые компании, которые занимаются highload. В программу войдут только самые крутые кейсы, через которые и можно будет отследить эти тренды: что происходит на рынке, какие новые фишки внедряются и куда вообще всё это идёт.

Что до нетворкинга — сама конференция формирует необходимость задавать вопросы. Есть даже отдельные дискуссионные зоны — очень часто спикеров ловят и идут жаркие дискуссии, но на этом дело не заканчивается. Чтобы развить профессиональный нетворк есть разные мероприятия внутри конференции — например, афтерпати.

«Люди приходят вдохновиться. Конференция — это «Диснейленд» для взрослых, выставочная зона — всегда ВДНХ в некотором смысле. Компании рассказывают о себе, о своих достижениях и новых интересных проектах, и через это можно вдохновиться», — добавили в ПК.

На стенды компании приглашают выдающихся специалистов, от которых можно узнать не только много полезной в работе информации, но и понять, что делать, куда двигаться и как расти.

В целом в комьюнити-части люди делятся не только успехами, но и провалами. На конференции предусмотрен замечательный fail-meetup, который неизменно собирает полный зал.

Доклады

Среди них можно выделить классические доклады про надёжность и безопасность — это первоочередное. И конечно, не обойдётся без Kubernetes. Такие доклады  требуют вовлечённости, потому что highload туда проник и оттуда уже никуда не денется. Все они очень разнятся по посылу, но каждый может выбрать для себя интересующую тему.

В последнее время, конечно, никуда без AI. По сфере искусственного интеллекта огромное количество докладов, и все они хороши с точки зрения того, что они продвигают и развивают. 

Например, есть доклады про RAG-системы и как их строить, об использовании GPT, AI-агентов, высокую надёжность и о том, как трансформировать истории.

Кирилл Одиноков из СберТеха в своём докладе «Темная сторона открытых нейросетей» расскажет, как open-LLM превращаются в участок периметра: от «отравления данных» и триггеров до эскалации через агентов и RCE. В рамках выступления эксперта на конференции участники смогут на живых примерах разобрать, почему «магическая фраза» меняет поведение модели и как это приводит к генерации опасных payload-ов в небезопасном окружении.

Его коллега Валерий Березовский из SberDevices продолжит тему с докладом, в котором поделится опытом построения масштабных пайплайнов подготовки данных для обучения больших языковых моделей. Участников ждёт информация о детекции языка, как за счёт новой CPU инфраструктуры можно ускорить семплинг данных и другие задачи в тысячи раз. Он также поделится, как в Сбере используют LLM для фильтрации и аннотации кода, генерируют синтетические программы и обучаются на уровне репозиториев.

Одна из самых популярных баз данных СУБД Postgres всегда собирает огромное количество участников, потому что очень востребована в сообществе. Например, Андрей Бородин из Yandex Cloud, очень известный докладчик в сфере Postgres, как раз будет проводить воркшоп «Собери Postgres себе на ноуте». Это практическая часть разработки. 

А ещё на конференции мы рассмотрим то, с чем столкнутся все банки вообще прямо сейчас. Об этом расскажет Евгений Кузовлев из Т-банк�� в докладе  «Цифровой рубль в России: настоящее и будущее». Несколько банков одновременно уже это проходят, но Т-Банк находится на острие всей истории.

Затронем тему работы с open-source-сообществами и open-source-продуктами — докладчики расскажут и о своих разработках, и о новинках, и об их применении. Выше упоминался СУБД Postgres, но запланированы доклады и о других open-source продуктах.

Например, Сергей Волков из Сбера приготовил «Тест-драйв ClickHouse: 24 миллиарда событий в сутки». Он расскажет о том, как тестировать большую систему, чтобы она выдержала большую нагрузку. Не всегда люди понимают, как это делать. 

Более того, доклады будут не только про софт, но и про соприкосновение софта с железом. Руслан Боярский из Т-Банка представит участникам выступление: «Восстание машин, или как хранилища Sage на новое железо заезжали». Sage — сама по себе огромная высоконагруженная система. Проблема в том, что когда вы просто переезжаете с одного железа на другое с маленькой системой, то всё просто — здесь остановил, там запустил. Но когда есть много железа, настоящий highload, возникает проблема — а что с этим делать? 

Вокруг этого есть дискуссия: как на самом деле правильно переезжать, как выбирать железо, как не наступить на какие-то грабли, связанные с особенностями этого железа. Ребята делали переезд и делятся своим опытом — например, как они проводили тестирования, чуть-чуть про сам процесс переезда и другое.

Тема архитектуры и масштабируемости — это как огонь и вода: что-то вечное. Николай Кокоулин из Ви.Tech приоткроет завесу тайн кэширования в докладе «Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее». Большинство привыкло к LRU, TTL и другим простым эвристикам, но они плохо справляются с изменчивыми и высокими нагрузками. 

«В докладе я расскажу, как можно применить машинное обучение для предсказания востребованности данных. Разберём традиционные подходы, затем посмотрим на новые идеи: supervised-модели, reinforcement learning, гибридные схемы вроде MAT. Поговорим о предсказания времени следующего доступа, адаптивном выбора стратегии кэширования, интеллектуальной инвалидации данных. Отдельно разберём гибридные схемы, где ML используется лишь в критических точках, сохраняя производительность», — рассказал он сам о своём выступлении.

Эта информация будет полезной как для новичков, которые увидят карту ключевых алгоритмов кэширования и описание работы на практике; так и опытным инженерам — будет возможность обсудить, как встроить ML-подходы в прод без потери производительности, где есть реальные выгоды, а где лучше остаться на классике.

Александр Снопов из Yandex Infrastructure поделится своим опытом, как его команда масштабировала единое хранилище Яндекса MDS, где хранятся все данные всех сервисов экосистемы. На данный момент объём «сырых» данных составляет более 4 ЭБ.

«В докладе хочу рассказать про эволюцию нашей системы, как нам удаётся справляться с такими объёмами и продолжать расти. История MDS началась ещё в далёких нулевых, и со временем он, как любая старая система, оброс legacy, что значительно стало усложнять разработку и поддержку, а его изначальная архитектура перестала удовлетворять нынешним вызовам», — пояснил он.

Новая система была построена с нуля на основе принципов децентрализации, репликации данных на основе Raft, Self-healing и декларативного управления кластером.

Более подробно с расписанием докладов можно будет ознакомиться по ссылке, а купить онлайн или офлайн билет — здесь. Не пропусти самое главное событие в IT-индустрии этого года!