Пулковские высоты: немного «атмосферы» с Saint HighLoad++ 2019

Р��гистрация стартовала с раннего утра. Участники получали именные бейджи. Рядом на стойке в фойе раздавали ручки, брошюры и сертификаты.

Бэйджик участника мы традиционно снабдили полным расписанием, так что каждый в любой момент мог посмотреть программу, отметить важные выступления и выставить за них оценки.

Участни��ов было много, и информационная нагрузка была высока. Те, кто не поместился в центральном зале «Нева» на ключевых докладах, могли смотреть трансляцию выступлений на дисплее по левому краю банкетного зала «Атриум», который на время проведения конференции стал удобным местом для кофе-брейков. Параллельно шли доклады еще в двух залах: «Фонтанка» и «Мойка». Дополнительно в лаунж-зоне проходил традиционный коучинг от Aletheia Business, плюс еще одна небольшая аудитория была задействована под митапы.

Дальше немного деталей о самых интересных и топовых докладах на Saint HighLoad++ 2019. Забегая вперед, скажем, что после сибирского HighLoad++, который пройдет в июне, мы начнем выкладывать видеозаписи питерских выступлений и потихоньку делать расшифровки по отдельным направлениям. Все видео традиционно можно будет найти в нашем YouTube-канале.

Первый докладчик — Алексей Миловидов из «Яндекса». Алексей — разработчик ClickHouse и уже не первый раз выступает на HighLoad++. Он рассказал, почему не тормозит Яндекс.Метрика, затронул тему нейронных сетей и поведал как получать структурированные данные. Отдельного упоминания удостоились сети Фейстеля и их влияние на решение различных задач.

Рассказ Станислава — про то, как нейронные сети заменяют автокад-программы, которые используются сегодня для индивидуального проектирования зубных коронок. Раньше на этот процесс могло уходить больше трех часов, а сейчас это занимает около 10 минут. Заказчик ПО — одна из крупнейших зубопротезных компаний, которая активно использует его в своей повседневной работе.

Дмитрий говорил о том, зачем nginx решил писать собственный интерпретатор JS. Изначально они пытались решить задачу подключения авторизации на уровне nginх, чтобы сервисы получали уже авторизованное обращение. Есть openresty, который эту задачу решает, но с ним вышли философские разногласия: nginx работает на небольшом количестве директив с возможностью их комбинации, в то время как в openresty набор широкий, но предназначен для решения всевозможных узкоспециализированных задач. Выбрали популярный язык JavaScript — C-like-синтаксис, потому что он хорошо ложится на конфигурационные файлы nginx.conf. Модель (обработка по событиям) хорошо подходит для nginx, обработчики не бл��кируют друг друга, ветвления могут породить новые события. nginx работает так же, только внизу C. После этого Дмитрий рассказал, что из этого всего получилось, и чего ждать дальше.

Андрей рассказывал о технических особенностях реализации поиска в ArangoDB и о разных вариантах скоринга записей с кастомизацией алгоритма. А затем поделился кейсами реальных внедрений. Первый — на большой медицинской базе данных. Второй — в решении графовой задачи. В первом случае другим базам данных не хватало ресурсов для обработки, в то время как у Arango таких проблем не было. Во втором он организовал smart-хранение, чтобы логические кластеры графа располагались на одном сервере.

Главный тезис выступления: 90% мониторинга — это кодинг, а не установка каких-то инструментов с их настройкой. Поэтому он требует проектирования, планирования и разработки, а также участия программистов, а не только админов. Дальше Евгений говорил о конкретных проектах и о мониторинге на разных уровнях.

Параллельно докладам в лаунж-зоне стартовал коучинг по применению психологических практик в управлении от Aletheia Business. На нём сразу вспыхнули жаркие споры и обсуждения. Тема управления сотрудниками, а точнее манипуляция их чувствами и решениями, очень актуальна. Представьте, что любые решения и чувства человека можно оцифровать, всего лишь попросив его заполнить анкету.

И если чувства и поведение работника поддаются оцифровке и измерению, возможно, то же самое получится сделать для более глубоких чувств, например, для любви. Несмотря на неоднозначность, многие крупные корпорации уже взяли эту стратегию на вооружение.

В это же время в зале для митапов М1 Василий Пантюхин рассказывал, как научиться делать легкие для восприятия диаграммы.

Партнеры конференции не давали участникам скучать. Например, на стенде сообщества Elixir-Lang Moscow можно было поиграть в квиз по Elixir. PVS-Studio предлагала попробовать бесплатную enterprise-лицензию, а Dell — поучаствовать в лотерее. Миран приглашал сразиться в Server installation v2: за минимальное время установить 12 дисков в два сервера и подключить их к коммутаторам.

На нашем стенде можно было выиграть кружку или получить стикерпак — его давали за любой пост в соцсетях с хэштегом #SaintHighLoad2019. Также наши ребята непрерывно премировали авторов самых ин��ересных вопросов спикерам классными книгами. Это стимулировало участников конференции задавать вопросы через микрофон в зале, а не в кулуарах или чате.

DataArt на своем стенде тоже раздавала классные призы. Все, кто подходил к ним, получали баночку Doctor Pepper для зарядки мозгов (говорят, доклады слушать с ним гораздо легче) и различные сувениры. А к концу дня ребята разыграли около десятка дополнительных призов среди тех, кто играл в Skillotron.

Команда Dell EMC решила, что активности на стенде будут не только интересными, но и полезными. Поэтому привезли кластер СХД XtremIO и рассказывали о его устройстве. Развлечения тоже были: различные задачки, лотерея, KeyBoard Strik.

Из прочего — в вышеупомянутом «Атриуме» перед залом «Нева» в течение дня все участники могли выпить кофе или чай и перекусить вкусными клаб-сэндвичами и цезарь-роллами. И все это в дополнение к обедам в соседнем Paulaner.

У конференции был свой телеграм-чат на 2,5 тыс. участников, где активно обсуждали выступления, назначали встречи и записывались на ми��апы. И раз уж мы опять вспомнили про них, давайте на минутку вернемся к докладам, поскольку нам хочется упомянуть еще три-четыре самых ярких.

Это рассказ об изнанке сервиса Одноклассников по продаже китайских товаров. Началось все с того, что в mail.ru появилась платформа, через которую можно делать заказы и отслеживать доставку. А дальше Одноклассники стали одним из фронтендов этой платформы. Про настройку этого высоконагруженного решения и рассказывал Александр.

Основной рассказ был не про репликацию, а про проблемы производительности. Например, писать ли в БД все подряд — на всякий случай? Ответ Андрея: все нужно писать в логи, организуемые отдельно, а в БД — направлять операционную нагрузку. И основная нагрузка должна приходиться на операции чтения, а не записи.

Затем Андрей рассказал про настройки потоковой репликации. Основной момент: задержка репликации должна быть разумной, а не минимальной, и соответствовать актуальным задачам при запросах.

Ростелеком сделал свою платформу множественной обработки больших первичных массивов данных. У них получилось ощутимо снизить нагрузку на сети и сделать ее более равномерной без оптимизации существующих обработчиков, чисто за счет платформы. Данное решение Ростелеком выкладывает в open source и хочет, чтобы проект развивался и дальше.

Доклад Алексея — про устройство доставки файлов в ВКонтакте на региональные сервера для экономии трафика и снижения нагрузки на центральные дата-центры. Есть два способа. Первый используется для тяжелого видео, музыки, прокси для фото, документов, а второй — для всех остальных данных. Возможности хранения у региональных серверов ограничены, и у них есть система рейтингов, определяющая, какие данные хранить, а какие — нет. Загрузка контента всегда идет на центральный сервер с проксированием в региональном — без этого контент может быть недоступен из другого региона, а он может потребоваться сразу.

К концу дня всех участников ждали очередные активности: встреча с Runa Capital, Мозгобойня, последний митап с Олегом Бартуновым. А ещё множество настольных и игр и дружеский нетворкинг. Всех участников активно зазывали на Мозгобойню. Несмотря на слегка пугающее название, это была скорее развлекательная викторина, а не сложная эрудическая игра. Тех, кто приходил без команды, записывали в отдельный список, после чего подбирали достойную компанию для победы — чем многие и воспользовались.

Вечер — время хорошего дружеского нетворкинга. Тут и там обсуждали новые БД, мониторинг, нейронки, контейнеры и виртуалки, а также разные идеи для стартапов. Кофе сменилось пивом, а роллы и сэндвичи — большим количеством разнообразных закусок.

Самое продуктивное общение — в неформальной обстановке. Участники, пообщавшись в чате, развиртуализовывались за бокалом пенного напитка, и начинали рьяно обсуждать прошедший день. Многие познакомились уже во время обеда, и неформальная вечерняя обстановка дала еще один толчок к продолжению общения, обмену опытом и обсуждениям выступлений и способов решений различных задач.

Атриум был заполнен почти полностью, кое-кто общался прямо у стендов партнеров, другие сидели на полу и стульях в коридоре, а некоторые участники выбрали кресла лаунж-зоны для уютного междусобойчика. В коридорах конференции стоял громкий гул обсуждений, и даже вечером казалось, что конференция и митапы в полном разгаре.

Два дня пролетели на одном дыхании, особенно для нас — организаторов. Очень приятно было видеть, что HighLoad++ достигла своей главной цели — в очередной раз объединила разработчиков высоконагруженных систем, дала толчок новым идеям и, безусловно, помогла многим взглянуть на их рабочие проблемы и боли под новым ракурсом. Будем надеяться, что многие нерешенные задачи будут решаться, а опыт, которым делились спикеры за все время конференции, будет использован в новых рабочих задачах.