Подсмотрено, подслушано и записано на HighLoad++ 2018

Мероприятие получилось очень атмосферным, потому хотим поделиться его деталями в не совсем обычном формате. В этот раз мы примерили на себя роль участника конференции, чтобы подсмотреть, подслушать и записать то, что происходит на площадке.

Мое путешествие на конференцию начинается от музея-панорамы «Бородинская битва». Жду автобус с надписью «HighLoad++», который повезет нас в Московскую школу управления Сколково. Ехать примерно 20 минут. В пути кто-то изучает программу конференции, кто-то (не иначе как спикер) перечитывает речь, а с заднего сиденья доносится серьезный спор двух коллег-айтишников.

В автобусе знакомлюсь с Ольгой Мегорской — спикером из Яндекса, которая слегка удивлена, что ее пригласили выступать. Позже я обязательно расскажу про Олю и ее доклад. Мы уже на месте, заходим внутрь и как будто переносимся на другую планету — технологий, общения, вопросов и ответов, новых идей, объективных оценок, общих интересов и вдумчивых взглядов.

Программа конференции насыщенная, поэтому, не теряя ни минуты, отправляюсь слушать доклады, которых в этом году заявлено аж 138, плюс 73 митапа.

Для Олега и Федора, в IT-сообществах известных как «деды» российского Postgres, это уже далеко не первый HighLoad++. В этом году они вместе со слушателями разбирались, что вообще за зверь такой этот хайлоад, и пришли к выводу, что в идеале хайлоад в компании возникать не должен — однако он неизбежен. Также спикеры говорили про действия, которые приводят к хайлоаду «на ровном месте», про известные, но важные ошибки. Грех было не пройтись по Postgres и не обсудить таймауты, нелепые ошибки и камни, под которые редко кто заглядывает.

Конспект по докладу от одного из участников конференции можно почитать здесь.

Иван уже третий год выступает на HighLoad++ и в этот раз рассказал интереснейшую историю о том, как его команда, намереваясь сократить time to market, оказалась утоплена в поддержке, потеряла всяческое доверие своих пользователей и приобрела до отказа забитый бэклог. За последние годы Booking.com прошел через три поколения приватных облаков. Первое было построено на Mesos и Marathon, второе — на OpenShift. Сейчас используется чистый Kubernetes. Иван поведал, как они жили с каждым из этих продуктов, почему приходилось отказываться от них и как внедрение контейнеризованных приложений и сервис-ориентированной архитектуры заставило их перестраивать внутренние процессы. А вот, кстати, и конспект этого доклада.

Дмитрий начал свое выступление с вопроса: «Можно ли размещать stateful в Kubernetes?». И сам же ответил на него: «В целом да, но...» , объяснив, что за этим «но» кроется огромное количество нюансов. Чтобы разобраться во всем, Дмитрий рассказал слушателям о философии высокой доступности в Kubernetes, гарантии согласованности и хранении данных. Конспект доклада есть, например, вот тут.

Александр тоже не новичок на HighLoad++, к тому же по праву считается экспертом в MySQL. В своем докладе он рассказал о том, как с помощью всего одной команды развернуть целый MySQL-кластер (Percona XtraDB Cluster), а также как Kubernetes & Openshift позволяют оркестрировать контейнеры и быстро развертывать приложения. После вместе с участниками конференции он попытался сломать только что развернутый кластер для того, чтобы посмотреть, как Openshift и Percona XtraDB Cluster починят сами себя.

Алексей, как человек с большим опытом в качестве PostgreSQL-консалтера, рассказал про основные ошибки, которые допускают команды разработки при работе с Postgres. Откуда берутся все проблемы? Их порождают некорректное использование возможностей Postgres, неверно спроектированная архитектура БД и неправильно выстроенный жизненный цикл разработки. Алексей подсказал своим слушателям, как разобраться во всем и начать наводить порядок. А также рассмотрел ситуации, связанные с планированием, мониторингом, проектированием схем данных и проблему длинных транзакций. А вот конспект по данному выступлению.

Отметим еще доклад от Data Egret. У Ильи получился классный гайд для всех тех, кого мучает вопрос «Как же стать классным DBA?». По мнению Ильи, есть несколько причин, чтобы погрузится в данную специализацию: скучно точно не будет; покуда есть данные, будут и БД, и, пожалуй, самая мотивирующая — DBA это как сантехник, но только в тепле и за клавиатурой. Конспект можно найти тут.

Чем примечательно такое мероприятие, как HighLoad++? Если есть какой-то крутой проект, на который следует обратить внимание, то он обязательно всплывет на конференции. На этом HighLoad++ очень много говорили о ClickHouse.

Алексей — разработчик ClickHouse и довольно часто выступает с докладами на конференциях. Проблематика выступления Алексея кажется простой и понятной: что делать, если ваш запрос выполняется недостаточно быстро, и можно ли его ускорить? Но вот в самом докладе уже есть достаточно хардкорные вещи: как понять, почему запрос выполняется 10 мс, а не 5? На что стоит обратить внимание при проведении анализа производительности запросов, чтобы выявить проблему медленной их работы.

Один из очень глубоких докладов представил Брюс Момжан, соучредитель и член основной команды PostgreSQL Global Development Group, который работает над PostgreSQL с 1996 года и выступал на HighLoad++ в далеком 2007 году.

Он говорил о том, как open source ПО может жить в течение длительного времени и с годами набирать популярность, а еще о различии между жизненными циклами у проприетарного программного обеспечения и ПО с открытым исходным кодом. В своем выступлении Брюс затронул темы того, почему ПО может «умереть», почему Postgres продолжает быть актуальным, обсудил будущее данного проекта и возможные риски.

Энди поднял актуальную тему и рассказал про СУБД будущего, в сторону которых можно посмотреть уже сегодня, а также представил основные принципы автономной СУБД. Между прочим, под руководством Энди создается «самоуправляемая» СУБД PelotonDB.

Несколько лет назад Facebook, на базе своего хранилища RocksDB, создал storage engine для MySQL — MyRocks. Работающая реализация MyRocks выложена в open source.

MyRocks является альтернативой InnoDB и имеет несколько преимуществ, за счет которых увеличивается скорость транзакций на HDD и уменьшается изнашиваемость SSD, а также существенно ускоряются репликации. В своем докладе Ешинори рассказал о том, как они мигрировали из InnoDB и HBase, с какими проблемами столкнулись во время миграции и какие решения нашли.

Алексей Иванов из компании Dropbox впервые на HighLoad++, но с достаточно серьезным и полезным докладом о трафик-инфраструктуре Dropbox. Он рассказывал о том, какую проблему решают точки присутствия, как и с помощью каких технологий распределять трафик по дата-центрам, а также что происходит с трафиком внутри дата-центра. Кроме того, Алексей рассказал о внешней DNS/BGP-балансировке с использованием RUM и ее плюсах и минусах.

Владислав рассказал, зачем вообще нужен шардинг и масштабирование и как это работает в Tarantool. Вплоть до 2018 года единственным средством горизонтального масштабирования СУБД Tarantool был Shard, имеющий существенные недостатки, которые не позволили применить его в одном из важных проектов компании. В начале этого года была завершена разработка нового модуля VShard — альтернативной реализации шардирования. Владислав подробно рассказал про первый модуль Shard, зачем был создан VShard, как он работает, как его использовать и про пользу, которую он может принести.

Олег из команды Authentication & Authorization of web flows in Google, посвятил свое выступление обсуждению сбоев и ошибок, наблюдаемых в распределенных приложениях Google на протяжении уже многих лет, а также рекомендациям по их предотвращению и устранению.

Владимир рассказал о новой платформе распределенной системы управления АЭС. Доклад был наполнен реальными кейсами. К примеру, как разруливать ситуацию, при которой система управления может превратиться в огромный источник DDoS, как обеспечивается управление нагрузками, как устроен QoS и что будет, если отключится система нормальной эксплуатации, как было на Фукусиме.

А вот и Ольга, с которой мы вместе ехали в автобусе, — и, между прочим, на докладе у нее аншлаг. Ее рассказ — о краудсорсинге, мощном инструменте решения производственных задач в самых разных областях. Такой подход позволяет выстраивать масштабируемые и измеримые процессы производства, но не подменяет собой автоматизацию. Ольга рассказала про исследования Яндекса о влиянии суммы вознаграждения на качество выполнения задач, объяснила, где они применяют краудсорсинг, какие возможности это дает и какие требования к экспертизе специалистов появляются в экосистеме краудсорсинга.

Конспект доклада можно найти тут.

Между докладами тоже есть чем заняться: иду в холл, где представлены стенды компаний-партнеров конференции, их в этом году 36. Со всех сторон конкурсы, лотереи и подарки. Вот, например, на стенде PVS-Studio можно выиграть шапку-ушанку, что как раз кстати — зима близко!

Некоторые компании устроили настоящие интеллектуальные битвы за ценные призы, и участникам пришлось в прямом смысле включить мозги и постараться. На стенде GridGain проводили опрос, по результатам которого можно было выиграть наиполезнейшую книгу. Все верно, знание – это светлая сторона силы. Data Egret приглашала всех поиграть в домино с Андреем Сальниковым и делала участникам стильные татуировки. Ребята из Badoo предлагали сыграть в IT-настолку Badoo Tech Alias.

На стенде Авито, как и на докладах, аншлаг. Как оказалось, участники конференции с азартом играют в игру «поставь контейнер на докер». Подробнее об игре и докладах специалистов из Avito можно почитать здесь.

Мне не удалось протиснуться в толпу, поэтому бегу дальше, прихватывая по дороге наклейки и всякие прикольные штуки.

Сбербанк Технологии создал своего чат-бота, а тех молодцов, кто набрал наибольшее число баллов в боте, ждал суперприз – любимое средство передвижение айтишников – самокат. Эх, кто-то теперь будет гонять по офису, а я пока пешком.

Теперь мне понятно, как Райффайзенбанк привлекает своих клиентов: они установили SEGA на ATM. Ребята говорят, что сегодня они здесь вещают не про банк, а про IT, точнее про IT в банке. На данный момент они уже накопили солидный багаж компетенций, которым хотят делиться, поэтому на HighLoad++ пришли с докладом «Нагрузочное тестирование Atlassian Jira» и обсудили с участниками, зачем и когда нужно проводить подобные мероприятия, раскрыв много подводных камней.

Еще можно было вспомнить детство и вытащить панду из автомата с игрушками. Единственное, мы не успели проверить, каково соотношение нормальных попыток к тем, при которых манипулятор на полсекундочки ослабляет хватку в верхней точке, чтобы как бы случайно уронить «добычу». Судя по азарту игроков, с этим было все в порядке.

А мы снова развлекаемся: строим пирамидку с ребятами из PVS-Studio.

Прогулявшись по Сколково, мы убедились, что в этот раз, да и в предыдущие тоже, на HighLoad++ нашлось место всем: разработчикам, тестировщикам, тимлидам, релиз-инженерам, техдирам и даже любителям погамать, которые пришли сюда совместить приятное с полезным.

Несмотря на формальный рекорд, организаторы уже вынашивают в голове очередную порцию идей, которые планируют запилить в следующем году на HighLoad Siberia++, а также питерском и московском HighLoad++. В планах — сделать мероприятие еще более полезным и атмосферным. Записи же докладов с минувшего форума будут выложены на Youtube-канале. Не все и не сразу, но самая интересная часть уже есть.

Stay connected!