company_banner

Чемпионат #PGHACK. Платформа

    Уже в эту субботу в московском офисе Avito пройдёт чемпионат по PostgreSQL. Это соревнование по управлению базами данных с практическими задачами. Мы реализовали его на платформе, полностью собранной из опенсорс-компонентов. Протестировали уже на двух внутренних соревнованиях (получилось интересно), и теперь готовимся к тому, чтобы провести #PGHACK для всех желающих постгресменов (мы ещё принимаем заявки на участие, ссылка в конце текста). В этом посте я расскажу о том, как мы готовили платформу для чемпионата.



    Коротко об игре


    Подробно я рассказывал об игре в этом посте. Если говорить коротко, это как CTF, только про Postgres.


    Как это работает?


    Платформа собрана из опенсорсных компонентов, проверенных временем. Всё это я собирал и отлаживал сам, кроме настройки OpenVPN. Расскажу о составляющих подробнее.



    Игровая сеть VPN


    Для построения игровой сети используется Open VPN — решение довольно стандартное для таких задач. Никакого дополнительного ПО на ноутбуках игроков не требуется, так как к сети они будут подключаться с виртуальных машин с предустановленным VPN. Ключ от игровой сети (и все следующие задания) участники возьмут в таск трекере. Выполнение задач проверит чекер.


    Таск-трекер


    Пользователь авторизуется в игре с выданным ему логином и паролем, после этого он видит свой уникальный ключ к VPN для настройки виртуальной машины и трекер со списком задач, которые ему будет необходимо решить. Во время чемпионата включится лидерборд, на котором можно будет наблюдать за изменением количества очков у других участников.


    Чекер


    Чекер ходит по виртуальным машинам игроков и проверяет результаты — в принципе, так же, как на CTF. Под капотом у него Fabric, который изначально предназначен для параллельного выполнения задач на множестве серверов/компьютеров. Мы не стали делать новый компонент: Fabric обеспечивает максимально честный и действительно параллельный процесс проверки — это у него в крови.


    Виртуальные машины


    На виртуальных машинах, которые подключаются к VPN, установлены база данных и приложение. В них решаются задачи. Виртуальные машины собираются автоматически с помощью Packer от HashiCorp. Процесс провижна тоже автоматический. Для этого используется Ansible, поэтому виртуалку можно пересобирать любое количество раз. Правильность этого решения подтвердил процесс подготовки — мы полностью исключили рутинные операции и старались минимизировать изменения и уточнения.


    Подготовка заданий


    Часть заданий была придумана сразу, часть изменилась во время обсуждения и тестовых прогонов. Мы завели в Confluence табличку, в которую можно было добавить свою задачу и описать её решение. Было важно придумать задания с однозначными решениями. Проверка должна быть быстрой, простой и автоматической: иначе параллельно проверить 50-60 участников (на такое количество игроков рассчитывалась система) было бы проблематично. Какие-то задачи даже упрощали. В некоторых — отказывались от малораспространенных решений в пользу стандартных методов работы.


    Изначально планировали, что заложим времени столько же, сколько на нормальный честный CTF — около 8 часов. Но поняли, что этого довольно много. В итоге #PGHACK будет длиться около 4 часов, не считая время на настройку окружения. Как показала практика, postgres-гроссмейстер может решить все задачи за 2 часа.


    Подготовка игрового приложения


    Первая версия сайта мини-Avito была сделана во время новогодних каникул на Flask. Она не имеет ничего общего с технологиями, которые используются на реальном сайте, но пытается быть на него похожей — это тоже доска объявлений.



    В процессе работы из приложения был полностью выпилен ORM, и оно стало вызывать функции базы данных. Игровой dataset мы взяли у коллег-аналитиков, которые пару месяцев назад проводили свой конкурс. Это “живые” объявления с полностью убранными персональными данными. Весит около 4 Гб, поэтому мы не можем выполнять большие сложные запросы на виртуальных машинах. Проверки решений задач сделаны лёгкими и быстрыми.


    Допущенные ошибки


    На первом этапе подготовки мы планировали быть в тренде: собрать платформу из микросервисов на разных языках — Go, Python, PHP. Но мы от этого отказались: для участников разбираться в большом количестве непонятных микросервисов было бы сложно, и игра превратилась бы не в починку Postgres, а в ковыряние микросервисов — кто куда ходит, что делает.


    Была еще одна трендовая мысль — использовать Docker. Отказались, т.к. поняли, что большинство DBA не готовы к его применению: они работают с другими системами и в других плоскостях. Пришли к классической виртуалке, как и в большинстве CTF.


    На бою выяснили, что чекер должен быть серверным. Изначально он ходил по SSH на игровую виртуалку и выполнял команды на её стороне. На первой тестовой игре мы выяснили, что те наши ребята, у которых была хорошая база знаний по Linux, отлавливали эти команды и могли бы обмануть чекер. Поэтому он стал серверным, и большая часть проверок перенеслась туда.


    Список open-source компонентов платформы PGHACK


    Packer
    Ansible
    VirtualBox
    OpenVPN
    Fabric
    Flask


    И, конечно же, PostgreSQL!


    Что потом


    Мы не планируем останавливаться только лишь на проведении одного чемпионата #PGHACK. Хочется, чтобы это стало регулярным мероприятием для postgres-комьюнити. Поэтому подробного разбора задач не будет.


    После мероприятия появится фотоотчет на нашей странице в FB. Кстати, регистрация на чемпионат ещё открыта: заполняйте заявку до вечера 31 августа и участвуйте в #PGHACK!

    Авито
    197,00
    У нас живут ваши объявления
    Поделиться публикацией

    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое