Привет, Хабр. Мы задумали встретиться офлайн в Москве и поговорить о том, как строить быстрый бэкенд и развивать его. Будут доклады о том, как живётся с большим кластером MongoDB, как битмап-индексы помогают быстро искать по каталогам и то, как анализировать большие объемы Jaeger-трейсов. Читайте пост: ниже тезисы и ссылка на регистрацию, встречаемся 4 июня.
Это рассказ о том, как как мы решили продуктовую задачу по быстрой фильтрации модификаций в каталогах: начиная от сбора требований до финального решения на продакшене.
В процессе расскажу о контексте и проблематике с которой столкнулись, функциональных и нефункциональных требованиях к ручкам фильтрации. Также какие решения и алгоритмы мы рассматривали, их эволюцию от MVP до production ready (как решение «в лоб» эволюционировало в достаточно эффективный алгоритм основанный на битмап индексах).
В конце поделюсь тем, каких результатов нам удалось добиться, какие есть плюсы и минусы у выбранного подхода, а также о дальнейших шагах в поддержке данного решения.
Если ваш прод уже давно представляет собой большую и запутанную систему из множества сервисов, то, наверняка перед вами неоднократно вставал вопрос: «Что-то все лагает; как бы сделать побыстрее?». Вот и перед нами он встал. Но стандартные средства поиска узких мест (такие как сбор метрик, профилирование и просмотр Jaeger-трейсов), к сожалению, не особо помогают понять, что же конкретно надо делать прямо сейчас.
В процессе решения этой проблемы мы разработали библиотеку для анализа больших объемов Jaeger-трейсов, позволяющую не только искать потенциальные узкие места, но и заранее оценивать эффект от потенциальных оптимизаций. Про нее я и расскажу в докладе.
30 TiB в MongoDB и как мы с этим живем — Сергей Загурский, Joom
В качестве основного хранилища мы используем MongoDB, и у нас одна из самых больших инсталляций в Европе. В своем докладе я расскажу об особенностях топологии наших кластеров, о наших инструментах мониторинга на базе Prometheus и Elasticsearch, работе с бэкапами и о автоматизации развертывания и обслуживания кластеров MongoDB со множеством инстансов. Расскажу о том, как доработали серверы с базами данных, о наших кастомных инструментах для проверки «здоровья» кластеров для повышения отказоустойчивости, а также покажу, какой разработали инструментарий для работы с Terraform.
Будем рады видеть всех офлайн. Регистрируйтесь на Timepad.
Отчёт и видеозаписи с митапа выложим в этом блоге.
Как битмап-индексы помогают быстро искать по каталогам — Денис Колпаков, Авито
Это рассказ о том, как как мы решили продуктовую задачу по быстрой фильтрации модификаций в каталогах: начиная от сбора требований до финального решения на продакшене.
В процессе расскажу о контексте и проблематике с которой столкнулись, функциональных и нефункциональных требованиях к ручкам фильтрации. Также какие решения и алгоритмы мы рассматривали, их эволюцию от MVP до production ready (как решение «в лоб» эволюционировало в достаточно эффективный алгоритм основанный на битмап индексах).
В конце поделюсь тем, каких результатов нам удалось добиться, какие есть плюсы и минусы у выбранного подхода, а также о дальнейших шагах в поддержке данного решения.
Ищем боттлнеки за 30 минут с помощью Jaeger трейсов — Артём Клюквин, Joom
Если ваш прод уже давно представляет собой большую и запутанную систему из множества сервисов, то, наверняка перед вами неоднократно вставал вопрос: «Что-то все лагает; как бы сделать побыстрее?». Вот и перед нами он встал. Но стандартные средства поиска узких мест (такие как сбор метрик, профилирование и просмотр Jaeger-трейсов), к сожалению, не особо помогают понять, что же конкретно надо делать прямо сейчас.В процессе решения этой проблемы мы разработали библиотеку для анализа больших объемов Jaeger-трейсов, позволяющую не только искать потенциальные узкие места, но и заранее оценивать эффект от потенциальных оптимизаций. Про нее я и расскажу в докладе.
30 TiB в MongoDB и как мы с этим живем — Сергей Загурский, Joom
В качестве основного хранилища мы используем MongoDB, и у нас одна из самых больших инсталляций в Европе. В своем докладе я расскажу об особенностях топологии наших кластеров, о наших инструментах мониторинга на базе Prometheus и Elasticsearch, работе с бэкапами и о автоматизации развертывания и обслуживания кластеров MongoDB со множеством инстансов. Расскажу о том, как доработали серверы с базами данных, о наших кастомных инструментах для проверки «здоровья» кластеров для повышения отказоустойчивости, а также покажу, какой разработали инструментарий для работы с Terraform. Регистрация
Будем рады видеть всех офлайн. Регистрируйтесь на Timepad.
Отчёт и видеозаписи с митапа выложим в этом блоге.
