И снова Vertica на HighLoad++

    Как и в прошлом году, выступил на HighLoad++. На этот раз мой доклад шел в секции «Базы данных», я рассказывал о том, какие системы хранения рационально использовать для задач многомерного анализа больших данных. Слайдов на сайте организаторов пока нет, как только появятся — я добавлю ссылку. Вкратце, презентация была построена так:
    • Постановка задачи, то есть что такое многомерный анализ больших данных
    • Функциональные требования, которые следуют из постановки задачи
    • Технические сложности
    • Как их можно решать, при помощи каких архитектурных решений и систем

    Вертика была представлена как один из вариантов, но про нее я рассказывал подробнее всего, показывая, как и за счет каких архитектурных решений она хорошо подходит под аналитические задачи и обгоняет всех конкурентов. На мой взгляд, технические решения Вертики — это некоторый эталон, к которому можно стремиться. Другие рассмотренные варианты были: любимый всеми MySQL c TokuDB + шардинг, ParAccel (он же Amazon Redshift) и Hadoop Stinger, который мы пока не пробовали, но то, что они уже сделали или собираются, выглядит очень многообещающе. Ну и еще ряд других я только упомянул и привел результаты нашего сравнительного теста нескольких разных систем в этом году. Да, в этом году мы решили посмотреть по сторонам, не появилось ли что-то лучше или хотя бы сравнимое с Вертикой по производительности, но дешевле (в плане стоимости лицензии + железа + администрирования и разработки). Пока не нашли. Результаты этих изысканий частично вошли в доклад.

    Как мне кажется, судя по реакции зала, выступление удалось. По сравнению с предыдущим годом было гораздо больше интересных вопросов от слушателей, причем были хорошие вопросы и по содержанию доклада и вполне практические вопросы от тех, кто тоже использует Вертику или серьезно об этом думает. На все я постарался ответить, так как мой доклад был последним, никто не подпирал сзади и можно было спокойно поговорить. Если у кого остались вопросы или появились новые — спрашивайте.

    Для тех, кто не очень знает, что это за зверь такой — Вертика — на Хабре есть две достаточно подробные статьи:
    1. Моя прошлогодняя статья: habrahabr.ru/company/lifestreet/blog/147254
    2. И подробная статья этого года архитектора из Йоты: habrahabr.ru/post/190740

    P.S. Мы в нашей компании успешно используем Вертику уже более трех лет.
    • +11
    • 5,2k
    • 2
    LifeStreet Media
    32,24
    Компания
    Поделиться публикацией

    Комментарии 2

      0
      По поводу Вертики согласен — на текущий момент думаю самое удачное решение на рынке хранилищ данных для аналитики. Горизонт применения очень большой. Легко собирается реалтайм, что особо интересно для телекомов и банков, для которых контроль работы сети или безопасности проводимых транзакций имеет критическое значение.

      Жалко мы не смогли присутствовать, в следующем году исправим ситуацию :)
        0
        Я думаю, что для вас лучший способ поприсутствовать — это выступить со своим докладом. Например, про использование Вертики в риалтайм, или про риалтайм аналитику вообще. Мы, кстати, тоже недавно начали такой проект, после того как предыдущая попытка на Кассандре (с использованием идей Twitter Rainbird) была частично успешной.

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое