Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

28 февраля состоится @Databases Meetup #1 в Mail.ru Group

Блог компании Mail.ru Group PostgreSQL *Администрирование баз данных *Big Data *Интернет вещей

Привет, друзья. Приглашаем всех, кого интересуют вопросы современных производительных баз данных, к нам на первый @Databases Meetup — послушать:

  • как готовить безопасные СУБД без потери производительности, расскажет «Газинформсервис»;
  • как Mail.ru Cloud Solutions искали универсальную базу данных, не нашли — поэтому расскажут, как и на чем построили свою платформу IIoT (спойлер: не обошлось без Tarantool);
  • и напоследок Arenadata познакомит вас с внутренним устройством Greenplum — мощной массивно-параллельной СУБД для аналитических задач.

Встреча пройдет 28 февраля (пятница) в 19:00 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79). Регистрация обязательна и закрывается 26 февраля в 23:59 (или раньше, если закончатся места).
Очень подробная программа митапа
Всего голосов 18: ↑17 и ↓1 +16
Просмотры 1.3K
Комментарии 2

25 июня состоится Online @Databases Meetup

Блог компании Mail.ru Group PostgreSQL *Облачные вычисления *Администрирование баз данных *Kubernetes *


Привет, друзья. Приглашаем на Online @Databases Meetup 25 июня всех, кто вместе с нами интересуется вопросами современных производительных баз данных.

Подготовили для вас увлекательную программу, которая на этот раз полностью из хайлайтов — вы узнаете:

  • Как собрать гибридное облако на Kubernetes, которое может заменить DBaaS, покажет Пётр Зайцев, CEO Percona.
  • Как Mail.ru Cloud Storage эволюционировало за свои три года в проде и вместе с ним менялся подход к Tarantool в его архитектуре, поделится Владимир Перепелица, архитектор Mail.ru Cloud Solutions.
  • Всё о JSON[b] в Postgres расскажет Олег Бартунов, CEO Postgres Professional.
  • А стратегическими планами по развитию Postgres Pro поделится Иван Панченко, заместитель генерального директора Postgres Professional.

Митап пройдет 25 июня (четверг) в 19:00 в формате онлайн. Регистрация обязательна и закрывается 24 июня в 23:59.
Очень подробная программа митапа
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 510
Комментарии 0

4 августа пройдет практикум «Ускоряем ваше приложение с Tarantool»

Блог компании Mail.ru Group Высокая производительность *Администрирование баз данных *Tarantool *


Приглашаем на наш практикум ReBrain × Tarantool: мы научим, как с помощью этой СУБД можно сильно ускорить работу многих приложений.

Пара слов о Tarantool, если вы о нем еще не слышали. Это открытая NoSQL-база данных с сервером приложений на борту, которая хранит данные в памяти. Хранилище персистентно за счет продуманного механизма снэпшотов и write ahead log'ов. В Tarantool встроен LuaJIT (Just-In-Time Compiler), позволяющий исполнять код на Lua. Также можно писать хранимые процедуры на C, использовать базу данных как кэш. Она обслуживает до миллиона запросов в секунду, ищет по вторичным индексам и поддерживает SQL. В Tarantool можно исполнять код рядом с данными, это позволяет ускорить операции.
Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 1.5K
Комментарии 4

Вебинар «Деплоим приложение на Tarantool Cartridge в Kubernetes» 15 декабря

Блог компании Mail.ru Group Высокая производительность *DevOps *Kubernetes *Tarantool *


15 декабря в 17:00 проводим бесплатный вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS». Расскажем, как буквально в две команды разворачивать масштабируемые кластерные приложения.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 351
Комментарии 0

Новый релиз — Tarantool 2.7

Блог компании Mail.ru Group NoSQL *Администрирование баз данных *Tarantool *


Мы выпустили несколько новых релизов, главный из которых это Tarantool 2.7.2. Если кратко, то мы увеличили стабильность синхронной репликации и выборов лидера, исправили ряд проблем со сборщиком мусора, сделали скачок в удобстве документации, вывели из беты профилировщик памяти, выпустили прототип модуля с поддержкой HTTP/2, а деплой крупных кластеров с помощью Ansible-роли стал до 100 раз быстрее.

Рекомендованная конфигурация теперь выглядит как

  • Tarantool 2.7.2
  • vshard 0.1.17
  • Cartridge 2.5.1
  • Cartridge Ansible role 1.8.3
  • Cartridge CLI 2.8.0
  • CRUD 0.6.0

Ниже вы найдете все ссылки и детали по новым фичам.
Читать дальше →
Всего голосов 17: ↑16 и ↓1 +15
Просмотры 3.3K
Комментарии 5

Открытый вебинар по Tarantool — 14 мая 16:00 МСК

Блог компании Mail.ru Group
image

В пятницу (да, сегодня) в 16:00 мск приходите на вебинар, где мы расскажем вам две истории.

Первым выступает Сергей Кононенко, разработчик из пресейл команды. Он расскажет про то, как делать нагрузочное тестирование Tarantool с помощью инструмента k6. А тем, кто не знает — что это за инструмент такой, и как в целом сейчас принято решать задачи нагрузочного тестирования.

Второй доклад от Александра Ляпунова, тимлида из core-команды. Саша расскажет про новый C++ коннектор. Почему именно С++, какие принципы заложили в архитектуру, его асинхронность, модульность и производительность.

Транслируем доклады и отвечаем на вопросы в прямом эфире на нашем Youtube-канале.

Подключайтесь в 16:00 МСК
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 254
Комментарии 0

Новый релиз Tarantool 2.8

Блог компании Mail.ru Group Tarantool *

Если кратко: довели автоматический failover RAFT до статуса production ready, улучшили cartridge для работы в виртуальных средах, создали инструмент для легкой смены версии Tarantool на более свежую, а развертывание крупных кластеров с помощью Ansible-роли стало в 15-20 раз быстрее. Здесь перечислены лишь основные моменты, полный список обновлений — ниже.

Читать дальше
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 1.2K
Комментарии 1

Приходите считать котиков на Tarantool-митап 30 сентября

Блог компании Mail.ru Group Go *Tarantool *

30 сентября мы соберемся на онлайн-митапе, чтобы поговорить о возможностях СУБД Tarantool, посчитать всех петербургских домашних кошек и быстро показать их распределение на карте в зависимости от района. На такую необычную задачу нас вдохновило сообщение петербургского Управления ветеринарии за 2018 год, согласно которому в городе жило около миллиона домашних кошек. Нам стало интересно, насколько выросло поголовье за прошедшие три года и как животные распределены по городу, какие районы можно назвать «кошачьими»?

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 246
Комментарии 0

Из говнокода в Highload. Используем ТАРАНtool. 5 рецептов повышения производительности

Высокая производительность *PHP *NoSQL *
Ко мне обратился один руководитель стартапа социальной игры с просьбой увеличить производительность своего проекта. На этом этапе был сделан и запущен прототип проекта. И надо отдать должное разработчикам, что проект работал и даже приносил какую-то прибыль. Но, запускать рекламную компанию не имело смысло, так как проект не выдерживал ни каких нагрузок. Валился MySQL (35% ошибок).

Код проекта… В общем у меня осталось впечатление, что писал его недоученный студент… И это, немотря на то, что уже был сделан частичный рефакторинг другим программистом. Единственное, что радовало, то это то, что не использовался какой-либо фреймворк. Конечно, это вечно флеймовый вопрос: Иисус или Магомед? Быть или не Быть? Unix или Windows? Использовать или не Использовать? ИМХО, Моё мнение: фреймворки заточены под узкий круг типовых задач. Социальный проект — задача, как правило, не типовая… Но, в целом, мне проект показался интересным и я решил взяться за улучшение. На этом вступление можно закончить…

Наверно, про повышение производительности и тему highload не писал только ленивый WEB разработчик, знающий хоть что-то в этой области. Принципиально, что-то нового, в данной статье вы не найдёте. Основные идеи разработки highload проектов, были мною изложены в цикле статей HighLoad. Три кита.. Если вам интересно, как я увеличил производительность PHP проекта, используя NoSQL хранилище tarantool, то Добро пожаловать под кат.

Хотя, принципиально можно использовать другое, подходящее под данный круг задач, key/value хранилище, и реализация серверной логики может быть на любом другом скриптовом языке.
Читать дальше →
Всего голосов 53: ↑31 и ↓22 +9
Просмотры 32K
Комментарии 52

Использование опыта тестирования реляционной СУБД для технологии NoSQL

Блог компании Mail.ru Group
Tarantool — это открытое, высокопроизводительное хранилище данных. Такие характеристики системы, как простота и производительность, во многом определяют область её применимости. На шкале решений для хранения данных Tarantool находится где-то посередине между традиционными реляционными системами, такими как MySQL, и решениями для кэширования данных, такими как memcached. В основе системы лежит персистентное хранилище данных, полностью отображённое в оперативную память, и высокопроизводительные индексы для доступа к данным на основе хэшей и бинарных деревьев.

В мои первые месяцы работы над Tarantool я попытался создать инструментарий тестирования, похожий на тот, что был в моём предыдущем проекте с открытым исходным кодом — MySQL.
Читать дальше →
Всего голосов 52: ↑42 и ↓10 +32
Просмотры 9.7K
Комментарии 17

Tarantool Данные и Протокол

NoSQL *

Tarantool это замечательное высокопроизводительное no-Sql решение, разработка компании Mail.Ru. Исходники

Данное решение позволяет использовать как режим key/value, так и выборку множества записей в рекордсет по одному или нескольким критериям (полям поиска). Аналогов в рунете и не только, я пока не встречал. С натяжкой можно сравнить редис. Но в редисе — списковые данные и их нельзя выбирать по ключу. Судя до утверждениям разработчиков, скорость доступа по ключу превосходит memcache, при этом еще в бэдграунде осуществляется постоянное сохранение данных на диск. Но к сожалению, данная разработка имеет единственный perl клиент для доступа к данным, из-за чего не имеет такой популярности, как например у redis или memcache.

В doc/box-protocol источников есть описание Протокола, которое я в настоящее время переработал для написания клиента на Си и PHP. Изучив Протокол, вы можете реализоать нативный клиент на любимом Вам языке. Надеюсь, данная статья в этом Вам пригодится.

Читать дальше →
Всего голосов 66: ↑50 и ↓16 +34
Просмотры 5.3K
Комментарии 40

PHP модуль для Tarantool

NoSQL *
imageTarantool это разработка компании Mail.ru. Представляет высокопроизводительное key/value no-Sql решение.Отсутствие портов для популярных языков программирования сдерживает популярность данной БД. Попытался восполнить данный пробел.
Ветка экспериментальная. Исходники
Далее примеры.
Читать дальше →
Всего голосов 30: ↑27 и ↓3 +24
Просмотры 6.4K
Комментарии 32

Confetti — простая и быстрая конфигурация Вашего проекта

*nix *
Если Вы пишете проект чуть более среднего, то как правило сталкиваетесь с настройками и конфигурированием. Есть не мало решений на С/С++, хочу рассказать еще про одно довольно-таки простое и красивое решение от Компании mail@Ru, которое я использовал в своем проекте

Сам я пользовался разными парсерами конфига, в последних проектах использовал re2c (конфиг был похож на конфиг nginx). У re2c есть даже немного общего с Конфети — это кодогенерация:
никаких настроечных файлов и структур кодить не надо, все за вас сделает Маг Confetty.

К сожалению, документации ни какой, иначе не было бы этой статьи. Интересующим, милости просим…
Читать дальше →
Всего голосов 14: ↑8 и ↓6 +2
Просмотры 907
Комментарии 4

Уникальные возможности Tarantool

NoSQL *

Tarantool — это крайне интересная база данных.
Представление о ней можно получить из доклада Константина Осипова Tarantool: как обрабатывать 
1,5 млрд запросов в сутки?

Этой заметкой я хочу обратить внимание на уникальные возможности, которые отличают Tarantool от других подобных решений и делают его полезным инструментом.
Кроме того, я расскажу, чем можно помочь этому открытому проекту и почему это круто :)
Читать дальше →
Всего голосов 104: ↑84 и ↓20 +64
Просмотры 87K
Комментарии 153

Основные тезисы конференции HighLoad++ 2011

Я пиарюсь
imageВ октябре 2011 года в Москве проходила ежегодная конференция разработчиков высоконагруженных проектов HighLoad++.
Решил поделиться с читателями основными тезисами с конференции. Поскольку вся информация открыта и доступна на странице конференции, решил что собрать все тезисы вместе будет не такой уж и плохой затеей. Сразу отмечу, что в отчёте не содержится детальной информации о каждом докладе — затронуты лишь ключевые моменты.
Итак, о чём говорилось на HighLoad++ 2011.
Читать дальше →
Всего голосов 32: ↑30 и ↓2 +28
Просмотры 3.9K
Комментарии 2

Начинаем использовать Tarantool в Java проекте

Java *NoSQL *
Tutorial
    В статье ниже я попытаюсь кратко рассказать о том, что такое Tarantool и как начать его использовать в уже существующем проекте если вы программируете на Java. Если же вы программируете на другом языке, то вам могут быть интересны некоторые инструменты доступные в коннекторе, такие как возможность редактирование xlog файлов и создание snap файлов из любых данных. Если вы не знаете, что такое Tarantool, то лучше прочитать этот пост.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 16K
Комментарии 6

Проксирование и автошардинг в Tarantool/Box

NoSQL *
После многочисленных обсуждений, был создан черновик спецификации на проксирование и автошардинг в Tarantool/Box.
Общая идея такая, что для того, чтобы скрыть наличие шардинга от пользователя, на локальном хосте приложения (PHP/Perl/etc) поднимается прокси, которая уже маршрутизирует запросы на шарды, и умеет найти нужный ключ в случае решардинга.
Сам решардинг производится уже с помощью Lua на самих шардах, при этом прокси переносит наиболее горячие ключи на новые шарды при доступе к ним, что должно снизить нагрузку на систему во время решардинга.

Полностью спецификация лежит на github wiki.

Было бы крайне полезно обсудить спецификацию на предмет потенциальных проблем, неучтённых ситуаций, удобства использования, прежде чем её реализовывать.
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 2.9K
Комментарии 0

Изучаем Tarantool + Lua

Блог компании Mail.ru Group NoSQL *Tarantool *
Tutorial
logo
Хочу поделиться опытом изучения Tarantool. Про все преимущества и особенности самого Тарантула я писать не буду, на эту тему было много статей (например, эта, эта и эта). Этот пост рассказывает о том, как начать работать с тарантулом и про некоторые особенности и вкусности которые можно получить из коробки.
Далее
Всего голосов 67: ↑60 и ↓7 +53
Просмотры 24K
Комментарии 13

Определение веса значимости пользователей по отношению друг к другу на основании их действий (Tarantool+Lua)

Блог компании Mail.ru Group NoSQL *Tarantool *
Есть система с множеством пользователей. Каждый пользователь системы может осуществлять действия по отношению друг к другу. На основании этих действий рассчитывается вес. Необходимо иметь возможность для каждого пользователя получать список остальных пользователей системы, отсортированный в порядке убывания веса. Характеристики весов у бездействующего пользователя меняться не должны.



В своей прошлой статье я описал базовые понятия и средства для начала работы с тарантулом. В этой статье попробую уделить больше внимания использованию хранимых процедур в Тарантуле на примере одной игровой задачи.

Читать дальше →
Всего голосов 39: ↑36 и ↓3 +33
Просмотры 9.7K
Комментарии 3

Tarantool User Group Meetup в Москве

Блог компании Badoo Разработка веб-сайтов *NoSQL *
В следующую субботу, 19 июля, проведем в офисе Badoo встречу пользователей Tarantool.

СТРАНИЦА МЕРОПРИЯТИЯ НА MEETUP.COM

Константин Осипов (Mail.ru) расскажет о Tarantool 1.6, новой версии сервера, в которой были пересмотрены многие технические решения и сделана удобная, безопасная и по-прежнему высокопроизводительная СУБД.
Tarantool — это, в первую очередь, lock-free база данных, обрабатывающая все транзакции последовательно в одном потоке. Tarantool 1.6 — это и ещё полноценный Lua Application Server с поддержкой кооперативной многозадачности, неблокирующего ввода-вывода, стандартных пакетов Lua и пакетов, созданных специально для Tarantool.

Антон Поваров (Badoo) выступит с докладом«Tarantool в Badoo: хранение истории посещений».
Каждый день на badoo.com пользователи просматривают порядка 100 миллионов профилей других юзеров. Мы храним счетчики и полную историю посещений за последние 90 дней, с некоторой агрегацией — это около 5 миллиардов ивентов.
Читать дальше →
Всего голосов 39: ↑39 и ↓0 +39
Просмотры 3.1K
Комментарии 2