Как стать автором
Обновить
19
0
Аркадий Хачкованян @arkady112

Пользователь

Отправить сообщение

Бэкенд Twitter перешёл на Protocol Buffers

Время на прочтение2 мин
Количество просмотров4.3K
Хотя основные копии пользовательских твитов хранятся в базах данных MySQL и Cassandra, компания также разворачивает дополнительное хранилище на Hadoop, которое можно будет использовать для аналитики и дополнительных программных приложений.

Информацию из этой системы можно запрашивать с помощью Java MapReduce или Pig, собственного SQL-подобного языка запросов Hadoop. В данный момент на этот бэкенд уже переведена система поиска, а в будущем появятся и другие приложения.

Отвергнув популярные технологии вроде XML, CSV и JSON, программисты Twitter выбрали в качестве формата для хранения данных бэкенда относительно неизвестный формат Protocol Buffers, разработанный в Google (он уже обсуждался на Хабре). Технические подробности реализации были оглашены представителями Twitter на конференции HadoopWorld во вторник.
Читать дальше →
Всего голосов 47: ↑43 и ↓4+39
Комментарии43

Информация

В рейтинге
Не участвует
Откуда
Россия
Зарегистрирован
Активность