Бэкенд Twitter перешёл на Protocol Buffers

[ID175055]

Вообще у гугла очень много мощных инструментов, о которых знают лишь единицы.

[mahoro]

Кому надо, те следят за новостями и анонсами :)

[mardy_bum]

Завидую программистам из Twitter. Ребята решают интереснейшие задачи, работают с огромными объемами данных, используют передовые непопулярные технологии. При этом результатом их работы пользуются миллионы людей.
Блин, был бы я на их месте — с работы бы не вылазил и был счастлив.

[ID175055]

Еще не все потерянно :)

[kurokikaze]

Protocol Buffers — не такая уж непопулярная технология. Просто пользуются ей в основном разработчики баз данных (из недавних — в Riak появилась их поддержка). Даже на Хабре, по моему, проскакивали статьи о Protocol Buffers.

[ID175055]

Я не говорил что она не популярная. Я говорю про то что гугл создает столько технологий что о них о всех сложно знать.

[SilentBob]

Ха, плавали — знаем.

А теперь представь, что миллион людей пользуется твоей программой каждый день и самый мелкий баг — повод для 50 страниц флейма на форуме. Вставать ночью по звонку сервера что управляющая программа зависла и ее надо срочно чинить… Нафиг-нафиг… :-)

[Zubchick]

Я больше завидую ребятам из гугла :) Все тоже только умноженное на 1000

[zolotukhin]

На РИТе следующей весной к нам будут в гости именно эти ребята. К сожалению, на этот Highload они не успели.

[Ajex]

А вы работали с объемами хотя бы в сотни/тысячи раз меньшими? Меня порой мандраж берет когда я читаю строки «ежедневно добавляется 12 Тб данных».
Это далеко не рай, это самый настоящий ад! Когда все имеющиеся на данный момент стандартные решения перестают справляться, распределение не решает задач и приходится буквально в считанные дни делать то, на разработку чего у многих уходят просто годы.
А это и прощай личная жизнь и покой…

[Min0r]

Дрочу на их терабайты.

[ID175055]

И обязательно сразу писать на хабр?

[davaeron]

Может он окном ошибся? =)

[vovkab]

Protocol Buffers очень много используется гуглом в Android.

[ID175055]

Гугл — не единица ;)
Гугл — много.

[mrskam]

Для синхронизации с гугл.акком в хроме также используется PB.

[sgzmd]

Protocol Buffers много используется гуглом практически в каждом проекта гугла :-)

И это не шутка.

[redchrom]

В android очень много используется binder, который кстати не ахти. Protocol buffers там не встречал.

[drJonnie]

Самых распространенных две: google protobuf и apache thrift (по сути, разработка Фейсбука). Сравнение производительности и функциональности можно посмотреть на thrift-protobuf-compare/.

[selenite]

+1.

Основанная часть этих данных агрегируется с помощью свободной технологии Scribe (разработка Facebook).

Яндекс до сих пор tail'ит логи каким-то своим продвинутым скриптом. Эффективнее tail/grep ничего еще не придумано.

[kingu]

Scribe больше похож на продвинутый syslogd

[SMiX]

Еще есть yaml c возможностью компиляции в байт-код.

[shai_xylyd]

Очень просто, если штуту выпустил google, то ею пользуются десятки тысяч программистов, если мой коллега, то всего несколько людей, следовательно, первая тщательнее протестирована и содержит меньше ошибок)

[k0t0vich]

Я тоже столкнулся с этим, пришлось дописать своё расширение — всего навсего добавил обязательное строковое поле alias находящееся всегда первым.(тут подробнее)
есть реализации на as3/с++/java — компиляторы классов из .proto переписывать не пришлось, только базовые классы — вернее методы де/сериализации

[k0t0vich]

Причём «расширенный» протокол нормально работает с «обычным» если использовать стандартный RPC.

[Aldekein]

А мы прикрутили успешно ;)
У нас так приложение на айфоне с backend общается.
Все довольны.

[ikatkov]

Вы совершенно правы, однако в mainstream языках его поддержки мало.

[googol]

Странно что не Thrift ибо он как и Hadoop от апачи.

Как активный пользователь Thrift могу сказать — это действительно великолепная библиотека которая упрощает хранение/обработку логов. Кроме того Thrift идеально подходит для RPC, межпроцессорного взаимодействия.

Вот пример использования Thrift mikecvet.wordpress.com/2010/05/13/apache-thrift-tutorial-the-sequel/

[siasia]

Мне тоже было интересно. Как раз подумал, почему ProtoBuffers, а не Thrift, потому как недавно анализировал варианты бинарных протоколов для одного из проектов. Потом пошёл покурить и подумал. Видимо потому что от Гугла :( Похоже Апачей больше не любят.

И ещё. Недавно Твиттер сообщил, что переписал часть своей инфраструктуры на Scala. С 60-процентной вероятностью могу утверждать, что в качестве основы обмена сообщениями был выбран проект Akka, который очень хорошо дружит с Netty, который в свою очередь из коробки поддерживает Google Protocol Buffers. Я пробовал и знаю. Так то.

[kingu]

У Thrift есть недостатки работы с большими пакетами данных — они должны полностью помещаться в память. В силу этого проект Cassandra собирается перейти к использованию Apache Avro.

[BigD]

Каждый день в базу Twitter добавляется 12 ТБ новых данных...

Точно 12 терабайт? Насколько я понимаю, речь идет только о тексте — какая-то невероятная цифра получается.

[MaximKat]

Таки да (слайд 6)

[MaximKat]

Хотя небольшое уточнение: это не только твиты, это вообще вся информация включая системные логи итд

[metakey]

Следует также упомянуть, что Protocol Buffers поддерживает версионность интерфейсов «из коробки». Это очень важно в тех случаях, когда вы не можете просто взять и остановить всю систему, чтобы обновить каждый компонент для работы с новым протоколом или общим интерфейсом.

[bethrezen]

Т.е. не придется перекраивать все данные, чтобы добавить одно поле совершенно нового типа?

[Nailgun]

Каждый день в базу Twitter добавляется 12 ТБ новых данных.
На этой строчке я понял, что новость от alizar