Comments 43
Вообще у гугла очень много мощных инструментов, о которых знают лишь единицы.
Завидую программистам из Twitter. Ребята решают интереснейшие задачи, работают с огромными объемами данных, используют передовые непопулярные технологии. При этом результатом их работы пользуются миллионы людей.
Блин, был бы я на их месте — с работы бы не вылазил и был счастлив.
Блин, был бы я на их месте — с работы бы не вылазил и был счастлив.
Еще не все потерянно :)
Protocol Buffers — не такая уж непопулярная технология. Просто пользуются ей в основном разработчики баз данных (из недавних — в Riak появилась их поддержка). Даже на Хабре, по моему, проскакивали статьи о Protocol Buffers.
Ха, плавали — знаем.
А теперь представь, что миллион людей пользуется твоей программой каждый день и самый мелкий баг — повод для 50 страниц флейма на форуме. Вставать ночью по звонку сервера что управляющая программа зависла и ее надо срочно чинить… Нафиг-нафиг… :-)
А теперь представь, что миллион людей пользуется твоей программой каждый день и самый мелкий баг — повод для 50 страниц флейма на форуме. Вставать ночью по звонку сервера что управляющая программа зависла и ее надо срочно чинить… Нафиг-нафиг… :-)
Я больше завидую ребятам из гугла :) Все тоже только умноженное на 1000
На РИТе следующей весной к нам будут в гости именно эти ребята. К сожалению, на этот Highload они не успели.
А вы работали с объемами хотя бы в сотни/тысячи раз меньшими? Меня порой мандраж берет когда я читаю строки «ежедневно добавляется 12 Тб данных».
Это далеко не рай, это самый настоящий ад! Когда все имеющиеся на данный момент стандартные решения перестают справляться, распределение не решает задач и приходится буквально в считанные дни делать то, на разработку чего у многих уходят просто годы.
А это и прощай личная жизнь и покой…
Это далеко не рай, это самый настоящий ад! Когда все имеющиеся на данный момент стандартные решения перестают справляться, распределение не решает задач и приходится буквально в считанные дни делать то, на разработку чего у многих уходят просто годы.
А это и прощай личная жизнь и покой…
Дрочу на их терабайты.
Protocol Buffers очень много используется гуглом в Android.
UFO just landed and posted this here
Самых распространенных две: google protobuf и apache thrift (по сути, разработка Фейсбука). Сравнение производительности и функциональности можно посмотреть на thrift-protobuf-compare/.
+1.
Яндекс до сих пор tail'ит логи каким-то своим продвинутым скриптом. Эффективнее tail/grep ничего еще не придумано.
Основанная часть этих данных агрегируется с помощью свободной технологии Scribe (разработка Facebook).
Яндекс до сих пор tail'ит логи каким-то своим продвинутым скриптом. Эффективнее tail/grep ничего еще не придумано.
Еще есть yaml c возможностью компиляции в байт-код.
Очень просто, если штуту выпустил google, то ею пользуются десятки тысяч программистов, если мой коллега, то всего несколько людей, следовательно, первая тщательнее протестирована и содержит меньше ошибок)
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Я тоже столкнулся с этим, пришлось дописать своё расширение — всего навсего добавил обязательное строковое поле alias находящееся всегда первым.(тут подробнее)
есть реализации на as3/с++/java — компиляторы классов из .proto переписывать не пришлось, только базовые классы — вернее методы де/сериализации
есть реализации на as3/с++/java — компиляторы классов из .proto переписывать не пришлось, только базовые классы — вернее методы де/сериализации
А мы прикрутили успешно ;)
У нас так приложение на айфоне с backend общается.
Все довольны.
У нас так приложение на айфоне с backend общается.
Все довольны.
Вы совершенно правы, однако в mainstream языках его поддержки мало.
Странно что не Thrift ибо он как и Hadoop от апачи.
Как активный пользователь Thrift могу сказать — это действительно великолепная библиотека которая упрощает хранение/обработку логов. Кроме того Thrift идеально подходит для RPC, межпроцессорного взаимодействия.
Вот пример использования Thrift mikecvet.wordpress.com/2010/05/13/apache-thrift-tutorial-the-sequel/
Как активный пользователь Thrift могу сказать — это действительно великолепная библиотека которая упрощает хранение/обработку логов. Кроме того Thrift идеально подходит для RPC, межпроцессорного взаимодействия.
Вот пример использования Thrift mikecvet.wordpress.com/2010/05/13/apache-thrift-tutorial-the-sequel/
Мне тоже было интересно. Как раз подумал, почему ProtoBuffers, а не Thrift, потому как недавно анализировал варианты бинарных протоколов для одного из проектов. Потом пошёл покурить и подумал. Видимо потому что от Гугла :( Похоже Апачей больше не любят.
И ещё. Недавно Твиттер сообщил, что переписал часть своей инфраструктуры на Scala. С 60-процентной вероятностью могу утверждать, что в качестве основы обмена сообщениями был выбран проект Akka, который очень хорошо дружит с Netty, который в свою очередь из коробки поддерживает Google Protocol Buffers. Я пробовал и знаю. Так то.
И ещё. Недавно Твиттер сообщил, что переписал часть своей инфраструктуры на Scala. С 60-процентной вероятностью могу утверждать, что в качестве основы обмена сообщениями был выбран проект Akka, который очень хорошо дружит с Netty, который в свою очередь из коробки поддерживает Google Protocol Buffers. Я пробовал и знаю. Так то.
Каждый день в базу Twitter добавляется 12 ТБ новых данных...
Точно 12 терабайт? Насколько я понимаю, речь идет только о тексте — какая-то невероятная цифра получается.
Точно 12 терабайт? Насколько я понимаю, речь идет только о тексте — какая-то невероятная цифра получается.
Таки да (слайд 6)
Следует также упомянуть, что Protocol Buffers поддерживает версионность интерфейсов «из коробки». Это очень важно в тех случаях, когда вы не можете просто взять и остановить всю систему, чтобы обновить каждый компонент для работы с новым протоколом или общим интерфейсом.
Каждый день в базу Twitter добавляется 12 ТБ новых данных.
На этой строчке я понял, что новость от alizar
На этой строчке я понял, что новость от alizar
Sign up to leave a comment.
Бэкенд Twitter перешёл на Protocol Buffers