Pull to refresh
26
0
Dmitry @dummy

User

Send message

Twitter публикует свой FlockDB

Reading time1 min
Views3K
Приятно, что многие крупные компании продолжают традицию выкладывать серьезные вещи из внутренней разработки в Open Source.
Недавно Twitter выложил FlockDB

" FlockDB это база данных, которая хранит данные о графах. В то же время это не база данных, оптимизированная для операций обхода графа. FlockDB оптимизирован для работы с очень большими списками смежных вершин графов, быстрого чтения и записи и постраничными арифметическими операциями над запросами (page-able set arithmetic queries)."

Основной задачей проекта было решить проблемы Twitter с работой с очень большими графами соц данных пользователей (followers, операции mention, etc.). Миграция завершилась 9 месяцев назад и вроде бы они всем довольны сейчас.



В настоящий момент система хранит 13 миллиардов рёбер графов и поддерживает 20 тыс. операций записи и 100 тыс. операций чтения в сек.
Более детально с продуктом можно ознакомиться по ссылке.
Исходники доступны на github.

Twitter зарепортил прибыль

Reading time1 min
Views500
Кто там сомневался в том, что Twitter сможет монетизироваться? Business Week сообщает о том, что Twitter вышел на прибыльность. Cообщается о 2х основных источниках дохода — телекомах (за счет интеграции с SMS) и поисковиках (Google + Microsoft).
Это в общем подтверждает мое мнение о том, что информация как таковая никому не нужна. Нужна информация актуальная здесь и сейчас.

Мои 2¢ про телекомы

Reading time2 min
Views420
В очередной раз обнаружил (в самый неудобный момент), что мой счет в МТС опустел, хотя меня заверяли вежливые сотрудники про «полный безлимит». Полностью согласен с многочисленными хабра постами, что телекомы обнаглели. А все топы из МТС и прочих в приватных беседах жаловались как тяжело делать бизнес в варварской стране, и ARPA такая маленькая.
Но обратите внимание на финансовые показатели МТС за 3ий квартал.
OIBDA (Operating Income Before Depreciation and Amortization) 50.7%. Больше 50 факинг процентов! При этом еще и выросла на 11.4% по сравнению с предыдущим кварталом. В долларах.
Такая прибыльность бизнеса вполне сравнима с продажей наркотиков. Сравните скажем с T-Mobile отчет за тот же период.
Какие-то жалкие 33%. Неудачники. И в абсолютном выражении разница не так велика, если учитывать объемы бизнеса T-Mobile и территории на которых они работают.
И это при том, что у нас далеко не самая сильная экономика в мире. И этот год был совсем не самый удачный. И у людей зарплата вроде как бы не так сильно росла в этом году, а скорее всего совсем наоборот снижалась и эти цифры также доступны любому интересующемуся. А у четких пацанов из МТС бизнес прет как никогда!
Читать дальше →

Qizmt – аналог MapReduce для Windows

Reading time2 min
Views1.9K
Интересное вчерашнее объявление от Myspace.com 

Сегодня мы открываем в Open Source Qizmt, внутренний фреймворк для распределенных вычислений, созданный командой Data Mining в Myspace. Qizmt может быть использован для многочисленных операций, которые требуют процессинга больших объемов данных. Таких как фильтрация в системе рекомендаций и аналитика.


Некоторые источники уже отчитались по этому поводу и написали, что это фреймворк для системы рекомендаций. Это не так. Это полноценная имплементация MapReduce, написанная для Windows.

Не так часто любителей .NET сталкиваются с open source проектами такого уровня. Несмотря на то, что система заявленая как Alpha заявлено довольно много функциональности (что неудивительно, поскольку это вроде как работающий на myspace framework)

  • Быстрая разработка mapreduce jobs в C#
  • Легкий инсталлер
  • Встроенный IDE/Debugger (включая step through отладку jobs на кластере)
  • Из любой машины в кластере:
  • Cluster Assembly Cache (CAC) – кеш .NET assemblies для mapreduce jobs
  • 3 вида jobs:
    — Mapreduce – set логика для больших объемов данных
    — Remote – для тех задач, которые не подходят под шаблон mapreducer
    — Local – оркестрация связей между Mapreduce и Remote jobs
  • 3 способа обмена данных в mapreduce

    — Отсортированные – key/value пары равномерно отсортированы по кластеру
    — Сгруппированные – неотсортированные, но похожие пары key/value на одному reducer
    — Сортированные по хэшу – супер быстрый способ сортировки случайных данных


Выглядит все это довольно внушительно, хотя у думаю сейчас уже не особо важно на чем такие frameworks написаны. Используют их все равно платформо независимыми методами – легкими сервисами а-ля REST/REST2. Говорят тот же Bing использует Hadoop. Но в любом случае приятно что коллеги из Myspace поделились кодом.

Да, код на гуглокоде

Black Hat 2009 — владельцам смартфонов

Reading time1 min
Views1.3K
Вчера, в своем докладе небезысвестный Charlie Miller и Collin Mulliner доложили о найденных уязвимостях в подсистеме работы с SMS на мобильных платформах iPhone, Google Android и Windows Mobile.
Использовали они модный Sully fuzzing framework, фреймворк для «нечеткого» тестирования. С помощью таких фреймворков возможно создавать очень сложные наборы входных данных, намеренно неправильных структур данных и т.п.
Тем не менее, не углубляясь в подробности, смысл найденного вектора атаки на SMS подсистемы указанных платформ (iPhone, Android, Windows Mobile) позволяет «положить» телефоны путем посылки на известный номер специально сформированного SMS сообщения. Пользователю даже нажимать ничего не надо — система все сделает сама :) На телефон просто посылается СМС и все.
В результате такой DoS атаки в лучшем случае телефон лишится сети и не сможет принимать звонки или звонить, в худшем — потребуется полная перезагрузка смартфона.
Детальный отчет доступен здесь
Да, согласно отчетам появившемся в сети, оно еще и размножается путем отсылания себя по всем известным «зараженному» смартфону.
Гугл уже занес это в багтрекер, Microsoft и Apple пока молчат.

Microsoft Office Labs vision 2019 (montage + video)

Reading time1 min
Views486
Вообще то я не фанат Микрософт, но в этот раз пройти мимо никак не смог. На прошедшей на днях Wharton Business Technology Conference Stephen Elop презентовал видение будущего от Микрософт. Это серия весьма впечатляющих по уровню детализации и качеству изготовления видео о том, как Микрософт видит это самое будущее.
смотреть дальше

Information

Rating
Does not participate
Location
Россия
Date of birth
Registered
Activity