Приятно, что многие крупные компании продолжают традицию выкладывать серьезные вещи из внутренней разработки в Open Source.
Недавно Twitter выложил FlockDB

" FlockDB это база данных, которая хранит данные о графах. В то же время это не база данных, оптимизированная для операций обхода графа. FlockDB оптимизирован для работы с очень большими списками смежных вершин графов, быстрого чтения и записи и постраничными арифметическими операциями над запросами (page-able set arithmetic queries)."

Основной задачей проекта было решить проблемы Twitter с работой с очень большими графами соц данных пользователей (followers, операции mention, etc.). Миграция завершилась 9 месяцев назад и вроде бы они всем довольны сейчас.



В настоящий момент система хранит 13 миллиардов рёбер графов и поддерживает 20 тыс. операций записи и 100 тыс. операций чтения в сек.
Более детально с продуктом можно ознакомиться по ссылке.
Исходники доступны на github.

Кто там сомневался в том, что Twitter сможет монетизироваться? Business Week сообщает о том, что Twitter вышел на прибыльность. Cообщается о 2х основных источниках дохода — телекомах (за счет интеграции с SMS) и поисковиках (Google + Microsoft).
Это в общем подтверждает мое мнение о том, что информация как таковая никому не нужна. Нужна информация актуальная здесь и сейчас.

В очередной раз обнаружил (в самый неудобный момент), что мой счет в МТС опустел, хотя меня заверяли вежливые сотрудники про «полный безлимит». Полностью согласен с многочисленными хабра постами, что телекомы обнаглели. А все топы из МТС и прочих в приватных беседах жаловались как тяжело делать бизнес в варварской стране, и ARPA такая маленькая.
Но обратите внимание на финансовые показатели МТС за 3ий квартал.
OIBDA (Operating Income Before Depreciation and Amortization) 50.7%. Больше 50 факинг процентов! При этом еще и выросла на 11.4% по сравнению с предыдущим кварталом. В долларах.
Такая прибыльность бизнеса вполне сравнима с продажей наркотиков. Сравните скажем с T-Mobile отчет за тот же период.
Какие-то жалкие 33%. Неудачники. И в абсолютном выражении разница не так велика, если учитывать объемы бизнеса T-Mobile и территории на которых они работают.
И это при том, что у нас далеко не самая сильная экономика в мире. И этот год был совсем не самый удачный. И у людей зарплата вроде как бы не так сильно росла в этом году, а скорее всего совсем наоборот снижалась и эти цифры также доступны любому интересующемуся. А у четких пацанов из МТС бизнес прет как никогда!

Интересное вчерашнее объявление от Myspace.com 

Сегодня мы открываем в Open Source Qizmt, внутренний фреймворк для распределенных вычислений, созданный командой Data Mining в Myspace. Qizmt может быть использован для многочисленных операций, которые требуют процессинга больших объемов данных. Таких как фильтрация в системе рекомендаций и аналитика.

Некоторые источники уже отчитались по этому поводу и написали, что это фреймворк для системы рекомендаций. Это не так. Это полноценная имплементация MapReduce, написанная для Windows.

Не так часто любителей .NET сталкиваются с open source проектами такого уровня. Несмотря на то, что система заявленая как Alpha заявлено довольно много функциональности (что неудивительно, поскольку это вроде как работающий на myspace framework)

• Быстрая разработка mapreduce jobs в C#
• Легкий инсталлер
• Встроенный IDE/Debugger (включая step through отладку jobs на кластере)
• Из любой машины в кластере:
• Cluster Assembly Cache (CAC) – кеш .NET assemblies для mapreduce jobs
• 3 вида jobs:
  — Mapreduce – set логика для больших объемов данных
  — Remote – для тех задач, которые не подходят под шаблон mapreducer
  — Local – оркестрация связей между Mapreduce и Remote jobs
  
• 3 способа обмена данных в mapreduce
  
  — Отсортированные – key/value пары равномерно отсортированы по кластеру
  — Сгруппированные – неотсортированные, но похожие пары key/value на одному reducer
  — Сортированные по хэшу – супер быстрый способ сортировки случайных данных
  

Выглядит все это довольно внушительно, хотя у думаю сейчас уже не особо важно на чем такие frameworks написаны. Используют их все равно платформо независимыми методами – легкими сервисами а-ля REST/REST2. Говорят тот же Bing использует Hadoop. Но в любом случае приятно что коллеги из Myspace поделились кодом.

Да, код на гуглокоде

Вчера, в своем докладе небезысвестный Charlie Miller и Collin Mulliner доложили о найденных уязвимостях в подсистеме работы с SMS на мобильных платформах iPhone, Google Android и Windows Mobile.
Использовали они модный Sully fuzzing framework, фреймворк для «нечеткого» тестирования. С помощью таких фреймворков возможно создавать очень сложные наборы входных данных, намеренно неправильных структур данных и т.п.
Тем не менее, не углубляясь в подробности, смысл найденного вектора атаки на SMS подсистемы указанных платформ (iPhone, Android, Windows Mobile) позволяет «положить» телефоны путем посылки на известный номер специально сформированного SMS сообщения. Пользователю даже нажимать ничего не надо — система все сделает сама :) На телефон просто посылается СМС и все.
В результате такой DoS атаки в лучшем случае телефон лишится сети и не сможет принимать звонки или звонить, в худшем — потребуется полная перезагрузка смартфона.
Детальный отчет доступен здесь
Да, согласно отчетам появившемся в сети, оно еще и размножается путем отсылания себя по всем известным «зараженному» смартфону.
Гугл уже занес это в багтрекер, Microsoft и Apple пока молчат.

Вообще то я не фанат Микрософт, но в этот раз пройти мимо никак не смог. На прошедшей на днях Wharton Business Technology Conference Stephen Elop презентовал видение будущего от Микрософт. Это серия весьма впечатляющих по уровню детализации и качеству изготовления видео о том, как Микрософт видит это самое будущее.