Всем привет,

Собираюсь поделиться с вами технической стороной того, как я за 16 недель сделал новый вебовый rss ридер, и чуть не сошел с ума.
Отходя от долгой предыстории, будем считать, что все началось в феврале этого года, когда мы с Дэвидом (dmiloshev, UI-дизайнер) решили сделать прототип нашего детища вдвоем.
«В одиночестве» — потому, что не было никаких скрамов, совещаний, «коллективного разума», а всю техническую часть, довелось делать самому.

Если бы меня попросили описать всю статью в одном предложении, то получилось бы:
No-SQL, mongodb, node.js, фак мой мозг, Evented I/O, очереди, выводы, git, nginx, memcached, Google Reader, Atom, TTL, PHP, ZF, jQuery, выводы.

По просьбам хабралюдей выкладываю короткий технический отчет.
Напомню, Eventr – это web-сервис, в котором можно удобно читать RSS-ленты, в два клика обмениваться, делиться интересными записями с другими, вести свой блог.

Мы стартовали днем в воскресенье, 11-го июля, через час легли под хабраэффектом. Собственно, наши волшебные заклинания и цифры под катом.

О чем будет сказано:

1. Некоторые технические сложности
2. RSS/Atom читалка, цифры
3. Хабраэффект, цифры
4. Грабли
5. Mongodb, nodejs, redis

Сегодня мы поговорим о чём-то высоком… облачном. Да, о новом или, вернее, малоизвестном у нас стартапе, который создал свою платформу для облачных вычислений, хотя и это не совсем уж так точно — это платформа, которая предоставляется как сервис и позволяет получить гибкую и масштабированную среду исполнения для веб-проектов. В чём-то это все похоже на известный всем и уже почти нарицательный Amazon EC2, но и отличается от него существенным образом. Что и как — мы дальше и рассмотрим.

Стартап 10gen предлагает разработчикам свою технологию построения platform-as-a-service, которая позволяет получить гибкую и почти неограниченную по масштабированию платформу (уже сколько раз мы повторили это слово) для развёртывания приложений, которым нужно работать в условиях переменной нагрузки, которая, однако, имеет тенденцию для постоянного роста, которым нужно защищённая и простая платформа, чтобы добавление нового сервера или апгрейд базы данных не вызвал прекращение работы всей системы на несколько часов или суток.

Ссылка на эту статью уже мелькала на Хабре и я столкнулся с интересом к ней. Многие испытали проблемы с освоением оригинала на английском и я решил перевести ее.

Заметки об использовании MongoDB в продакшене

Год назад в июле я писал о том, что мы перешли с MySQL на MongoDB.
Мы запустили MongoDB в продакшене для сервиса мониторинга Server Density. С тех пор прошло 8 месяцев и мы столкнулись с некоторыми вещами.

Всем хороши нетбуки, но вот разрешение экрана не позволяет в полной мере насладится серфингом. Конечно с появлением хрома стало проще, но всегда хочется большего. Но по умолчанию хром совершенно не приспособлен для работы в fullscreen, переключение по табам ctrl+tab|ctrl+shift+tab радости не доставляет если табов больше 5 и нет строки ввода адреса.
Именно поэтому я и решил наконец взять и написать этот плагин.

Социальный Лондон, проект Anil Bawa-Cavia, из University College London.

Доступность большого количества совершенно новых типов данных меняет коренным образом то как мы живем. Ниже приведено 10 примеров использования новой информации, которая меняет все, начиная от того как мы оцениваем войну, вплоть до способов доставки молока.

Торговля

Супермаркеты всегда следили за тем как покупатели совершают покупки, но в последние несколько лет количество и виды собираемой информации резко возросли. Tesco обладает большей частью акций в компании Dunnhumby Ltd, которая занимается дата майнингом и анализом информации, для большого количества компаний, занимающихся торговлей, включая: Coca-Cola, BT, Mars, Vodafone, и другие лидирующие бренды. Dunnhumby использует в своей работе информацию собранную с помощью клубных карт Tesco Clubcard, благодаря ей Tesco может прогнозировать когда люди пойдут за покупками, как они буду оплачивать свои покупки и даже количество калорий которое собираются потребить.
Dunnhumby недавно сообщил о 32 процентном росте операционной прибыли до £53.4 миллионов. Количество сотрудников компании выросло с 300, когда компания начинала в 2007, до 1250 в этом году. Информация собираемая Dunnhumby изменила то, как мы совершаем покупки.

Многие интернет провайдеры предоставляют для своих абонентов такой сервис, как торрент-ретрекер. Некоторые торрент-трекеры (в том числе и rutracker.org) в свои торрент-файлы добавляют информацию о таком таком универсальном ретрекер как retracker.local. Но в современных дистрибутивах (таких как Ubuntu, openSUSE и т.д.) этот адрес не резолвится правильно.

Проблема заключается в использовании сервиса avahi для анонсирования ресурсов компьютера в локальной сети, так как для этих целей используется зона .local. Чтобы решить эту проблему не обязательно избавляться от avahi. Достаточно указать, что если не удается найти поддомен, спросить об этом dns.

Узнать, как отмасштабировать Ваше приложение, не имея при этом никакого опыта, — это очень нелегко. Сейчас есть много сайтов, посвященных этим вопросам, но, к сожалению, не существует решения, которое подходит для всех случаев. Вам по-прежнему необходимо самому находить решения, которые подойдут под Ваши требования. Так же, как и мне.

Несколько лет назад ко мне пришел мой босс и сказал: «У нас есть новый проект для тебя. Это перенос сайта, который уже имеет 1 миллион посетителей в месяц. Тебенеобходимо его перенести и убедиться, что посещаемость может вырасти в будущем без всяких проблем.» Я уже был опытным программистом, но не имел никакого опыта в области масштабируемости. И мне пришлось познавать масштабируемость трудным путем.

Похоже, процессоры ARM уже созрели для использования не только в телефонах, но и в дата-центрах. Появилась неофициальная информация, что Facebook станет первой крупной компанией, которая заменит архитектуру x86 на ARM в одном из своих дата-центров (в Орегоне).

В качестве поставщика процессоров может быть выбрана компания Smooth-Stone. Это довольно молодой американский стартап, инвесторами которого являются ARM Holdings и Texas Instruments. Компания была создана в январе 2008 года именно с целью разработки и вывода на рынок серверных процессоров архитектуры ARM. Исполнительный директор компании — Барри Эванс (Barry Evans), бывший руководитель подразделения XScale ARM в Intel.

5 августа Арбитражный суд Москвы вынес решение по иску картографической компании «Сидиком навигация» к информационному агентству «Райтинг клаб». Иск касался защиты деловой репутации и опровержения не соответствующих действительности сведений.

Исковое заявление было подано из-за статьи «Гостайны по демпинговым ценам», опубликованной на сайте информационного агентства InterRight. В ней сообщалось об «интересе», который Федеральная служба безопасности проявляет к производителю картографической программы «ПроГород». По утверждению автора, эта программа была создана с использованием спутниковых снимков компании Google, причем разрешения на это создатели программы не получили.

Если верить статье, интерес к «ПроГороду» проявила также и Федеральная антимонопольная служба, которая якобы заподозрила в действиях производителей «ПроГорода» демпинг. В общем, написано там было много обидных вещей, и неудивительно то, что «Сидиком» подал в суд иск о защите деловой репутации. Суд иск удовлетворил частично, отказав в опровержении большей части утверждений, по одному из самых распространенных оснований в делах такого рода: большинство сведений, распространенных ответчиком, были признаны «мнением», которое нельзя ни проверить на истинность, ни опровергнуть… Ну, а поскольку вопрос об истинности слов про нарушение картографами «интеллектуальных прав» на спутниковые снимки судом по существу не рассматривался, то рассмотреть его придется нам, в рамках этой статьи.

Оглавление (на данный момент)

Часть 1. Описание, операции, применения.
Часть 2. Ценная информация в дереве и множественные операции с ней.
Часть 3. Декартово дерево по неявному ключу.
To be continued...

Тема сегодняшней лекции

В прошлый раз мы с вами познакомились — скажем прямо, очень обширно познакомились — с понятием декартового дерева и основным его функционалом. Только до сих мы с вами использовали его одним-единственным образом: как «квази-сбалансированное» дерево поиска. То есть пускай нам дан массив ключей, добавим к ним случайно сгенерированные приоритеты, и получим дерево, в котором каждый ключ можно искать, добавлять и удалять за логарифмическое время и минимум усилий. Звучит неплохо, но мало.

К счастью (или к сожалению?), реальная жизнь такими пустяковыми задачами не ограничивается. О чем сегодня и пойдет речь. Первый вопрос на повестке дня — это так называемая K-я порядковая статистика, или индекс в дереве, которая плавно подведет нас к хранению пользовательской информации в вершинах, и наконец — к бесчисленному множеству манипуляций, которые с этой информацией может потребоваться выполнять. Поехали.

Ищем индекс

В математике, K-я порядковая статистика — это случайная величина, которая соответствует K-му по величине элементу случайной выборки из вероятностного пространства. Слишком умно. Вернемся к дереву: в каждый момент времени у нас есть декартово дерево, которое с момента его начального построения могло уже значительно измениться. От нас требуется очень быстро находить в этом дереве K-й по порядку возрастания ключ — фактически, если представить наше дерево как постоянно поддерживающийся отсортированным массив, то это просто доступ к элементу под индексом K. На первый взгляд не очень понятно, как это организовать: ключей-то у нас в дереве N, и раскиданы они по структуре как попало.

Cocos2d — это небольшой opensource фреймворк для создания 2D игр. Изначально он создавался для программ, написанных на python'е для платформ Windows, Linux и Mac, но потом появились версии для iPhone и даже для Android.

Мы использовали его для написания своей игры iTreasure (ссылка в iTunes) — ремейка «Тайны Океана» и ни разу не пожалели об этом.

Почему cocos2d

— Богатые возможности.
Все, что нужно от движка для двумерной игрушки в нем есть. Ниже я еще расскажу подробнее о функциональности.

— Простота.
Если вы уже писали что-нибудь для iPhone, то начать использовать cocos2d вам практически ничего не будет стоить.

— Открытость.
У движка очень хорошая лицензия — GNU Lesser GPL, что позволяет свободно использовать его в коммерческих продуктах.

— Большое комьюнити.
Уже более 200 программ игр сделано с использованием cocos2d. В интернете можно найти огромное количество информации о тонкостях и проблемах, связанных с использованием движка (правда, на английском языке).

— Множество рабочих примеров и приложений с открытым кодом.
Во-первых, очень много рабочих примеров включено в дистрибутив фреймворка. Кроме того, многие люди открывают исходники своих приложений (даже продающихся в appstore), для того, чтобы другие могли найти в них готовые решения и ответы на свои вопросы.

• Отмена 1000-лимита на запрос в хранилище для count и offset. Такие безлимитные запросы будут теперь исполняться до получения результата, или выкидывать ошибку по таймауту хранилища. Я сам слегка потестировал — есть небольшие тормоза на средней базе в пару миллионов записей при смещении в миллион (порядка пары-тройки секунд задержка), однако вполне годно. Хотя, судя по коду SDK, максимальный лимит все же есть, равный 2^31 — 1.
• Новое Namespaces API для Java и Python, которое позволяет создавать «коммунальные» (multi-tenancy) приложения без особых модификаций уже существующего кода.
• Замена сервиса картинок на высокопроизводительное решение, основанное на picasa, что позволит делать превьюшки картинок (crop и/или resize), фактически без использования ваших ресурсов (только трафик) в добавлении к предыдущим умениям Image API.
• Пользовательские страницы для системных ошибок — over quota, DoS, timeout и прочих.
• В Java добавлено Capabilities API, по аналогии с Питоном, а также java-приложения научились понимать конфиги в yaml-формате.
• Многие фиксированные квоты бесплатных приложений увеличились до уровня платных, подробнее.
• Blobstore API теперь поддерживает Content-Range заголовок.

Полные списки изменений:
— Release Notes: Python
— Release Notes: Java
— Revision History

Здравствуйте хабровчане. Недавно понадобилось писать на Objective C под Mac OS X. Железо у меня не самое подходящее для всяких сборок, да и сидеть полностью в этой ОС религия не позволяет. Решил поставить Mac OS X в на виртуальную машину Qemu в Linux.

Привет Хабр!

Меня зовут Алексей Чурбанов из компании «Медиа Лабз».

Хочу представить проект, который нас вдохновляет и над которым наша команда сейчас активно работает.

Достаточно давно мы поставили перед собой цель: сделать работу пользователя с компьютером более быстрой, удобной и приятной. Цель глобальная и интересная. Разбили на задачи и проекты — первым проектом среди них был мультибар.

Застрял тут на даче — в Москве атмосферка хоть вешайся, а на даче — хоть и смог есть, но он пока туда доберётся — вонь пропадает…
Всё-бы хорошо, но вот без инета жить тяжко!
Воткнул модем Билайновский в точку доступа и радовался аж неделю…

А потом съездил в Москву на день и понял, что на даче мне куковать примерно месяц, ибо в городе — полный ПЭ…

«Ну, думаю, вот он — шанс потестить Билайновский безлимитный тариф!»

Привет!
Хочу представить плагин импорта музыки из prostopleer.com для Exaile.

Почти в срок, команда 10gen выпустила новый стабильный релиз NoSQL базы данных MongoDB.

Из новинок хочу отметить такие заявленные возможности:

* Авто шардинг — теперь можно создавать кластеры для большого количества данных с «размазыванием» данных по серверам кластера
* Replica Sets — позволит создавать кластеры с быстрой репликацией и отказоустойчивостью
* Оператор $or — если раньше приходилось писать запрос с использованием JavaScript, то сейчас операции OR работают как стандартный запрос
* До 64 индексов на коллекцию
* Оператор $slice — очень удобная штука, можно выбирать первые 5 штук записей или 5 последних, например.
* Поддержка UNIX сокетов и IPv6
* Улучшена поддержка сервиса для Windows

Скачать можно на странице загрузок

Release Notes

Компания Adobe предъявила иск на сумму 900 тыс. руб. программисту из Мурманской области. Позднее, после достижения мирового соглашения, сумма была снижена вдвое. В компании заявляют, что с финансовой точки зрения это самое крупное дело об интернет-пиратстве в российской практике компании.

23-летний Михаил Беляев, работающий программистом в Кольском научном центре РАН, проходит обвиняемым по делу о нарушении авторских прав компании Adobe. Он рассказал, что поддерживал в локальной сети ftp-сервер, на котором хранилось несколько терабайт данных. Все содержимое этого ресурса предоставлялось пользователям локальной сети на бесплатной основе. В конце января оперативники отдела «К», занимающегося преступлениями в сфере ИТ, пришли с проверкой в офис интернет-провайдера, услугами которого пользуется Беляев. Они определили владельца ftp-сервера и составили протокол. По словам Беляева, спустя несколько дней после проверки он убрал все контрафактное ПО из общего доступа, однако, несмотря на это, в марте на него завели дело по статье 146 УК РФ.

Зашел только что в свой почтовый ящик и увидел письмо от своего провайдера где арендую VPS, что в для phpmyadmin появился эксплоит. Вот само письмо: