Недавно проводили тест, результаты которого показали, что одно приложение обрабатывает 2000 запросов в секунду на скромном сервере, где это было не единственной нагрузкой. При этом результат каждого запроса записывается в 3-5 таблиц в MySQL. Честно говоря, меня такой результат удивил, поэтому решил поделиться с хабрасообществом описанием архитектуры этого приложения. Подобный подход применим от баннерных показов до чатов и микроблогов, надеюсь кому-нибудь покажется интересным.

Во-первых, это приложение однопоточное. Всё делается одним процессом, работа с сокетами — неблокирующими epoll/select, никаких ожидающих ввода/вывода потоков (threads). С развитием HTTP, сначала появлением Keep-Alive, затем AJAX и набирающим популярность COMET, количество постоянных соединений с веб-сервером растёт, на нагруженных проектах измеряется тысячами и даже десятками тысяч, и если для каждого создавать свой поток (thread) со своим стеком и постоянно переключаться между ними — ресурсов сервера очень быстро не хватит.

Второй ключевой момент — что один SELECT… WHERE pk in (k1, k2, ..., kN) выполняется быстрее, чем несколько SELECT… WHERE pk=… Выполняя работу с базой данных большими пачками можно уменьшить не только число запросов в секунду, но и общую нагрузку.

Elevator pitch

+ startup lynch

Состоял из двухминутных докладов, по итогам которого победители выходили в следующий раунд.
Для себя приятно было отметить, что мое мнение по 4 самым интересным проектам совпало с общим мнением.
Хотя лично для меня была проблема "кого же написать четвертым", а не "кого вычеркнуть из кандидатов"

Ларс Бак (Lars Bak), ведущий разработчик движка v8 в браузере Google Chrome, рассказывает о причинах, которые побудили его компанию начать разработку браузера два с половиной года назад, а также о планах на будущее. Переведём некоторые интересные отрывки из этого интервью.

Вам не кажется, что производительность Chrome в обработке скриптов и ваши инновации заставили разработчиков других браузеров тоже обратить внимание на это?

Нужно понимать, что существование одного быстрого браузера, когда все остальные медленные — это не хорошо, потому что приложения в любом случае приходится оптимизировать под самый медленный из популярных браузеров. Поэтому мы хотим, чтобы все браузеры были быстрыми.

Вы думаете, вам удалось создать браузер, который немножко ближе к тому, чтобы гарантировать нормальную работу веб-приложений в будущем?

Думаю, я могу так сказать. Я имею в виду, что мы начали работу не на пустом месте. Я двадцать лет работал над виртуальными машинами на таких языках как Java, так что Chrome, определённо, стоит на плечах этих систем.

Было много разговоров об отсутствии поддержки сторонних расширений, она скоро появится?

Мы работаем над этим. Как мы уже писали в блоге, поддержка появится в этом году и это будет в точности то, что вы хотите. Я уверен, что образуется здоровый рынок таких расширений.

Как написать на C++ компонент для Firefox, так, чтобы его потом можно было использовать из яваскриптового extension или даже из обычной веб-страницы.

Роль Ангельских инвестиций в отрасли очень важна. Сумма всех ангельских инвестиций (22 миллиарда долларов в 2007 году) традиционно сопоставима с суммой всех венчурных инвестиций (24 миллиарда в 2007 году). На самом деле это немного лукаво. Ангелы вкладываются не только в технологические проекты, но и недвижимость, промышленность, малый бизнес.

Термин «Ангел» появился на Бродвее. Тогда Ангелами называли людей, финансирующих театральные постановки. Это было в начале 20-го века. Позднее этот термин прижился и в инвестиционном бизнесе, еще задолго до появления Силиконовой Долины.

В Силиконовой Долине есть поверье, про то что два молодых предпринимателя, которые пошли кататься на арендованной яхте по заливу Сан-Франциско обсуждали возможность создания нового бизнеса, расчеты по которому делали на обложке взятого с собой журнала. Когда они пришвартовались к берегу, они встретили на пирсе двух мужчин, которые швартовали огромную яхту. После короткого знакомства и обсуждения проекта, предприниматели оказались с чеком на небольшую сумму, которой хватило, для того, чтобы запустить компанию. А через 10 лет они на том же месте швартовали свою огромную яхту, ценой в 50 млн долларов и случайно встретили двух молодых предпринимателей, которые обсуждали свой первый проект…
С тех пор каждый молодой предприниматель обсуждает свой проект с партнером на яхте и смотрит на горизонт, ища там большую яхту.

http://www.php.net/releases/5_2_9.php

Ссылки на остальные части: вторая, третья, четвертая, пятая

Наверное все согласятся с тем, что для начинающего интернет-проекта необходима централизованная система AAA (Authentication, Authorization, Accounting): множество пользователей, куча боевых серверов, чуть поменьше серверов разработки, svn, админки, etc…
Передо мной тоже встала такая необходимость и я хочу рассказать о том что у меня получилось.
Итак, что нам потребуется установить и настроить:

1. OpenLDAP, естественно с репликацией
2. Бэкап LDAP'а — именно вторым пунктом, можно первым (-;
3. phpldapadmin, планирование групп и шаблонов
4. авторизация для админок — Apache HTTPD mod_ldap
5. авторизация для svn (+sasl)
6. авторизация для доступа по ssh — pam_ldap

В предыдущей статье были описаны основные принципы работы Deferred и его применение в асинхронном программировании. Сегодня мы постараемся рассмотреть в деталях функционирование Deferred и примеры его использования.

Итак, Deferred — это отложенный результат, результат выполнения, который станет известен через некоторое время. Результатом, хранящимся в Deferred, может быть произвольное значение (успешное выполнение) или ошибка (исключение), которое произошло в процессе выполнения асинхронной операции. Раз нас интересует результат операции и мы получили от некоторой асинхронной функции Deferred, мы хотим выполнить действия в тот момент, когда результат выполнения будет известен. Поэтому Deferred кроме результата хранит еще цепочку обработчиков: обработчиков результатов (callback) и обработчиков ошибок (errback).

Привет, стартапер. Как дела? Как проект? Продвигается?
Хорошая новость — 1 марта состоится 7ая встреча стартаперов в Москве, приглашаю. Ты не в Москве? Ну так теперь это не проблема :)
Теперь будет прямая видео-трансляция, с возможностью участвовать во встрече, задавая вопросы выступающим.
Подписаться на видео-трансляцию можно на StartupPoint.ru
Если есть друзья в Москве, скажи им, что им стоит прийти на эту встречу, т.к. мы приготовили кое-что новое интересное.
А из традиционного:
+ Динамичные презентации стартапов. В этот раз участвовать с презентацией своего проекта вызвались:
tunestory.com — Рекомендательный канал для пользователей iPod
domoway.ru — Интеллектуальный оценщик недвижимости
ymap.ru — Справочник нового поколения веб 2.0.
scribler.ru — Интернет-платформа для простой и эффективной учёбы
minibanda.ru — интернет сервис нового поколения, позволяющий запечатлеть каждый день вашего малыша
UPD:
MyClime — Сервис сбора прогнозов погоды из различных источников и оценки их достоверности по фактической погоде
RockStart — Поиск работы и сотрудников с заточкой под стартапы (запуск 1го марта, во время встречи)
home-money.ru — Система домашней бухгалтерии
(Заявки на участие во встрече с презентацией проекта в личку)

+ Доклад «Моделирование роста популярности интернет-проектов» Байрама Аннакова, бизнес-консультанта и преподавателя, партнера компании "Empatika".

+ Участие во встрече инвесторов
Александра Рассказова, eVenture Partners
Юрий Французов, Корпорация Intel
Елена Масолова, AddVenture

Регистрация на встречу или видео-трансляцию: StartupPoint.ru
Дата и время: 1 марта 15:00
Место: Москва, подробнее будет сообщено заранее всем зарегистрировавшимся.

Немало копий уже сломано в битвах Инкубаторы vs Стартаперы.
Сломаем еще одно, через колено.
Ломать копья — не строить копья, верно?

Как известно, наиболее популярные социальные сети в мире позволяют писать под себя специальные приложения. Одним из ярких примеров является Facebook, у которых есть своя разметка, доступ к данным и так далее. Мне было интересно написать сетевое прилоложение на Silverlight, и для Facebook для этого специальные проекты – например, Facebook Toolkit и Facebook.NET.

Среди российских сетей приложения позволяют писать ВКонтакте и Мой Мир, правда первый требует использования только Flash и все. Мой Мир же более дружественный – поддерживает обычный HTML, а значит и Silverlight. Собственно с ним я и решил экспериментировать.

На самом деле все просто – после регистрации в сервисе находим в меню “Мои приложения”, нажимаем на “Разработку приложений” и узнаем, как все это можно делать. Мой Мир поддерживает OpenSocial, так что мы можем программно получать информацию о нас самих, наших друзьях в сети и так далее.

На днях разработчики российского веб-базирующегося софтфона flaphone обьявили о возможности совершения Skype вызовов непосредственно из клиента flaphone. Напомню, что flaphone, является новым названием сервиса Flashphone, о котором уже писал ранее.

Для того чтобы вызвать определенного Skype абонента достаточно позвонить на номер вида: sip:skype_логин@skype. В результате, абоненту поступит вызов от Skype аккаунта «Flaphone». Естественно, в данном случае у вызываемого абонента должна быть включена возможность приема звонков от пользователей, не присутствующих в его контакт-листе.

оригинал Techcrunch тут

обратите внимание на цифры, особенно во второй статье.

как вы думаете, Одноклассники и Вконтакте уже крупнейшие фото-архивы в России? может, кто-нить владеет конкретными цифрами?

[перевод не буквальный, естественно]

Вот уже порядка двух лет я занимаюсь разработкой ботов для ICQ. После ряда недавних событий, из-за которых ICQ-боты часто оказывались неработоспособными, а также после статьи Знакомство с jabber ботами, у меня возникло стойкое желание изучить вопросы, связанные с разработкой ботов для Jabber.
В данном посте я хочу поделиться с вами своим первым опытом в данной области. Расскажу как с нуля, потратив всего один час времени, написать простого Jabber-бота.
В качестве платфомы для разработки бота я выбрал Openfire. На выбор повлияло то, что Openfire написан на Java (изучать что-нибудь типа Python совершенно не хотелось). Плагинная структура Openfire позволяет быстро и удобно прикрутить к нему функционал бота. Кроме того, Openfire прост в настройке, и к тому времени уже был установлен в качестве моего jabber-сервера.

Marc Andreessen, основатель Netscape

Часть 2.
Начало тут.
Скучные и неактуальные куски опущены.
Есть, как и в первой части, пара интересных соображений.

При разработке сайтов все чаще и чаще приходиться использовать технологию CSS спрайтов, дабы уменьшить кол-во изображений загружаемых на странице. Создание и редактирование таких изображений является не простой задачей, на которую тратится довольно таки много времени: изначально нужно скомпоновать изображения в графическом редакторе, а после описать позиционирование и размеры каждого элемента в файле стилей (CSS). Редактирование элементов и изменение их размеров может повлечь глобальный пересмотр спрайта, вплоть до полного его пересоздания.

Marc Andreessen дал очередное интервью, местами любопытное.

Выдержки про Facebook, Ning и cloud computing ниже. Остальное потом.

Строительными кирпичиками любого языка является элементарные типы данных с которыми мы можем работать. Зная их, мы всегда понимаем, что у нас хранится в той или иной переменной, что возвращает та или иная функция. Какие действия мы можем совершить над нашими данными. Это база. Поэтому именно этому я и хотел уделить внимание в данной статье в общем, а так же примерам работы с бинарными данными в частности.

Материал в первую очередь адресую тем кто только начал или хочет начать писать на Erlang-e. Но я постарался максимально полно охватить данный аспект языка и поэтому надеюсь, что написанное будет полезно и более продвинутой аудитории.

Первоначальный материал пришлось разделить на три части, в данной будут рассмотрены базовые типы языка, способы создания базовых типов и потребляемые ресурсы на каждый из типов.

Вступление

Забавно, но когда программист разрабатывает какой-либо продукт, он редко задумывается над вопросом могут ли на одну кнопку в один момент времени нажать одновременно 2000 человек. А зря. Оказывается могут. Как ни странно но большинство движков, написанных такими программистами, очень плохо ведут себя под большими нагрузками. Кто бы подумал, а всего один лишний INSERT, не проставленный index, или кривая рекурсивная функция могут поднять load averages чуть ли не на порядок.

В этой статье я опишу как мы, разработчики проекта, сумели выжать из одного сервера с Pentium 4 HT / 512Mb RAM, максимум, держа одновременно 700+ пользователей на форуме и 120,000 на трекере. Да, проект этот — торрент трекер. Предлагаю сразу оставить в стороне разговоры о копирайтах и правах, мне это не интересно, что действительно интересно — это HighLoad.

Когда во сне снится «ой а если сервера не хватит...»

Для начала, Доброй Ночи. Пишу что-то полезное вроде впервые (если не считать разного рода полу-тестов в моём блоге). Человек я допытливый до жути, неожиданно в голову пришло, что могу помочь сэкономить кому-то много времени ;).