Новый тренд на HighLoad++ — множество докладов об использовании оперативной памяти. Слово Константину Осипову, разработчику платформы Tarantool, автору доклада «Что особенного в СУБД для данных в оперативной памяти».

Ты отвечал в MySQL за производительность, как так получилось, что ты решил разрабатывать свою СУБД?

В MySQL я руководил одной из команд разработки сервера, за производительность там отвечали все.

MySQL по многим параметрам был работой мечты, но, к сожалению после того, как мы стали частью Oracle, многое изменилось.

Несколько моих коллег ушли в MariaDB, кто-то основал свою компанию (SeveralNines, FromDual). Я никогда не чувствовал себя «недогруженным», а с уходом многих ключевых разработчиков работа вообще превратилась в марафон по передаче знаний. Сопротивление поглощению, желание начать всё с чистого листа, бунт против медленного принятия решений большой компанией, нежелание по разным причинам уезжать в США, в конце концов, хорошее предложение от Mail.Ru, которому к этому моменту уже было около года — и я ушёл.

Если бы знал, куда ухожу, ещё десять раз подумал бы. Иногда вообще не было веры, что удастся сделать что-то полезное, чем будут пользоваться за пределами Mail.Ru, да и сейчас Tarantool очень далёк пока от «идеальной СУБД».

Не знаю, как вы, но я застал время, когда фронтенда еще не было. Большинство макетов программисты могли сверстать самостоятельно, ну что там сложного:

Библиотека докладов

Это не просто статья — это целая библиотека докладов про внутреннее устройство тех или иных крупных и высоконагруженных проектов. Все эти доклады звучали на конференциях HighLoad++ и РИТ++ за последние несколько лет.

Конечно, мы не могли не воспользоваться декларируемым руководством страны поворотом на Восток. В Китае существуют свои социальные сети, свои поисковые системы, свои почтовые службы и, может быть, даже собственные технологии?
 
В мире много стран, продающих труд своих программистов, но очень мало способных самостоятельно разрабатывать крупные серьезные программные продукты. Свои поисковые системы, свои социальные сети и свой антивирус есть только у трех стран в мире — это США, Россия и… Китай!
 
Причем, если информационными продуктами и технологиями, произведенными в США, мы пользуемся каждый день, то что там в Китае — известно слабо.

Наблюдать за развитием разных баз данных — увлекательное занятие, особенно — если понимаешь подводные течения. Одно из самых сильных сообществ вокруг СУБД в России — это PostgreSQL-сообщество. Две тематические конференции в год, консалтинговая компания и даже компания-разработчик модулей к PostgreSQL.

Руководитель и идеолог международного сообщества, Брюс Момжан, вот уже какой год приезжает к нам на HighLoad++. Этот год не исключение, Брюс будет рассказывать про «Upcoming PostgreSQL Features» — кому рассказывать про будущее этой СУБД, как не Брюсу?

Почему же, несмотря на такую активность, это база данных по-прежнему далеко не так распространена, как, например «базулька» MySQL. В чем подвох? Эту тему мы активно обсуждали на конференции PGDay'15, которую организовал один из докладчиков HighLoad++ Илья Космодемьянский.

Для начала небольшое исследование:

1. Крупнейшие платные CMS в России (Битрикс, Netcat, UMI) не поддерживают PostgreSQL;
2. Самые популярные бесплатные CMS (Wordpress, Drupal, Joomla) тоже (или поддерживают с трудом или поддерживают недавно);
3. Только каждый третий хостинг провайдер предлагает поддержку PostgreSQL.

В одном из предыдущих постов было сказано несколько слов о принципах подбора докладов Программным комитетом конференции HighLoad++, среди которых было и такое громкое заявление, как: «Демократия не работает».

Хотелось бы пояснить, что, конечно же, это не так.
Ещё как работает – секрет успеха в правильном приготовлении.

Основная приправа – это коллективные встречи, проходящие несколько раз в год. Это настоящие мозговые штурмы, вход на которые открыт любому желающему, в смысле – вообще любой человек, вне зависимости от того, участник он или докладчик.

Вопреки названию и первому впечатлению, которое возникает у большинства обывателей — «Big Data» не является просто «большими данными» и даже не объединяет под собой все массивы с неограниченными (или постоянно обновляющимися и расширяющимися) данными.

На самом деле «Big Data» — это в первую очередь подходы, инструменты и методы обработки непосредственно данных. Которые, в свою очередь, чаще всего не структурированы, многообразны и разнородны.

И, что наиболее важно, «Big Data» — это новая секция 2015 года в рамках программы HighLoad++, впервые предложенная, к слову, именно на встрече докладчиков. Первые, единичные, доклады, появились еще в прошлых годах:

Пожалуй главным отличием конференции разработчиков высоконагруженных систем HighLoad++ от многих других является отсутствие скрытых целей. За нами не стоит ни одного лица или организации, которая бы навязывала правила игры или занималась хантингом на мероприятии, типа:

• Крупной компании
• Толстосума-спонсора
• Государственных структур

Уже долгие годы HighLoad++ остается событием, которое одни разработчики организуют для других разработчиков.

Девять лет назад мы приняли для себя несколько строгих правил, которым стараемся неукоснительно следовать. Не будем перечислять их все — для этого еще придёт время, назовем лишь основные.

При работе над одним из проектов перед нами встала задача реализации переписки между зарегистрированными пользователями. По своей сути – это должен быть чат, но одновременно общаться в нём можно только с одним собеседником.

Потенциальная нагрузка, которую должен выдерживать такой чат — около 10000 одновременных keep-alive соединений. Каждое новое сообщение должно записываться в основную базу данных, а так же в «быструю», задача которой хранить в себе лишь актуальную часть переписок между пользователями, то есть служить своеобразным «временным» хранилищем, из которого сообщения будут сразу доставляться адресату.

Приглашаем Вас принять участие в четвертой ежегодной профессиональной конференции веб-разработчиков, которая пройдет 25 и 26 апреля 2011 года в Москве, в конференц-центре «Инфопространство».

РИТ++ / 2011 — это:

• многопотоковая двухдневная конференция (профессиональная программа включает более 50 мероприятий, в том числе конференцию по системному администрированию RootConf – 2011, конференцию по клиентским технологиям ClientSide – 2011 и другие подконференции);
• 3 или 4 параллельных потока с интереснейшими докладами, мастер-классами и лекциями на самом высоком профессиональном уровне от лучших специалистов в своих областях, включая западных докладчиков;
• множество внепрограммных активностей и технологических демонстраций.

Весной этого года наша команда получила заказ на нагрузочное тестирование и оптимизацию нескольких версий CMS 1C-Битрикс. Прекрасная задача, но как ее делать? В этой статье мы поговорим о том, как правильно тестировать и что вообще означает “нагрузочное тестирование”? А в следующих — как мы тестировали Битрикс и что у нас получилось.

Цели

Начнем с целей, ведь цель нагрузочного тестирования — не просто завалить сайт, такие результаты ничего не дают для развития проекта. Наша задача — понять, как ведет себя система под нагрузкой, где узкие места и как их распознать.

Мы начали подготовку к осенним мероприятиям: конференция разработчиков высоконагруженных систем HighLoad++ (архитектуры, базы данных, системы хранения, менеджмент, системное администрирование, тестирование) и конференция по управлению интернет-проектами Whale Rider (методологии разработки, процессы, программные инструменты, психология управления, лидерство, практика).

На каждую из конференций предполагается пригласить по 5-6 зарубежных докладчиков. Коллективный разум, помоги — кого бы Вы хотели услышать?

Цель конференций, которые мы организуем, в том числе конференции разработчиков высоконагруженных систем HighLoad++ — профессиональный рост каждого участника мероприятия.

Поэтому мы постоянно пытаемся стать лучше. И основное направление поисков по улучшению качества — это, конечно, программа конференции, ее содержательная часть. Идеальное мероприятие, на наш взгляд, такое — чтобы на него специалисты высочайшего уровня приходили узнавать что-то новое и учиться. Чтобы Сысоев, Рыбак, Габриелян, Золотухин, Сегалович, Анатоликс, Шетухин после мероприятия сказали: “Да, было полезно!”. Вот это будет круто ;)

Как это сделать?

Лучше поздно, чем никогда...

Этот симпатичный «боровичок» — Jonathan Worthington (один из разработчиков компилятора Perl 6 Rakudo

Белковая оболочка Павла Кудинова слушает вопрос простого смертного...

Эндрю Босворт из Facebook обещает захватить мир в самое ближайшее время

Вы помните, как все начиналось? Одна из самых интересных наших конференций — ClientSide. Летние встречи докладчиков...

Потихоньку и без горячки пробуем возродить идею. В Программном комитете ClientSide все те же люди, что были причастны и к первому ClientSide: Вадим Макеев, Дмитрий Сатин, Александр Шуркаев, Николай Мациевский, Сергей Чикуенок, Иван Дембицкий. Вы не знаете кто это? Наверное, Вы хардкорный PHP-программист, но не верстальщик ;-))

Под катом — программа секции «Клиентские технологии» на РИТ++

С сегодняшего дня пресс-служба «Онтико» будет регулярно писать на Хабре о самых свежих новостях с конференции РИТ++. Если вам понравится — будем размещать сюда эксклюзивом инсайды, которые не проходят в ленту пресс-службы.

Третьего дня пресс-служба получила информацию о новых лицах на готовящейся конференции: Джонатан Вортингтон и Мачей Добжански.

Программные комитеты, в целом, завершили свою работу. Начинаем публиковать результаты — программу конференции РИТ++ / 2010, направление по управлению.

AgileDays

Грабли в Agile на опыте Afisha.ru (3 летний опыт) / Виктор Ламбурт (Афиша.ру);
Почему вы должны использовать скрам в своём новом веб-стартапе / Евгений Курышев (Яндекс);
Как выжить на селе в условиях быстроменяющихся требований и неподвижных бюджетов и не потерять команду (Scrum & fixed price) / Ермаков Денис (WEBlime);
Полезные метрики / Никита Филиппов (ScrumTrek);
Ситуационное лидерство в Agile / Сурен Самарчян (Innova Group);

Кто мы такие?

Онтико — с одной стороны мы компания-разработчик, специализирующаяся на разработке крупных и высоконагруженных проектов, с другой — организатор профессиональных IT конференций. Я уверен, что вы знакомы с нами лучше, чем мы с вами.

Например, сверхпопулярная социальная сеть ВКонтакте — одни из тех, кому мы помогали справиться с высокими нагрузками.