Redis — продвинутое key-value хранилище. Опыт применения в нагруженных проектах

[dioteos]

Мой голос вы получили. Удачи вам. Спасибо за редиску)

[Shumkov]

На здоровье! :)

[tzlom]

почему я нищий студент и не могу попасть на DevConf::PHPDevConf :(

[Ueasley]

Потому что не умеешь нихера, следовательно нечего там делать.

[tzlom]

толсто

[Ueasley]

Честно.

[tzlom]

неа, толсто и глупо, или у вас собран libastral с зависимостями на квалификацию?
сомневаюсь

[Ueasley]

Ты любые неудобные темы принимаешь за троллинг? Заметил тендецию, недавно началась.

Умные выражения ради доказательства квалификации выходят из моды.

Finish

[tzlom]

поставь себе минус сам

[zloy_alu]

Ты любые умные выражения принимаешь за доказательства квалификации? Заметил тенденцию, недавно началась.

Троллинг ради троллинга выходит из моды.

Finish

[Ueasley]

От нищих студентов — да. Иначе не были бы нищими. И причем тут, собственно, тенденция? Сморозил ни в п*зду, ни в красную армию, ей богу :-)

И если бы я троллил, я бы сказал, что таких специалистов нужно побольше на конференциях.

[Homakov]

Я ржу вместе с вами ребята, самый добрый тролинг в моей жизни оказался не тролингом.

[legato_di]

ну-ну, чего вы тут кричите

[highw]

Все же считаю для студентов надо делать скидки, так как заработок full-time разработчика и студента различаются.

[Homakov]

А потом и школота начнет возмущаться, мол заработок студента и школьника который вообще не работает различаются :)

[remal]

Голос отдал. А можно потом увидеть запись вашего доклада?

[Shumkov]

Я позабочусь об этом :)

[Shumkov]

Да, но на слайдах много кода не напишешь. Думаю подготовить полную версию исходников + краткую инструкцию по установке и запуску окружения в виде дополнительного материала, только не совсем понимаю как раздать. Есть идеи?

[d1m]

В слайдах — ключевые фрагменты (возможно, несколько упрощенные).
А на гитхабе полновесный сорс приложения с кучей комментов.

[amima]

Лучше бы сюда статью написали. Мне вот очень интересно сравнение с memcached

[tzlom]

и с mongo пожалуйста, если возмётесь

[Shumkov]

После конференции обязательно предоставлю все материалы.

[AmdY]

извиняюсь конечно, но — ПОШЛИ БЫ ВЫ.
тема интересная, могли бы хоть крошками поделиться, а не голым анонсом-саморекламой. только аппетит нагнали, а придётся давиться хабра-пильменями про ipod, копирайты и торенты…

[SMiX]

Не беспокойтесь, после конференции и на хабр повалят статьи.

[dirtyHabrBobr]

в смысле поделиться — на блюде принести?
аппетиту давно кушать подано

[AmdY]

естественно гугл всё знает, даже больше, лучше попробовать самому.
мне инофрмация прямо здесь и прямо сейчас не нужна, но вот анонсы, тем более. это очень здорово, что автор решил поделиться опытом, и тем, кто это услышит очень повезёт, но если бы была полноценная статья, то было бы понятное на что подписываешься и какие вопросы будут освещены, а какие подготовить для кулуаров

[Shumkov]

Статья будет обязательно.

[Shumkov]

В вашем замечании конечно есть здравое зерно, но написав статью сейчас — грош цена докладу, в котором я смогу более полно раскрыть тему и главное подробнее рассказать о наиболее интересных вам моментах, в режиме живого диалога.

Цель данного поста отнюдь не само-реклама. Для меня важно понять насколько интересна эта тема сообществу.

[egorinsk]

Прочесть мануал сложно?

[AmdY]

а прочитать тему доклада сложно?
>>*Опыт* применения в нагруженных проектах

[egorinsk]

Ну, ок. Можно сделать проект и нагружать его юзерами или apache benchmark'ом :)

[AmdY]

делов то, в выходные набросаю убийцу вконтакта с с блэкджеком и шлюхами и всё разберу по косточкам.
ab это совсем силикон.

[Disasm]

«Очень быстрый» это как? Во сколько раз быстрее memcache например? Я вот его в 60 раз обогнал, а вы?

[Shumkov]

www.google.com/search?q=redis+vs+memcached

[vladsm]

То есть вы сами не тестировали?

[Shumkov]

Тестировал. Я максимально быстро ответить на ваш вопрос.

[dAllonE]

На правах рекламы: Если Вы любите Redis, но не любите английский: сравнительно недавно замечательный человек vasa_c перевел документацию по ней.

[bapetrov]

Очень полезная ссылка, спасибо.

[pred8or]

А вот с BerkeleyDB сравнивать не пробовали?

[SMiX]

redis, естественно, будет быстрее. Хотя бы потому что Berkeley — встраиваемая бд.

[pred8or]

Э… тёплое и мягкое?

[SMiX]

redis оперирует в по большей части в озу, berkeley бегает по диску.

[pred8or]

Тогда как с этим?

Сравнение производительности и возможностей с другими хранилищами:

* MySQL (InnoDB)
* Memcached
* Cassandra
* Tokyo Cabinet
* MongoDb

[Sannis]

Был бы рад, если бы вы обратили внимание на особенности текущей реализации драйвера для Node.js :)

[Shumkov]

К сожалению, пока всерьез его не смотрел, поэтому вряд ли смогу раскрыть все его особенности.

[phpclub]

Пообщаться с автором Redis — можно будет на DEVCONF 2010 (уже более 250участников)
Подробнее тут
devconf.ru/news/detail/29

[Sannis]

А мне казалось, что в документации к Redis указан автором Salvatore Sanfilippo…

[Shumkov]

:) Автор Redis — Salvatore Fillipo

[Shumkov]

Памяти он отжирает на удивление гораздо меньше чем MongoDb :)

[Shumkov]

Эта проблема была в ранних версиях. Сейчас у нас по пол миллиона ключей на каждом сервере. В памяти каждый процесс занимает по 3,6 гигабайт и это значение увеличивается равномерно с увеличением количества ключей, то есть никаких фатальных утечек не возникает.

[Shumkov]

Я сказал, что на каждом сервере по полмиллиона ключей примерно. У нас сейчас ключи размазываются по четырем серверам.

С memcache сравнивать не имеет смысла, так как он хранит данные в энергозависимой памяти. Сравнивайте в таком случае с memcachedb… и забудьте о списках, сетах и прочих вкусностях Redis.

Redis — это не панацея. Это такой же инструмент как и MySQL и MongoDb, и у каждого инструмента есть своя область применения. Мы используем все три перечисленных базы, под свои задачи.

У проекта, о котором я говорю почти 2 миллиона просмотров в день.

Мы не единственные кто его использует. Есть товарищи гораздо крупнее, github например. Надо просто делать это с умом, об этом я и буду рассказывать в своем докладе.

[Shumkov]

Ссылка: geometria.ru

Еще раз, Redis хранит не только стринги, в отличии от Memcached. У нас 45% ключей это сеты, листы и сортед-сеты.

Сделал простенький тест: загнал миллион обычных ключей в Redis и Memcached.

Redis — 202,6 Мб (187 Мб после рестарта)
Memcached — 71 Мб

Да, Memcached хранит ключи более компактно, но плюсы которые дает Redis гораздо дороже, чем память в магазине, поэтому я не вижу никакой проблемы в этом. Серьезный проект никогда не будет жаться из-за лишней планке в сервере, не так ли? :)

Случай о котором вы говорите подходит только для snapshot-ов. Мы используем второй вариант сохранения данных — AOF (binlog).

Резюмируя ответ: нас не беспокоят лишнии байты который отъедает Redis, по сравнению с Memcached. Это незначительная плата persistent хранение данных, списки, сеты, транзакции, эвент-модель и прочие чудеса Редиса.