Shumkov Apr 9 2010 at 19:16

Redis — продвинутое key-value хранилище. Опыт применения в нагруженных проектах

2 min

7.8K

Self Promo

+36

Comments 57

dioteos Apr 9 2010 at 19:21

Мой голос вы получили. Удачи вам. Спасибо за редиску)

Shumkov Apr 9 2010 at 19:44

На здоровье! :)

tzlom Apr 9 2010 at 20:30

почему я нищий студент и не могу попасть на DevConf::PHPDevConf :(

Ueasley Apr 9 2010 at 21:10

Потому что не умеешь нихера, следовательно нечего там делать.

tzlom Apr 9 2010 at 21:12

толсто

Ueasley Apr 9 2010 at 21:19

Честно.

tzlom Apr 9 2010 at 21:23

неа, толсто и глупо, или у вас собран libastral с зависимостями на квалификацию?
сомневаюсь

Ueasley Apr 9 2010 at 21:52

Ты любые неудобные темы принимаешь за троллинг? Заметил тендецию, недавно началась.

Умные выражения ради доказательства квалификации выходят из моды.

Finish

tzlom Apr 9 2010 at 22:01

поставь себе минус сам

zloy_alu Apr 10 2010 at 06:47

Ты любые умные выражения принимаешь за доказательства квалификации? Заметил тенденцию, недавно началась.

Троллинг ради троллинга выходит из моды.

Finish

Ueasley Apr 10 2010 at 14:44

От нищих студентов — да. Иначе не были бы нищими. И причем тут, собственно, тенденция? Сморозил ни в п*зду, ни в красную армию, ей богу :-)

И если бы я троллил, я бы сказал, что таких специалистов нужно побольше на конференциях.

Homakov Apr 10 2010 at 16:26

Я ржу вместе с вами ребята, самый добрый тролинг в моей жизни оказался не тролингом.

legato_di Apr 9 2010 at 21:22

ну-ну, чего вы тут кричите

highw Apr 9 2010 at 22:11

Все же считаю для студентов надо делать скидки, так как заработок full-time разработчика и студента различаются.

Homakov Apr 10 2010 at 16:27

А потом и школота начнет возмущаться, мол заработок студента и школьника который вообще не работает различаются :)

remal Apr 9 2010 at 20:36

Голос отдал. А можно потом увидеть запись вашего доклада?

Shumkov Apr 9 2010 at 20:45

Я позабочусь об этом :)

UFO landed and left these words here

Shumkov Apr 10 2010 at 00:03

Да, но на слайдах много кода не напишешь. Думаю подготовить полную версию исходников + краткую инструкцию по установке и запуску окружения в виде дополнительного материала, только не совсем понимаю как раздать. Есть идеи?

d1m Apr 10 2010 at 01:39

В слайдах — ключевые фрагменты (возможно, несколько упрощенные).
А на гитхабе полновесный сорс приложения с кучей комментов.

amima Apr 9 2010 at 21:29

Лучше бы сюда статью написали. Мне вот очень интересно сравнение с memcached

tzlom Apr 9 2010 at 21:54

и с mongo пожалуйста, если возмётесь

Shumkov Apr 10 2010 at 00:06

После конференции обязательно предоставлю все материалы.

AmdY Apr 9 2010 at 22:37

извиняюсь конечно, но — ПОШЛИ БЫ ВЫ.
тема интересная, могли бы хоть крошками поделиться, а не голым анонсом-саморекламой. только аппетит нагнали, а придётся давиться хабра-пильменями про ipod, копирайты и торенты…

SMiX Apr 9 2010 at 23:09

Не беспокойтесь, после конференции и на хабр повалят статьи.

dirtyHabrBobr Apr 9 2010 at 23:25

в смысле поделиться — на блюде принести?
аппетиту давно кушать подано

AmdY Apr 9 2010 at 23:39

естественно гугл всё знает, даже больше, лучше попробовать самому.
мне инофрмация прямо здесь и прямо сейчас не нужна, но вот анонсы, тем более. это очень здорово, что автор решил поделиться опытом, и тем, кто это услышит очень повезёт, но если бы была полноценная статья, то было бы понятное на что подписываешься и какие вопросы будут освещены, а какие подготовить для кулуаров

Shumkov Apr 10 2010 at 00:19

Статья будет обязательно.

Shumkov Apr 10 2010 at 00:17

В вашем замечании конечно есть здравое зерно, но написав статью сейчас — грош цена докладу, в котором я смогу более полно раскрыть тему и главное подробнее рассказать о наиболее интересных вам моментах, в режиме живого диалога.

Цель данного поста отнюдь не само-реклама. Для меня важно понять насколько интересна эта тема сообществу.

egorinsk Apr 10 2010 at 20:47

Прочесть мануал сложно?

AmdY Apr 10 2010 at 21:33

а прочитать тему доклада сложно?
>>*Опыт* применения в нагруженных проектах

egorinsk Apr 11 2010 at 00:01

Ну, ок. Можно сделать проект и нагружать его юзерами или apache benchmark'ом :)

AmdY Apr 11 2010 at 00:34

делов то, в выходные набросаю убийцу вконтакта с с блэкджеком и шлюхами и всё разберу по косточкам.
ab это совсем силикон.

Disasm Apr 9 2010 at 23:23

«Очень быстрый» это как? Во сколько раз быстрее memcache например? Я вот его в 60 раз обогнал, а вы?

Shumkov Apr 10 2010 at 00:20

www.google.com/search?q=redis+vs+memcached

vladsm Apr 10 2010 at 00:40

То есть вы сами не тестировали?

Shumkov Apr 10 2010 at 03:06

Тестировал. Я максимально быстро ответить на ваш вопрос.

dAllonE Apr 9 2010 at 23:26

На правах рекламы: Если Вы любите Redis, но не любите английский: сравнительно недавно замечательный человек vasa_c перевел документацию по ней.

bapetrov Jun 3 2010 at 11:42

Очень полезная ссылка, спасибо.

pred8or Apr 9 2010 at 23:58

А вот с BerkeleyDB сравнивать не пробовали?

SMiX Apr 10 2010 at 04:59

redis, естественно, будет быстрее. Хотя бы потому что Berkeley — встраиваемая бд.

pred8or Apr 10 2010 at 08:40

Э… тёплое и мягкое?

SMiX Apr 10 2010 at 13:23

redis оперирует в по большей части в озу, berkeley бегает по диску.

pred8or Apr 11 2010 at 13:30

Тогда как с этим?

Сравнение производительности и возможностей с другими хранилищами:

* MySQL (InnoDB)
* Memcached
* Cassandra
* Tokyo Cabinet
* MongoDb

Sannis Apr 10 2010 at 02:30

Был бы рад, если бы вы обратили внимание на особенности текущей реализации драйвера для Node.js :)

Shumkov Apr 10 2010 at 03:08

К сожалению, пока всерьез его не смотрел, поэтому вряд ли смогу раскрыть все его особенности.

phpclub Apr 10 2010 at 09:45

Пообщаться с автором Redis — можно будет на DEVCONF 2010 (уже более 250участников)
Подробнее тут
devconf.ru/news/detail/29

Sannis Apr 10 2010 at 11:16

А мне казалось, что в документации к Redis указан автором Salvatore Sanfilippo…

Shumkov Apr 10 2010 at 13:08

:) Автор Redis — Salvatore Fillipo

UFO landed and left these words here

Shumkov Apr 11 2010 at 21:03

Памяти он отжирает на удивление гораздо меньше чем MongoDb :)

UFO landed and left these words here

Shumkov Apr 12 2010 at 12:14

Эта проблема была в ранних версиях. Сейчас у нас по пол миллиона ключей на каждом сервере. В памяти каждый процесс занимает по 3,6 гигабайт и это значение увеличивается равномерно с увеличением количества ключей, то есть никаких фатальных утечек не возникает.

UFO landed and left these words here

Shumkov Apr 12 2010 at 14:07

Я сказал, что на каждом сервере по полмиллиона ключей примерно. У нас сейчас ключи размазываются по четырем серверам.

С memcache сравнивать не имеет смысла, так как он хранит данные в энергозависимой памяти. Сравнивайте в таком случае с memcachedb… и забудьте о списках, сетах и прочих вкусностях Redis.

Redis — это не панацея. Это такой же инструмент как и MySQL и MongoDb, и у каждого инструмента есть своя область применения. Мы используем все три перечисленных базы, под свои задачи.

У проекта, о котором я говорю почти 2 миллиона просмотров в день.

Мы не единственные кто его использует. Есть товарищи гораздо крупнее, github например. Надо просто делать это с умом, об этом я и буду рассказывать в своем докладе.

UFO landed and left these words here

Shumkov Apr 12 2010 at 16:11

Ссылка: geometria.ru

Еще раз, Redis хранит не только стринги, в отличии от Memcached. У нас 45% ключей это сеты, листы и сортед-сеты.

Сделал простенький тест: загнал миллион обычных ключей в Redis и Memcached.

Redis — 202,6 Мб (187 Мб после рестарта)
Memcached — 71 Мб

Да, Memcached хранит ключи более компактно, но плюсы которые дает Redis гораздо дороже, чем память в магазине, поэтому я не вижу никакой проблемы в этом. Серьезный проект никогда не будет жаться из-за лишней планке в сервере, не так ли? :)

Случай о котором вы говорите подходит только для snapshot-ов. Мы используем второй вариант сохранения данных — AOF (binlog).

Резюмируя ответ: нас не беспокоят лишнии байты который отъедает Redis, по сравнению с Memcached. Это незначительная плата persistent хранение данных, списки, сеты, транзакции, эвент-модель и прочие чудеса Редиса.