Как и почему мы меняли конфигурацию шардов в архитектуре Evernote

[mictian]

Спасибо, очень интересно. Ещё будет интересно почитать про производительность Xen и KVM на SSD.

[afan]

Ответ от CTO:

Мы потратили достаточно много времени на тестирование, чтобы найти оптимальную с точки зрения производительности IO связку виртуализационной платформы и ядра. В дальнейшем мы планируем написать про это отдельный пост. Вкратце: kernel 3.2.10 + Xen обеспечивают намного лучшую производительность при хаотичном чтении/записи на RAID-массив SSD, чем более ранние версии ядра и чем KVM. Мы также проверяли производительность разных файловых систем и остановились на ext4.

[mahoro]

А почему вы решили (или были вынуждены) использовать для шардов виртуальные машины? Обслуживать несколько шардов на одном сервере (но в разных дисковых массивах) без виртуализации вроде бы тоже вполне разумная идея.

[afan]

Я передал вопрос нашему СТО — напишу, когда получу ответ.

[afan]

Перевожу ответ:

Мы начали с пары физических машин, но оказалось, что репликация в этом случае была проблематичной, а CPU использовался не оптимально, так как 50% машины (резервные копии шардов) почти всегда простаивали без дела. Когда мы имеем дело с виртуализированными машинами, ими легче управлять, так как через DRBD можно реплицировать всю виртуальную машину целиком.

[mahoro]

Спасибо! Намотал себе на ус :)