Вот это уже более секрет, чем нет, могу сказать лишь только то, что почти все «универсальные» — хранилище + background job processing. Nginx только на одном, веб-сервера приложения на 3-х :)
В MongoDB отлично реализован шардинг, при соответствующее придуманной схеме работает отлично. Есть проблемы с неконсистентностью данных из-за отсутствия транзакций и при денормализации, но с этим приходится мириться и нормализировать время от времени в фоне. Также есть проблема с отсутствием filtered индексов, что создает оверхед на их хранение.
Не секрет, буквально 30 минут назад стало 300 тысяч аккаунтов.
Ох, прочёл и прямо за душу взяло. Проходил это всё с The Old Reader примерно около года назад, разве что apache на nginx не менял, но зато сменил PostgreSQL на MongoDB когда приблизился момент того, что данные на SSD не помещались. А вы готовы горизонтально масштабировать хранилище? :)
Благодаря многому из ваших комментариев, мы сделали его лучше. The Old Reader теперь работает быстрее, мы сделали интеграцию с Pocket, новый дизайн и внешний вид, доработали list view и добавили экстеншны (как это по-русски будет вообще?) для хрома и сафари. (Больше обо всём сделанном можно прочитать в блоге).
Это понятно, но при отсутствии PHP это всё теряет смысл. В веб-разработке слишком много всего, где PHP вообще не участвует. Может перенесете? Есть хабы PHP, Клиентская оптимизация.
Удачи вам с распределением данных :)
Не секрет, буквально 30 минут назад стало 300 тысяч аккаунтов.
Мы пока не выяснили, в каком случае могут ломаться каунтеры.