Эволюция обработки вебхуков Facebook: с нуля до 25 000 в секунду

[Stas911]

Не думали все на serverless сделать, раз уж все равно вы в AWS?

[dkushnikov]

Рассматривали варианты, но когда посчитали экономику — не сошлось. Бизнес-модель сервиса — freemium.

[chapuza]

Выбрать Redis для очередей — фантастически удачное решение.

Ну ээээ… Удачнее, наверное, чем Mongo. Или чем, не знаю, лог-файл.

[dkushnikov]

Это наш опыт. В последствии нам удалось построить сложные системы на базе Redis.
Буду рад, если вы поделитесь своим неудачным опытом работы с Redis. Сможем этом обсудить.

[chapuza]

Да почему же у меня должен буть неудачный опыт? Redis — хорош, просто для очередей как-то более ожидаемо выбирать RabbitMQ, или даже ту же Kafka.

[silentproger]

Почему решили не использовать кафку? Она тут прям напрашивается)

[dkushnikov]

В момент принятия решения ни у кого в команде опыта работы с Kafka в продакшене не было.
А с Redis был.

[3263927]

както так всё дико сложно с этим, сравнивая с signalR… уважение конечно таким людям которые в таких сложных вещах копаются, просто интересно зачем выбирать такие сложные пути? можно вобще без Фейсбука обойтись?

[dkushnikov]

Не совсем понял вопрос. Facebook в данном случае является для нас источником событий. Задача нашего сервиса обработать и быстро. Именно эту проблему мы и решали.

[3263927]

понял, извините за тупой вопрос. не знал что эта платформа на Фейсбук полностью завязана

[Kolsha]

Интересно. Есть пара вопросов:
1) Правильно ли я понял, что lua отвечает за прием запроса и закидывание в очередь, а php берет из очереди и спокойно в своем темпе обрабатывает запрос?
2) Добавление/удаление «галактики» происходит вручную?

P.S. часть изображений читаема с трудом.

[dkushnikov]

1. Да, именно так
2. Новая галактика действительно добавляется вручную (это связано с кластеризацией), но её клон(ы) для повышает производительность, поднимается автоматически средствами AWS при срабатывании Alarm в CloudWatch (например, переполнение очереди).