Celery — распределенная очередь заданий

[Zada]

А тег mongodb, зачем?

[Biggo]

Так бекенд — mongodb в примере.

[Zada]

Ага, как-то пропустил. Это несомненно круто.
Спасибо.

[mechmind]

А в чем заключается распределенность очереди заданий? Пока что я вижу централизованный учет и раздачу их.

[Biggo]

Распределенность в плане выполнения заданий, то есть они делятся между запущенными воркерами, однако если вы хотите чтобы раздача заданий была отказоустойчивой, есть смысл использовать RabbitMQ

[Tonik]

Не флейму для, а интереса ради, а gearman.org/ не рассматривали? Вроде как значительно более стабильный и проверенный вариант

[Biggo]

Нет, не рассматривали. В будущем планируем перевести раздачу очередей на AMQP(RabbitMQ), а это тоже промышленное решение.

[greevex]

Instagram перешел с gearmand на celery.
Мы, кстати, у себя гирман используем очень и очень много где и тоже подумываем переходить, привысоких нагрузках гирман начинает подтупливать, а именно выполняя одну очередь, забивает на другие полностью, и даже приоритеты задач не помогают.

[serjio]

оффтопик:
интересно, сколько человек тянут такой проект?

[serjio]

это я про конструктор сайтов

[Biggo]

4 пока

[immaculate]

Четыре программиста или админ, дизайнер, программист, менеджер?

[Biggo]

всего 4, так что второе.

[mythmaker]

Есть ли математические применения этой штуки? Например, если у меня есть кластер и суперкомпьютер, могу я что-то для себя сложное на ней посчитать?

[Biggo]

В принципе почему бы нет, вопрос в том что это даст в плане выигрыша в производительности. Надо смотреть особенности задачи.

[professor_kuvalda]

> delayed_function.apply_async(args=[id], countdown=300) # Будет запущена через 300 секунд

как-нибудь проверить можно, есть ли данное задание в очереди на выполнение? отменить его можно?

[Biggo]

Да, можно:
r = delayed_function.apply_async(args=[id], countdown=300)
r.status — Если PENDING, значит еще ждет

Отменить можно:
celery.task.control.revoke(task_id, destination=None, **kwargs)

[professor_kuvalda]

благодарю

[insa]

Очередной RabbitMQ ради RabbitMQ.

[TravisBickle]

Могли поюзать tailable cursors в MongoDB для очередей =) Было прикольнее чем RabbitMQ.

[yoihj]

Переменную r можно прогнать через cPickle, положить значение в кеш и аяксом опрашивать статус задания.

Ой-ой-ой-ой!.. не надо такие опасности советовать людям! Уточняйте четко, что значение cPickle надо хранить только на стороне сервера, а опрашивать аяксом только по какому-нибудь связному идентификатору, а то ведь люди будут передавать клиенту результат cPickle и по нему опрашивать. А там:

docs.python.org/library/pickle.html

[Biggo]

Да, конечно лучше в кеш только id класть, а вобще по ситуации смотреть надо.

[dgstudio]

Почему же вы не вставили в пост этот прекрасный интернет-мем? :)

[Biggo]

Спасибо, но уж поздновато статью менять)