Pull to refresh

Comments 20

Celery больше функций, но она сложнее. Rq позволяет с минимальными затратами времени реализовать рабочее решение, Здесь очень хорошо описаны Про и Контра celery vs. rq, перевожу кратко:
  • Документация RQ полная и простая. Документация Celery сложнее для восприятия, хотя тоже подробная.
  • Средства мониторинга Celery и RQ легко устанавливаются и оба хороши.
  • Поддержка брокеров очередей: у RQ только Redis, Celery выигрывает (Redis, RabbitMQ). Redis, а значит RQ не гарантирует доставку 100% сообщений.
  • Приоритетные очереди. Подходы разные, но оба работают.
  • Операционные системы. RQ только unix-подобные (fork), Celery побеждает.
  • Языки программирования. RQ только Python, Celery позволяет слать сообщения из одного языка другому (сорри).
  • API. Celery гибче, RQ проще.
  • Celery поддерживает подзадания, RQ — неизвестно (мне тоже неизвестно).
  • Сообщество. Celery активнее, но оба проекта вполне активны.

У всех нас ограничено место в голове, поэтому если организация асинхронных очередей заданий для вас не основная работа, то RQ позволяет легко и просто построить качественное решение, за которое не будет стыдно. Celery конечно круче.
Статья любопытная, не знал про RQ. За статью — 5!) Но надо было остановиться после краткого сравнения.

Вот не надо опять про какие то там мистические ограничения в голове и особенно про «у всех нас».

Ограничения в голове только у всех вас, а за всех нас говорить нехорошо. Была бы карма, влепил бы комменту минус((
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Це по мови як мене в дитячому садочку клыкалы
UFO just landed and posted this here
Для большей гибкости деплоя проекта, лучше изпользовать virtual env, а не ставить пакеты глобально.
UFO just landed and posted this here

При чём здесь классификация картинок? Это отдельная тема. Дядя же ясно написал:


Естественно, его применение не ограничивается этими вашими нейронными сетями.

Смысл статьи в построении системы выполнения сравнительно длительных заданий. Вместо классификации картинок сервис может их ресайзить, например.

UFO just landed and posted this here
Это тянет на enterprise или все такие вариант прототипирования?
Формально такой функционал можно стандартными http.server и threading уложить строк в 30.
Enterprise конечно звучит гордо применительно к open-source но это конечно более устойчивое решение чем http.server и threading.
Пространство HTTPD полностью отделено от потоков «тяжелых» задач, есть средства контроля приоритета и мониторинга для админов.
Скорее всего мне нужен так называемый data orchestration framework, но всё равно спрошу.

Есть ли возможность подключить несколько серверов разных конфигураций?
Есть возможность задавать разные типы тасков и разные типы воркеров?
Есть ли возможность запускать задачи которые описаны через directed acyclic graph? В этой связи больше интересует запуск с места в графе где задача зафейлилась.
Как это всё дебажить и мониторить(хотелось бы что то типа дашборда с метриками и т.д.)?

RQ работает на одном сервере (насколько мне известно). Вашему списку требований удовлетворяет, например, Akka.

Похоже на что то низкоуровневое, мне скорее нужен готовый тул который можно просто под себя настроить, или я не правильно понял, нет ли какого то простого примера?

А так мы пробовали https://github.com/apache/incubator-airflow на том же celery, но как то это всё сложно и непонятно как дебажить.
Sign up to leave a comment.

Articles