В нашем случае выигрыш тоже оказался кратным, при этом мы избежали зоопарка в стеке и сохранили PHP. Статья как раз о том, как мы избавились от "баш-портянки" в то время, когда Airflow и Dagster еще не были зрелыми.
Тогда n8n еще не существовало, но и сегодня я бы не стал его выбирать для этой задачи. На мой взгляд, он уступает Dagster и Airflow, когда требуется запускать сложные пайплайны и автоматически масштабировать под доступные ресурсы.
Внедрить другой стек ради выигрыша в миллисекунды для операции, которая длится несколько часов? Надеюсь, вы этого не предлагаете всерьез ) По поводу базы частично правы. TaskManager управляет скриптами, которые в основном работают с базой, и база всегда является узким местом.
Вы правы, статья долго ждала публикации, и за это время в аналитическом стеке мы начали переход с Airflow на Dagster. Тоже подумали, что Dagster может подойти и для целей из статьи, но пока это задача на анализ еще в бэклоге.
Действительно сформулировал неудачно, уже поправил. Спасибо!
У нас достаточно большой проект на нем. Было бы странно тащить в стек другой язык ради выигрыша в миллисекунды (для нашей задачи).
В нашем случае выигрыш тоже оказался кратным, при этом мы избежали зоопарка в стеке и сохранили PHP. Статья как раз о том, как мы избавились от "баш-портянки" в то время, когда Airflow и Dagster еще не были зрелыми.
Тогда n8n еще не существовало, но и сегодня я бы не стал его выбирать для этой задачи. На мой взгляд, он уступает Dagster и Airflow, когда требуется запускать сложные пайплайны и автоматически масштабировать под доступные ресурсы.
Внедрить другой стек ради выигрыша в миллисекунды для операции, которая длится несколько часов? Надеюсь, вы этого не предлагаете всерьез ) По поводу базы частично правы. TaskManager управляет скриптами, которые в основном работают с базой, и база всегда является узким местом.
Спасибо! Вопрос выходит за рамки статьи, ответил в личку.
Вы правы, статья долго ждала публикации, и за это время в аналитическом стеке мы начали переход с Airflow на Dagster. Тоже подумали, что Dagster может подойти и для целей из статьи, но пока это задача на анализ еще в бэклоге.
Честно говоря, в эту сторону мы пока не смотрели из-за больших требований к инфраструктуре у Temporal, но обязательно подумаем, спасибо )