ThinkSSL🔒 一键申购 5分钟快速签发 30天无理由退款 购买更放心 广告
# 用Celery扩大规模 `CeleryExecutor`是您扩展工人数量的方法之一。 为此,您需要设置Celery后端( **RabbitMQ** , **Redis** ,...)并更改`airflow.cfg`以将执行程序参数指向`CeleryExecutor`并提供相关的Celery设置。 有关设置Celery代理的更多信息,请参阅[有关该主题](http://docs.celeryproject.org/en/latest/getting-started/brokers/index.html)的详尽[Celery文档](http://docs.celeryproject.org/en/latest/getting-started/brokers/index.html) 。 以下是您的员工的一些必要要求: * 需要安装airflow,CLI需要在路径中 * 整个群集中的气流配置设置应该是同构的 * 在worker上执行的操作符需要在该上下文中满足其依赖项。 例如,如果您使用`HiveOperator` ,则需要在该框上安装hive CLI,或者如果您使用`MySqlOperator` ,则必须以某种方式在`PYTHONPATH`提供所需的Python库 * 工作人员需要访问其`DAGS_FOLDER` ,您需要通过自己的方式同步文件系统。 常见的设置是将DAGS_FOLDER存储在Git存储库中,并使用Chef,Puppet,Ansible或用于配置环境中的计算机的任何内容在计算机之间进行同步。 如果您的所有盒子都有一个共同的挂载点,那么共享您的管道文件也应该可以正常工作 要启动工作人员,您需要设置Airflow并启动worker子命令 ``` airflow worker ``` 你的工人一旦被解雇就应该开始接收任务。 请注意,您还可以运行“Celery Flower”,这是一个建立在Celery之上的Web UI,用于监控您的员工。 您可以使用快捷命令`airflow flower`启动Flower Web服务器。 一些警告: * 确保使用数据库支持的结果后端 * 确保在[celery_broker_transport_options]中设置超过最长运行任务的ETA的可见性超时 * 任务可以并消耗资源,确保您的工作人员有足够的资源来运行<cite>worker_concurrency</cite>任务