假设我在AirFlow中的大多数DAG和任务都应该在与AirFlow服务器相同的机器上运行Python代码。
我可以让不同的DAG使用不同的conda环境吗？如果是这样，我该怎么办？例如，我可以为此使用Python运算符吗？还是会限制我使用与安装AirFlow相同的conda环境。
更一般而言，理想情况下，我应该在哪里/如何为每个DAG或任务激活所需的conda环境？
运行Airflow Worker代码的Python是其环境将用于执行代码的Python。
您可以做的是为不同的worker使用不同的命名队列，以用于不同的执行环境，以便仅特定计算机或计算机组将执行特定的DAG。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句