我正在Google Cloud Composer（托管的Airflow）中运行DAG，该DAG在本地的Airflow中运行良好。它所做的只是打印“ Hello World”。但是，当我通过Cloud Composer运行它时，收到错误消息：
*** Log file does not exist: /home/airflow/gcs/logs/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log
*** Fetching from: http://airflow-worker-d775d7cdd-tmzj9:8793/log/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='airflow-worker-d775d7cdd-tmzj9', port=8793): Max retries exceeded with url: /log/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8825920160>: Failed to establish a new connection: [Errno -2] Name or service not known',))
我还尝试使DAG将数据添加到数据库中，并且实际上成功了50％。但是，它总是返回此错误消息（并且没有其他打印语句或日志）。任何帮助非常感谢为什么会发生这种情况。
我们也遇到了同样的问题，然后向GCP提出了支持请求，并得到了以下答复。
该消息与从Airflow Worker到WebServer同步日志的延迟有关，它至少需要几分钟（取决于对象的数量及其大小），总日志大小似乎并不大，但足以明显减慢同步速度，因此，我们建议清理/存档日志
基本上，我们建议改用Stackdriver日志，因为这种同步的设计会导致延迟
希望这可以帮助您解决问题。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句