我一直在创建pyspark作业，并且不断收到一个类似的间歇性错误（更像是随机错误）：
An error occurred while calling o129.parquet. Not Found
(Service: Amazon S3; Status Code: 404; Error Code: 404 Not Found;
Request ID: D2FA355F92AF8F05; S3 Extended Request ID: 1/fWdf1DurwPDP40HDGARlMRO/7lKzFDJ4g7DbUnM04wUvG89CG9w5T+u4UxapkWp20MfQfdjsE=)
我什至没有读过s3，我实际上正在做的是： df.coalesce(100).write.partitionBy("mth").mode("overwrite").parquet("s3://"+bucket+"/"+path+"/out")
因此，我更改了coalesce分区，但是我不确定应该采取什么其他措施来减轻此错误并使我的工作更稳定。
使用胶水从s3中读取文件
datasource0 = glueContext.create_dynamic_frame.from_options( connection_type = "s3", connection_options = {"paths": "s3/path"}, format = "json", transformation_ctx = "datasource0")
使用胶水将文件写入s3
output = glueContext.write_dynamic_frame.from_options(frame = df, connection_type = "s3", connection_options = {"path": "s3/path"}, format = "parquet", transformation_ctx = "output")
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句