如何限制Spark作业失败的重试次数？

有两个设置可控制重试次数（即，ApplicationMaster尝试使用YARN 进行注册的最大次数失败，因此将整个Spark应用程序视为失败）：

• spark.yarn.maxAppAttempts-Spark的设置。参见MAX_APP_ATTEMPTS：

    private[spark] val MAX_APP_ATTEMPTS = ConfigBuilder("spark.yarn.maxAppAttempts")
      .doc("Maximum number of AM attempts before failing the app.")
      .intConf
      .createOptional
  

• yarn.resourcemanager.am.max-attempts -YARN自己的设置，默认为2。

（如您在YarnRMClient.getMaxRegAttempts中所看到的），实际数字是YARN和Spark的配置设置的最小值，而YARN是最后的选择。