当 Scala Spark 应用程序抛出异常时,为什么 AWS EMR 步骤不会失败

jk1

我在 main 方法中有 nec 代码:

 try {
      tappSparkEngine.process();
    }catch{
      case e: Exception => LOG.error(e.toString)
              throw e
    }

抛出异常时有一个条件,这会记录在日志中:

2018-04-02 03:05:04 错误 TappSparkApp$:55 - java.lang.Exception:预期时错过了午夜点

这是日志中的最后一条记录。但是 EMR 作业步骤不是失败状态,而是已完成。为什么这样?以及如何让它失败?

雷维曼
  1. 从您的程序返回一个非零值。

    例如:在 Java 中

    system.exit(-1)

    在下面的链接中,程序员在 python https://aws.amazon.com/blogs/big-data/submitting-user-applications-with-spark-submit/ 中做同样的事情

  2. 尝试在 org.apache.spark.SparkException 中包装异常

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章