我在 main 方法中有 nec 代码:
try {
tappSparkEngine.process();
}catch{
case e: Exception => LOG.error(e.toString)
throw e
}
抛出异常时有一个条件,这会记录在日志中:
2018-04-02 03:05:04 错误 TappSparkApp$:55 - java.lang.Exception:预期时错过了午夜点
这是日志中的最后一条记录。但是 EMR 作业步骤不是失败状态,而是已完成。为什么这样?以及如何让它失败?
从您的程序返回一个非零值。
例如:在 Java 中
system.exit(-1)
在下面的链接中,程序员在 python https://aws.amazon.com/blogs/big-data/submitting-user-applications-with-spark-submit/ 中做同样的事情
尝试在 org.apache.spark.SparkException 中包装异常
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句