我创建了自己的扩展 SparkListener 的 Spark 侦听器类。我已经覆盖了 onJobStart 和 onJobEnd 方法。但是找不到获得工作进展的方法。我想查看已完成作业的百分比。我知道我可以通过 Spark Rest API，但不幸的是我不能使用它。有没有其他方法可以获得工作进度百分比？
每个作业由阶段组成，因此作业开始事件具有 stageInfos。每个阶段都有 numTasks，因此您可能可以计算总共有多少个任务，并且通过监听 onTaskEnd/onStageCompleted，您可以跟踪工作进度。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句