我们有使用spark.jars.ivySettings自定义jar分辨率的spark配置。Spark作业在无法访问Internet的环境中运行，因此我们想跳过Maven中央调用并使用我们的存储库。
在spark 2.2.1中，一切工作正常，但是当我们升级到2.3时，在ivy设置中指定的存储库将被忽略。结果，由于缺少依赖项，我们的工作失败了。
使用新的spark.jars.repositories指定我们的存储库使它对于spark可见，但不会更改顺序（因此它将始终首先检查maven Central，这是我们不允许的）。
这是新版本中引入的一些错误吗？还是我在这里做错了什么？
好的，我发现问题出在哪里。因此，显然，在2.3中已更改了获取spark.jars.ivySettings的方式。现在，系统属性用于此：
sys.props.get("spark.jars.ivySettings")
此更改之后没有文档更新，对我而言，这似乎是一个错误。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句