我正在尝试为以本地模式运行的spark应用程序设置环境变量。
这是提交火花的作业：
spark-submit --conf spark.executorEnv.FOO=bar --class com.amazon.Main SWALiveOrderModelSpark-1.0-super.jar
但是，当我尝试访问此内容时：
System.out.println("env variable:- " + System.getenv("FOO"));
输出为：-
env variable:- null
有谁知道我该如何解决？
spark.executorEnv.[EnvironmentVariableName] 用于（强调我的）：
将EnvironmentVariableName指定的环境变量添加到Executor进程中。
除以外，它在驱动程序上不可见org.apache.spark.SparkConf。要使用它来访问它，System.getenv您必须在正确的上下文中进行操作，例如从任务中进行操作：
sc.range(0, 1).map(_ => System.getenv("FOO")).collect.foreach(println)
bar
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句