我希望在我的dataproc群集的每个节点上设置一个环境变量，以便它可用于将在该群集上运行的pyspark作业。做这个的最好方式是什么？
我想知道是否有一种使用Compute Engine元数据的方法（尽管到目前为止，我的研究表明Compute Engine元数据可通过Compute Engine实例上的元数据服务器获得，而不是通过环境变量获得）。
除此之外，除了export在dataproc初始化脚本中发出命令外，我别无选择。
有人可以建议其他替代方法吗？
Dataproc对自定义环境变量没有一流的支持，但是您可以通过将env变量添加到中来通过init操作来实现/etc/environment。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句