我已经在独立模式下使用 cassandra 作为数据集群设置了一个火花集群。另一方面，我正在使用 IntelliJ IDEA 编写要发送到由工作人员执行的 Spark 集群的驱动程序代码。
我想知道是否可以将代码从 intellij（在我的本地机器上）执行到远程集群中，或者我必须创建一个 .jar 文件并使用 sopark-submit 将其部署到工作人员？。
我只是在寻求确认，因为我在进行所有设置时遇到了问题，需要减少可能性。
提前致谢。
您必须在Spark-cluster此集群上执行代码并为其设置配置，SparkContext因此您可以在 Intellij 中编写代码并将代码部署到 Spark 将执行它的远程集群，我建议您阅读有关在集群上提交应用程序的规范。启动应用程序的配置可以是下一个：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://${yourip}:7077 \
--executor-memory 5G \
/path/to/examples.jar \
1000
如果您不想直接 rconnect 到集群，您可以制作jar文件并将其部署在集群上，无需连接spark-submit- 此视频教程展示了如何制作。HTH
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句