我在 ec2 上创建了一个 spark 集群,之后,我在主节点上安装了 Jupyter 并启动了 jupyter,之后我使用创建了 sparkcontext
findspark.init(spark_home='/home/ubuntu/spark')
import pyspark
from functools import partial
sc = pyspark.SparkContext(appName="Pi")
当我尝试运行任何作业时,spark 仅使用主机的内核,所有从机都在运行并连接到主机,但我仍然无法使用任何从机的内核,请任何人帮忙。
您需要spark://...
在创建时将主 url 设置为SparkContext
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句