Spark 在本地机器而不是独立集群中运行

亚什·乔杜里

我在 ec2 上创建了一个 spark 集群,之后,我在主节点上安装了 Jupyter 并启动了 jupyter,之后我使用创建了 sparkcontext

findspark.init(spark_home='/home/ubuntu/spark')
import pyspark
from functools import partial
sc = pyspark.SparkContext(appName="Pi")

当我尝试运行任何作业时,spark 仅使用主机的内核,所有从机都在运行并连接到主机,但我仍然无法使用任何从机的内核,请任何人帮忙。

邦纳恩佐

您需要spark://...在创建时将主 url 设置为SparkContext

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Spark-如何在本地运行独立集群

使用 master = local[*] 在本地机器上运行 Spark 并调用 .collect 方法

在独立集群上运行spark时出错

从本地IDE针对远程Spark集群运行

Spark独立集群轮胎访问本地python.exe

将应用程序提交到从Python笔记本在GCP中运行的独立Spark集群

在Spark集群中运行用Scala编写的Spark代码

在整个集群中运行带有Spark提交的Spark作业

如何在远程Spark集群上运行本地Python脚本?

Spark独立

Spark Cassandra连接器在独立Spark集群中不起作用

如何查看Spark独立集群的聚合日志

Spark任务在独立集群上随机阻止

使用Ranger的独立Spark集群授权

Spark独立集群的身份验证

Spark Stack中的Spark Scheduler与独立Scheduler

在本地机器上运行 Kafka 脚本

在独立集群上运行时,Spark程序给出奇怪的结果

在独立集群上运行Spark Shell时出现太大的框架错误

在集群中运行时,Spark Scala FoldLeft导致StackOverflow

Spark:如何从Spark Shell运行Spark文件

3个Kubernetes集群1基于本地机器

AWS Device Farm:量角器脚本在本地机器上运行,而不是在 AWS 云机器上运行

Spark独立模式与本地模式之间的区别?

本地机器中的 Xamarin 白屏

在独立集群中通过REST作业提交进行spark.master配置将被忽略

使用Zookeeper在Spark独立集群中查找领导者节点

无法在Mac上以独立模式运行Spark

按下按钮从谷歌表运行保存在本地机器中的python脚本