在多节点集群上配置Twister

concrete_rose

我对如何建立扭腰多个节点上发现的唯一的指令,是这些我是分布式编程和map reduce范式的新手,因此我可以使用一些更详细的文献(教程,文章,示例,有关堆栈溢出的问题等)。

假设我有一个小型集群,其中包含两台计算机。两台计算机都可以运行我在本地主机上编写的Twister应用程序。它们连接在同一局域网内,地址例如192.168.0.11192.168.0.18假设192.168.0.11将是节点,即我要从中运行应用程序的节点。我们称另一台计算机为slave

计算机可以通过SSH进行通信,而无需输入密码(主机可以对从属和自己进行无密码SSH;从属可以对主人和自己进行无密码SSH)。

我还了解到,在主节点上,应该在$ TWISTER_HOME / bin / nodes文件中命名所有IP节点的地址因此,在这种情况下:

192.168.0.11
192.168.0.18

接下来是什么?还有更多配置吗?从属计算机的配置是否应该更改?Narada和Twister应该在两台计算机上运行,​​还是仅在主计算机上运行?这些步骤对我来说似乎很模糊。

另外,我将不胜感激任何相关文章或此类文章。

谢谢你。

concrete_rose

在奴隶上:

  1. 运行narada(该节点的IP)

在母版上:

  1. 运行narada(两个节点)
  2. 运行绕线机
  3. 运行应用程序

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

安装和配置多节点Hadoop集群

如何配置多节点Apache Storm集群

在 Windows 上安装多节点 kubernetes 集群

配置多节点Cassandra集群部署的最佳方法

Kafka多节点集群监控

多节点Kafka集群中的主节点

使用 Docker Compose 启动多节点集群 - 您在哪里配置主机实际名称?

Kubernetes多节点集群中的CPU不足

如何创建多节点kubernetes集群

在hadoop多节点集群上启动HDFS守护程序时出错

设置分布在两个Linux VM上的多节点Cassandra集群

带有docker的Elasticsearch应用程序可在多节点集群上运行

多节点Spark集群上的spark-shell无法在远程工作节点上启动执行程序

Docker多节点与集群中的一个节点

Gremlin Python-连接到多节点JanusGraph集群

Kubernetes NodePort网络如何在多节点集群上工作?

如何使用多节点Cassandra集群设置Spark?

如何在开发模式下设置多节点Elasticsearch集群?

MonetDB 上的集群配置:无法发现其他节点

在 HDP 多节点集群上使用 yarn-client 的 Spark 仅在同一个单节点上启动执行程序

Cassandra复合,多节点上的compund键

当主节点宕机时,多节点 Kubernetes 集群与单个主节点的行为?

单节点与多节点上的hadoop MapReduce作业

Elasticsearch多节点集群一个节点始终因docker compose失败

如何将单节点Kafka扩展到多节点集群?

Hadoop多节点配置:主节点无法启动从节点中的数据节点

是单节点集群中的h2o进行并行处理还是仅在多节点集群中进行并行处理?

如何在spark-shell上运行多节点?

使用 slurm 在多节点上使用 Mpirun 的主机文件