如果无法SSH到主节点上,请在dataproc群集上运行HDFS命令

Ketan Vatsalya

如果您无法通过SSH进入主节点,是否可以在Dataproc群集上提交HDFS命令。我在Gcloud SDK或其他API中找不到任何内容。

所以像:

gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1
Dennis Huo

最简单的方法是通过pig fsgcloud dataproc jobs submit pig --execute 'fs -ls /',否则将其pig sh作为其他shell命令的全部。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在极小的群集(3个节点或更少)上附加到hdfs文件

使用Java在SSH上运行命令

WebHDFS无法在安全的hadoop群集上运行

在Google Dataproc群集实例中的Spark-Submit上运行应用程序Jar文件

在Yarn群集上运行的Spark作业java.io.FileNotFoundException:即使文件在主节点上退出,文件也不会退出

在群集节点上运行的Akka流

AKS群集上的主节点

在气流主节点上运行特定任务

SSH从本地到A,从A到B,并在B上运行多个命令

如何在Slurm群集上的多个节点上运行MPI Python脚本?错误:警告:无法在2个节点上运行1个进程,将nnodes设置为1

无法SSH到在MAC上运行的Docker容器

在群集集群中的特定节点上运行docker容器

为什么Pod在主节点上运行?

如何恢复dataproc群集中已删除的主节点?

在dataproc群集节点上设置环境变量的正确方法是什么?

如果无法在Firebase快照中运行

如果无法在MSVC上编译,为什么使用C ++ 17`constexpr这个模板化结构?

Spark Worker节点无法访问主节点上的文件

通过单个命令在SSH上运行htop

否则,如果无法在PHP上正确运行

在Windows上的节点上运行Java keytool命令

运行远程cqlsh以在Cassandra群集上执行命令

如果文件数据以某个十六进制序列开头,请在文件上运行strings命令

Readlink无法在SSH上运行

Dataproc Pyspark作业仅在一个节点上运行

什么是Dataproc上的“处理节点”?

DC / OS上的HDFS关闭端口22。无法在任何HDFS节点上进行SSH

继续运行 Dataproc 主节点

无法通过公共 IP 访问主节点上的服务(但我可以 SSH?)