无法将文件从本地文件系统复制到Cloudera上的hadoop / hdfs

穆罕默德(Mohammed)

在fedora25上安装cloudera HDC之后,我可以创建文件夹,但不能创建文件,也不能将数据从本地文件系统复制到HDFS。

这是我使用的命令:

sudo -u hdfs hadoop fs -copyFromLocal /home/mohammed/Documents/bbc.txt /kareem/corpora/

这是我从终端获得的信息:

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
copyFromLocal: '/home/mohammed/Documents/bbc.txt': No such file or directory

如何克服这个问题?

非常感谢您的帮助!

严厉的

问题在于您/home/mohammed无法像本地用户hdfs那样运行整个命令来访问的本地路径由于的本地linux用户hdfs无法输入/home/mohammed,因此该命令No such file or directory由于无法找到或读取提供的文件而引发错误并退出。

在大多数打包的HDFS安装中,hdfs用户通常是分布式文件系统的超级用户,管理命令通常以该用户身份运行。但是,在使用hdfs用户为常规用户提供权限和所有权之后,可以并且应该以常规用户的身份对数据进行处理

对于您的情况,mohammed如果此帐户还具有sudo特权,则可以以您的用户身份执行以下操作:

# Superuser-provisioning part (do once)

# Ensure the HDFS directory exists by creating it as a superuser
~> sudo -u hdfs hadoop fs -mkdir -p /kareem/corpora
# Ensure also the HDFS-home path exists by creating it as a superuser
~> sudo -u hdfs hadoop fs -mkdir -p /user/mohammed
# Grant ownership entirely to user mohammed for both paths
~> sudo -u hdfs hadoop fs -chown -R mohammed:mohammed /kareem /user/mohammed

# Final usage part (continue or repeat as many times) without superuser

# Upload the local file (note the absence of sudo)
~> hadoop fs -copyFromLocal -f /home/mohammed/Documents/bbc.txt /kareem/corpora/
# Now read it, etc., all done as the regular non-'hdfs' user
~> hadoop fs -text /home/mohammed/Documents/bbc.txt

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

无法将文件从本地磁盘复制到HDFS

如何将文件从HDFS复制到本地文件系统

将文件从HDFS复制到本地系统时出现问题[copyToLocal:权限被拒绝]

将多个文件从HDFS复制到本地:多线程?

将目录从本地系统复制到hdfs Java代码

在hadoop生态系统中将文件复制到HDFS时出错

将文件复制到DataNodes时Hadoop HDFS中的数据流管道

最近24小时将文件从HDFS中的多个目录复制到本地

使用Julia语言将文件复制到HDFS

将数据/文件从Windows复制到Linux机器或HDFS

将 HDFS Hadoop 中的最后 5 个更新文件复制到 bash 中的目标文件夹

Java将HDFS中的文件复制到HDFS中的另一个目录

将HDFS文件复制到Hive表后复制的文件总数

如何将所有文件和目录(除了一个)从本地驱动器复制到 HDFS?

如何在Scala / Spark中将文件从Hadoop(hdfs)复制到远程SFTP服务器?

Shell命令将文件从HDFS传输到Hadoop 2.6.9中的本地文件系统

用于将文件从本地文件系统移动到HDFS的Hadoop工具

Hadoop:HDFS文件读写

HDFS文件系统的网址

如何以不区分大小写的方式将文件复制到HDFS

hdfs将多个文件复制到同一目标目录

如何使用Google Cloud将Dataproc中的GCS存储桶中的文件复制到HDFS?

将文件存储到S3:本地文件与HDFS

使用Java将目录内容从本地文件系统移至HDFS

AWS China hadoop master-将hdfs文件复制到S3的S3DistCp命令抛出NoClassDefFoundError:com / google / gson / internal / Pair

无法从HDFS读取文件

HDFS 上的文件权限

如何使用Java API将文件从一个HDFS文件夹复制到另一个HDFS文件夹?

无法将linux中的本地文件复制到hadoop