如何将所有文件和目录(除了一个)从本地驱动器复制到 HDFS?

东京

我有一个/home/my_directory/包含以下文件和子目录的目录:

anotherTest.txt  doNotCopy.txt   my_subdirectory/   subdirectory2/   test.txt      

如何复制 HDFS 上除doNotCopy.txt文件之外的所有文件和目录

乔治·米里安索斯

--copyFromLocal不提供排除特定文件的方法。您可以执行以下操作:

ls /home/my_directory | grep -v 'doNotCopy.txt' | while read -r fileName ; do 
    eval "hdfs dfs -copyFromLocal -f $fileName /path/to/HDFS/" 
done

现在,如果你ls/path/to/HDFS/你应该在那里得到所需的文件:

hdfs dfs -ls -C /path/to/HDFS/

anotherTest.txt   my_subdirectory/   subdirectory2/   test.txt 

如果要排除多个文件或目录

ls /home/my_directory | grep -v 'doNotCopy.txt\|dirDoNotCopy\|anotherTextFile.txt' | while read -r fileName ; do 
    eval "hdfs dfs -copyFromLocal -f $fileName /path/to/HDFS/" 
done

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Java将HDFS中的文件复制到HDFS中的另一个目录

如何将文件从HDFS复制到本地文件系统

将目录从本地系统复制到hdfs Java代码

如何使用Java API将文件从一个HDFS文件夹复制到另一个HDFS文件夹?

尝试将csv从一个目录复制到另一个目录时出现HDFS“无此文件或目录”错误

使用JAVA从HDFS中的一个目录复制到HDFS中的另一个目录

将一个本地文件放入多个HDFS目录

如何将hdfs文件复制到另一台服务器[linux]

将多个文件从HDFS复制到本地:多线程?

无法将文件从本地磁盘复制到HDFS

最近24小时将文件从HDFS中的多个目录复制到本地

Oozie将文件从一个HDFS位置复制到另一个位置

hdfs将多个文件复制到同一目标目录

如何将文件从外部驱动器复制到一个分区中?

通过使用Shell脚本以修改后的日期进行过滤,将文件从hdfs文件夹复制到另一个hdfs位置

通过使用 shell 脚本过滤修改日期,将文件从 hdfs 文件夹复制到另一个 hdfs 位置

将Solr HDFS数据复制到另一个群集

HDFS大小和hdfs复制因子

如何将USB(闪存)驱动器的内容自动复制到另一个目录?

无法将文件从本地文件系统复制到Cloudera上的hadoop / hdfs

使用Julia语言将文件复制到HDFS

将数据/文件从Windows复制到Linux机器或HDFS

作为目录的 HDFS“文件”

将文件从HDFS复制到本地系统时出现问题[copyToLocal:权限被拒绝]

如何将windows.old文件夹复制到另一个驱动器?

HDFS文件观察器

如何从HDFS删除文件?

锁定HDFS中的目录

Spark迭代HDFS目录