输出位置验证失败...映射器在输出文件夹中创建_temporary目录

灵兹

跑步后

hdfs dfs -rm -r -skipTrash hdfs://valid/output/path
hdfs dfs -ls hdfs://valid/output/path

并验证此输出目录不存在,我仍然收到以下错误:

2016-12-30 23:38:55,290 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6000:  Output Location Validation Failed for: '/valid/output/path More info to follow:
Output directory hdfs://valid/output/path already exists

我也试过fs -rm -rrmr我的猪脚本中之前STORE调用,并出现了错误,声称该文件夹不存在。

当我lshdfs://valid/output/path输出目录,猪脚本错误后出来,它显示了一个_temporary目录,其中包含attempt_[insert random number]目录,这又似乎含有活泼的文件。我怀疑映射器正在将中间数据写入我的输出目录。为什么会这样,如何使它停止?

相关标题如下:

SET default_parallel 50;
SET mapreduce.job.queuename my.queue.name;
SET mapreduce.reduce.markreset.buffer.percent 0.7;
SET mapreduce.map.java.opts -Xmx3200m;
SET mapreduce.reduce.java.opts -Xmx6400m;
SET yarn.app.mapreduce.am.command-opts -Xmx6400m;
SET mapreduce.map.memory.mb 4096;
SET mapreduce.reduce.memory.mb 8192;
SET yarn.app.mapreduce.am.resource.mb 8192;
SET mapreduce.reduce.maxattempts 20;

已经尝试了以下解决方案,但没有成功:

Apache Pig,禁止“输出位置验证失败”“输出目录...已存在”

54l3d

尝试使用rmf命令并输入如下路径

rmf /valid/output/path

如果该目录不存在,则不会引发错误,请在存储数据之前使用它。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章