跑步后
hdfs dfs -rm -r -skipTrash hdfs://valid/output/path
hdfs dfs -ls hdfs://valid/output/path
并验证此输出目录不存在,我仍然收到以下错误:
2016-12-30 23:38:55,290 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6000: Output Location Validation Failed for: '/valid/output/path More info to follow:
Output directory hdfs://valid/output/path already exists
我也试过fs -rm -r
,rmr
我的猪脚本中之前STORE
调用,并出现了错误,声称该文件夹不存在。
当我ls
的hdfs://valid/output/path
输出目录,猪脚本错误后出来,它显示了一个_temporary
目录,其中包含attempt_[insert random number]
目录,这又似乎含有活泼的文件。我怀疑映射器正在将中间数据写入我的输出目录。为什么会这样,如何使它停止?
相关标题如下:
SET default_parallel 50;
SET mapreduce.job.queuename my.queue.name;
SET mapreduce.reduce.markreset.buffer.percent 0.7;
SET mapreduce.map.java.opts -Xmx3200m;
SET mapreduce.reduce.java.opts -Xmx6400m;
SET yarn.app.mapreduce.am.command-opts -Xmx6400m;
SET mapreduce.map.memory.mb 4096;
SET mapreduce.reduce.memory.mb 8192;
SET yarn.app.mapreduce.am.resource.mb 8192;
SET mapreduce.reduce.maxattempts 20;
已经尝试了以下解决方案,但没有成功:
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句