使用 SPARK 从 ftp 读取文件时出现异常

Nir 发表于 Dev

近红外

尝试使用 Spark 从 FTP 读取数据时出现以下错误。

WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost): java.io.IOException: Seek not supported

at org.apache.hadoop.fs.ftp.FTPInputStream.seek(FTPInputStream.java:62)

at org.apache.hadoop.fs.FSDataInputStream.seek(FSDataInputStream.java:62)

at org.apache.hadoop.mapred.LineRecordReader.<init>(LineRecordReader.java:127)

at org.apache.hadoop.mapred.TextInputFormat.getRecordReader(TextInputFormat.java:67)

at org.apache.spark.rdd.HadoopRDD$$anon$1.<init>(HadoopRDD.scala:245)

at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:208)

at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:101)

at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)

at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)

at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)

at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)

at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)

at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)

at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)

at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)

at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70)

at org.apache.spark.scheduler.Task.run(Task.scala:86)

at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

看起来 FPT 服务器不支持搜索，而 Spark 默认尝试在内部使用搜索将文件拆分为更小的文件。

如何读取 FTP 文件没有任何问题？

喜满树帕尔玛

最简单的方法是将文件作为一个整体读取，而不是使用查找。

下面的代码是 Java 中的答案：

 String dataSource = "ftp://user:pwd/host/path/input.txt";
 sparkContext.wholeTextFiles(dataSource).values().saveAsTextFile("/Users/parmarh/git/spark-rdd-dataframe-dataset/output/ftp/");

如果文件太大，缺点是非常慢......

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。