我在aws 3中有一个文件夹“ input”。我想流式传输在该文件夹中创建的新文件。我正在使用此代码:
ssc = StreamingContext(sc, 10)
rdd = ssc.textFileStream("s3n://dynamodbstream607/input/*")
但是它抛出一个错误,指出输入/ *不存在。我如何从S3中的文件夹中获取火花以流式传输
根据此PR,它将在2.0中可用。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句