使用Spark读取Minio存储桶中的多个文件

我正在尝试使用Spark读取多个文件。这些文件是avro文件，存储在名为datalake的Minio存储桶中

我正在使用：Spark 2.2.1编译时没有hadoop

Minio（最新的minio / minio docker）

2个软件包：com.databricks：spark-avro_2.11：4.0.0和org.apache.hadoop：hadoop-aws：2.8.3

我目前正在使用pyspark进行测试：

PYSPARK_PYTHON=python3 /usr/local/spark/pyspark --packages com.databricks:spark-avro_2.11:4.0.0,org.apache.hadoop:hadoop-aws:2.8.3

与Minio的连接的初始化：

AWS_ID='localKey'
AWS_KEY='localSecret'
sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", AWS_ID)
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_KEY)
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "http://127.0.0.1:9000")

当文件直接存储在存储桶根目录中时，我可以使用通配符，如下所示：

DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random-random_table+0+000000001*.avro")

结果是可以的：

DF_RANDOM.show()
+-----+-------------------+---+-------------+
|index|                  A|  B|    timestamp|
+-----+-------------------+---+-------------+
|   12| 0.5680445610939323|  1|1530017325000|
|   13|  0.925596638292661|  5|1530017325000|
|   14|0.07103605819788694|  4|1530017325000|
|   15|0.08712929970154071|  7|1530017325000|
+-----+-------------------+---+-------------+

但是，如果文件存储在子文件夹中：

DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+000000001*.avro")

发生错误：

Py4JJavaError: An error occurred while calling o111.load. : java.nio.file.AccessDeniedException: s3a://datalake/random: getFileStatus on s3a://datalake/random: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: null), S3 Extended Request ID: null

我不明白为什么？子文件夹由kafka连接器创建

请注意，如果我不使用通配符，则可以访问存储在这些子文件夹中的文件，如下所示：

DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+0000000012.avro")

是否有任何政策或设定机会？spark.read指令似乎像文件一样读取s3：// datalake / random，但它是要浏览的文件夹

任何的想法 ？

不管怎么说，还是要谢谢你