我能够使用 python 中的 boto3 从 S3 存储桶中读取多个 csv 文件，并最终将这些文件合并到 Pandas 中的单个数据框中。但是，在某些文件夹中，有一些空文件会导致错误“没有要从文件中解析的列” ”。我们可以跳过下面代码中的那些空文件吗？
s3 = boto3.resource('s3')
bucket = s3.Bucket('testbucket')
prefix_objs = bucket.objects.filter(Prefix="extracted/abc")
prefix_df = []
for obj in prefix_objs:
key = obj.key
body = obj.get()['Body'].read()
temp = pd.read_csv(io.BytesIO(body),header=None, encoding='utf8',sep=',')
prefix_df.append(temp)
我用过这个 ans [https://stackoverflow.com/questions/52855221/reading-multiple-csv-files-from-s3-bucket-with-boto3][1]
s3 = boto3.resource('s3')
bucket = s3.Bucket('testbucket')
prefix_objs = bucket.objects.filter(Prefix="extracted/abc")
prefix_df = []
for obj in prefix_objs:
try:
key = obj.key
body = obj.get()['Body'].read()
temp = pd.read_csv(io.BytesIO(body),header=None, encoding='utf8',sep=',')
prefix_df.append(temp)
except:
continue
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句