我希望在纯python的内存中有效地串联(附加)一堆小pdf。具体来说,通常情况是将500张单页pdf合并为一个,每个pdf大小约为400 kB。假设pdf可作为内存中的可迭代对象使用,例如一个列表:
my_pdfs = [pdf1_fileobj, pdf2_fileobj, ..., pdfn_fileobj] # type is BytesIO
其中每个pdf_fileobj均为BytesIO类型。然后,基本内存使用量约为200 MB(500 pdfs,每个400kB)。
理想情况下,我希望以下代码总共使用不超过400-500 MB的内存(包括my_pdfs
)进行连接。但是,情况似乎并非如此,最后一行的调试语句指示以前的最大内存接近700 MB。此外,使用Mac os x资源监视器,当到达最后一行时,分配的内存指示为600 MB。
运行gc.collect()
将其减少到350 MB(几乎太好了吗?)。在这种情况下,为什么我必须手动运行垃圾收集来摆脱合并垃圾?我已经看到了(可能)导致内存积聚的情况略有不同,我现在将略过。
import PyPDF2
import io
import resources # For debugging
def merge_pdfs(iterable):
''' Merge pdfs in memory '''
merger = PyPDF2.PdfFileMerger()
for pdf_fileobj in iterable:
merger.append(pdf_fileobj)
myio = io.BytesIO()
merger.write(myio)
merger.close()
myio.seek(0)
return myio
my_concatenated_pdf = merge_pdfs(my_pdfs)
# Print the maximum memory usage
print('Memory usage: %s (kB)' % resource.getrusage(resource.RUSAGE_SELF).ru_maxrss)
merger.write(myio)
鉴于所有情况都发生在ram中,所以它的运行速度似乎确实很慢。谢谢!
问:为什么上面的代码需要近700 MB的内存来合并200 MB的PDF?400 MB +开销不够吗?如何优化它?
答:因为.append
创建了一个新的流对象,然后使用merger.write(myio)
,它会创建另一个流对象,因此内存中已经有200 MB的pdf文件,因此3 * 200 MB。
问:当有问题的变量应该已经超出范围时,为什么我需要手动运行垃圾回收来摆脱PyPDF2合并垃圾?
答:这是PyPDF2中的一个已知问题。
问:那一般的方法呢?这种情况适合使用BytesIO吗?
答:考虑到内存问题,您可能需要尝试其他方法。也许一个接一个地合并,将文件临时保存到磁盘,然后从内存中清除已合并的文件。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句