我有一个运行很长时间的python脚本，它会创建和删除临时文件。我注意到在文件删除上花费了很短的时间，但是删除这些文件的唯一目的是确保该程序最终不会在长期运行时填满所有磁盘空间。Python中是否存在跨平台机制来异步删除文件，以便在操作系统负责文件删除的同时主线程可以继续工作？
您可以尝试将删除文件委托给另一个线程或进程。
使用新产生的线程：
thread.start_new_thread(os.remove, filename)
或者，使用一个过程：
# create the process pool once
process_pool = multiprocessing.Pool(1)
results = []
# later on removing a file in async fashion
# note: need to hold on to the async result till it has completed
results.append(process_pool.apply_async(os.remove, filename), callback=lambda result: results.remove(result))
进程版本可能允许更多的并行性，因为众所周知的全局解释器锁导致Python线程无法并行执行。我希望GIL在调用任何阻塞的内核函数（例如）时被释放unlink()，以便Python让另一个线程取得进展。换句话说，调用后台工作线程os.unlink()可能是最好的解决方案，请参见Tim Peters的答案。
但是，multiprocessing正在使用下面的Python线程与池中的进程进行异步通信，因此需要进行一些基准测试来确定哪个版本提供了更多的并行性。
避免使用Python线程但需要更多编码的另一种方法是生成另一个进程，并通过管道将文件名发送到其标准输入。这样，您可以交易os.remove()到同步os.write()（一个write()系统调用）。可以使用不推荐os.popen()使用的方法来完成此操作，并且此功能的使用非常安全，因为它仅在一个方向上与子进程进行通信。一个可行的原型：
#!/usr/bin/python
from __future__ import print_function
import os, sys
def remover():
for line in sys.stdin:
filename = line.strip()
try:
os.remove(filename)
except Exception: # ignore errors
pass
def main():
if len(sys.argv) == 2 and sys.argv[1] == '--remover-process':
return remover()
remover_process = os.popen(sys.argv[0] + ' --remover-process', 'w')
def remove_file(filename):
print(filename, file=remover_process)
remover_process.flush()
for file in sys.argv[1:]:
remove_file(file)
if __name__ == "__main__":
main()
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句