测量python脚本的执行时间

我目前正在ML NLP项目中工作,我想测量某些部分的执行时间,还可能预测执行将花费多长时间。例如,我要测量ML训练过程(包括诸如数据预处理部分之类的子过程)。我一直在网上寻找,并且遇到了可以测量函数执行时间(例如时间或timeit)的不同python模块。但是,我仍然没有找到一个具体的解决方案来预测函数执行所需的时间。我曾考虑过多次运行代码,保存(data_size,time)值,然后使用该值推断未来的数据。我还考虑过用函数运行多个子部分的时间来更新此估算值(例如查看计算了多少过程,

但是,我不确定其中的任何一个,我想看看是否还有我不知道的更好的选择,因此,如果有人有更好的主意,请与我分享。

foll_person

您是否考虑过使用分析?它应该提供函数执行时间,调用次数等的详细细分。您将必须使用概要分析来执行脚本,然后才能获得详细的细分。https://docs.python.org/3/library/profile.html#module-cProfile

如果您想要及时的进度报告,那么我有几个库。https://pypi.org/project/tqdm/ https://pypi.org/project/progressbar2/

希望这些帮助!

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章