将模型编译为可执行文件以进行更快的推理?

罗德里戈·西尔维拉

有没有一种方法可以使用我训练有素的模型来编译整个Python脚本,以便进行更快的推断?好像加载Python解释器一样,所有Tensorflow,numpy等都花费了很短的时间。当必须在服务器响应不平凡的请求频率时发生这种情况时,它似乎很慢。

编辑

我知道我可以使用Tensorflow服务,但由于与之相关的费用,我不想这样做。

raw

如何设置服务器?如果要使用django,flask或龙卷风之类的python框架设置服务器,则只需预加载模型并将其保留为全局变量,然后使用此全局变量进行预测即可。

如果您使用其他服务器。您还可以制作用于预测作为本地服务器的整个python脚本,并在python服务器和Web服务器之间转换请求或响应。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用Cython将Python代码编译为静态链接的可执行文件

将Java程序编译为可执行文件

如何将PyQt脚本(.py)编译为Windows(.exe)和/或linux的单个独立可执行文件?

Go是否可以在Ubuntu上交叉编译为Windows可执行文件?

如何将OCaml代码编译为独立的字节码可执行文件?

Kivy:编译为单个可执行文件

有没有办法检测,将C文件直接编译为可执行文件?

将ac和lua程序编译为单个可执行文件

将Webassembly编译为本机可执行文件

gcc不会编译为可执行文件

如何在Windows上将PCSXR源代码编译为可执行文件?

将.NET控制台应用程序编译为单个可执行文件

将多个.py文件编译为Windows可执行文件(.exe)

将COBOL编译为Windows的32位可执行文件

将脚本编译为可执行文件时,如何实现到外部使用文件的文件路径?

GHC编译为.o和.hi,但没有可执行文件

Javac如何编译为可执行文件?

pyqtgraph编译为可执行文件失败

是否可以将OS和Web服务器/服务器应用程序一起编译为单个可执行文件?

qmake:将单个cpp文件编译为可执行文件

编译可执行文件

GCC无法编译为可执行文件

cmake生成程序集文件,然后将其编译为可执行文件

在Mac上将Python3编译为二进制可执行文件

将 Kivy 应用程序编译为 Windows 可执行文件

Rust 无法在 Linux 中编译为可执行文件

如何将python脚本编译为可执行文件?

我可以将内联函数编译为共享库,并使用 LD_PRELOAD 作为内联函数挂钩到其他可执行文件吗?

将头文件编译为 CMake 中的可执行文件