Tensorflow 2 多个同时预测

叶尔占·卡斯卡贝

在 Tensorflow 2 中加载保存的模型后tf.saved_model.load(my_model)如何使用相同的模型(不是图形)运行多个预测?

我正在使用多处理包中的 Pool 类。在加载模型之前在辅助方法中导入 tensorflow 和 keras 没有帮助:

import tensorflow as tf
import keras
tf.saved_model.load(my_model)

错误代码:

无法腌制本地对象“Loader._recreate_base_user_object.._UserObject”

叶尔占·卡斯卡贝

正如在stackoverflow 中所建议的,在数组中传递多个输入(numpy 或 python 无关紧要)比 for 循环效果更好。性能改进为 25%。不要忘记设置线程号:

tf.config.threading.set_intra_op_parallelism_threads(num_cores)
tf.config.threading.set_inter_op_parallelism_threads(num_cores)

但是应该注意,tensorflow 会使用线程数倍的内存。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章