如何使用API中的TensorFlow部署和提供预测?

生活:

从Google教程中我们知道如何在TensorFlow中训练模型。但是,最好的方法是保存经过训练的模型,然后在生产服务器中使用基本的最小python API进行预测。

我的问题基本上是针对TensorFlow最佳实践的,它可以在不影响速度和内存问题的情况下保存模型并在实时服务器上提供预测。由于API服务器将永远在后台运行。

一小段python代码将不胜感激。

Jarek Wilkiewicz:

TensorFlow Serving是针对机器学习模型的高性能,开源服务系统,专为生产环境而设计,并针对TensorFlow进行了优化。初始发行版包含基于gRPC的 C ++服务器和Python客户端示例基本架构如下图所示。

在此处输入图片说明

要快速入门,请查看教程

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用Tensorflow模型进行预测?

生产中的TensorFlow可在高流量应用中实时预测-如何使用?

无法使用TensorFlow Go API进行预测

如何在tensorflow js中使用预测

如何使用Tensorflow创建预测和地面真实标签的混淆矩阵?

您如何在Tensorflow中预测

如何在Tensorflow 0.11中使用RNN编写多维回归预测变量

如何在Tensorflow MNIST教程中输出预测值(标签)?

在预测时使用TensorFlow对象检测API模型

如何使用新的数据集API一次仅遍历使用tensorflow中的占位符提供的数据

使用tensorflow“保存的模型” API对在Java和Python中加载的模型进行错误的预测

Tensorflow:如何从预测Tensor中检索信息?

如何使用经过训练的Tensorflow模型进行预测

如何使用TensorFlow从MNIST获得一张图像的预测?

在Tensorflow中还原和预测

如何使用Lambda和API网关部署由AWS Sagemaker创建的乳腺癌预测终端节点?

如何在Tensorflow中打印出预测概率

如何同时使用Tensorflow tf.nn.Conv2d进行训练和预测?

Tensorflow冻结图Protobuf无法使用C API进行预测

Tensorflow对象检测API中的预测数量限制

Tensorflow和Keras预测阈值

如何在Tensorflow-keras中使用nlp的预测?

如何解释 TensorFlow 中的预测,它们的形状似乎错误

无法在 Java API 中运行 Tensorflow 预测

如何在 Tensorflow Object Detection API 中获得预测值的百分比?

如何使用承诺和 HttpClient 在提供者中调用 Api

使用对象检测 tensorflow API 对录制的视频进行预测

使用 Tensorflow Dataset API 时如何使用设置提供标量

如何在 Tensorflow 中拆分 LSTM 的训练数据和测试数据以进行时间序列预测