How to predict from a SavedModel with TensorFlow？

当使用 TensorFlow 从 SavedModel 进行预测时，整个流程可以分为几个步骤。下面我会详细解释每一步，并提供一个简单的例子来说明如何操作。

步骤1: 加载 SavedModel

首先，你需要使用 TensorFlow 提供的 tf.saved_model.load 函数来加载已经保存的模型。这一步会读取模型的结构和已经训练好的参数。

python
import tensorflow as tf

# 假设模型保存在 saved_model_path 路径下
saved_model_path = '/path/to/saved_model'
loaded_model = tf.saved_model.load(saved_model_path)

步骤2: 获取模型的预测函数

加载模型后，你可以通过模型的 signatures 属性来访问其提供的函数。通常，预测时使用的函数是 'serving_default'，这是在模型导出时通常设置的默认签名。

python
infer = loaded_model.signatures['serving_default']

步骤3: 准备输入数据

在进行预测之前，你需要准备输入数据。输入数据的格式和类型应该与模型训练时使用的数据保持一致。假设我们的模型期望输入一个浮点数的张量。

python
import numpy as np

# 创建一个示例输入数据
input_data = np.array([[1.0, 2.0, 3.0]], dtype=np.float32)

步骤4: 执行预测

现在，你可以使用加载的预测函数 infer 来进行预测。输入数据需要作为 TensorFlow tensors 提供给这个函数。

python
# 使用 TensorFlow 将 numpy 数组转换为 tensor
input_tensor = tf.convert_to_tensor(input_data)

# 执行预测
output = infer(input_tensor)

步骤5: 处理输出结果

预测函数会返回一个包含输出结果的字典。你可以从这个字典中提取出需要的预测结果。

python
predicted_result = output['output_0'].numpy()
print("预测结果:", predicted_result)

示例总结

这个例子展示了如何从一个 SavedModel 中加载模型，准备输入数据，执行预测，并处理输出结果。这个流程适用于多种不同的 TensorFlow 模型，只要你知道模型的输入和输出格式。