KServe API参考手册：InferenceService所有配置参数详解

KServe是一个高性能、标准化的Kubernetes模型推理平台，提供生产级的机器学习模型部署服务。作为Kubeflow生态系统的重要组成部分，KServe通过InferenceService资源对象来定义和管理模型服务的完整生命周期。本文将全面解析InferenceService的所有配置参数，帮助您快速掌握这个强大的AI推理框架。

🔧 核心配置结构概览

InferenceService是KServe中最核心的资源对象，它定义了模型服务的完整规范。一个典型的InferenceService配置包含三个主要组件：Predictor（预测器）、Transformer（转换器）和Explainer（解释器），每个组件都有其特定的配置参数。

核心配置文件位置：

• InferenceService定义
• Predictor配置
• 组件扩展配置

📋 Predictor配置详解

Predictor是InferenceService的必选组件，负责实际的模型推理。KServe支持多种AI框架，您可以根据模型类型选择相应的Predictor实现。

支持的Predictor类型

SKLearn Predictor：适用于scikit-learn模型

spec:
  predictor:
    sklearn:
      storageUri: "gs://my-bucket/sklearn-model"

XGBoost Predictor：适用于XGBoost模型

spec:
  predictor:
    xgboost:
      storageUri: "s3://my-bucket/xgb-model"

TensorFlow Predictor：适用于TensorFlow SavedModel

spec:
  predictor:
    tensorflow:
      runtimeVersion: "2.8.0"
      storageUri: "gs://my-bucket/tf-model"

PyTorch Predictor：适用于PyTorch模型

spec:
  predictor:
    pytorch:
      modelClassName: "MyPyTorchModel"
      storageUri: "s3://my-bucket/torch-model"

完整Predictor配置示例：

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: my-model
spec:
  predictor:
    sklearn:
      storageUri: "gs://my-bucket/sklearn-model"
    minReplicas: 1
    maxReplicas: 10
    scaleTarget: 100
    scaleMetric: "rps"

🔄 Transformer配置详解

Transformer用于在Predictor前后进行数据预处理和后处理，实现端到端的推理管道。

Transformer配置结构：

spec:
  transformer:
    custom:
      # 自定义容器配置
    minReplicas: 1
    maxReplicas: 5

💡 Explainer配置详解

Explainer为模型提供可解释性功能，帮助理解模型的决策过程。

ART Explainer配置：

spec:
  explainer:
    art:
      type: "SquareAttack"
      storageUri: "gs://my-bucket/explainer-model"

⚙️ 组件扩展配置

所有组件都共享一组通用的扩展配置参数，这些参数控制着部署和运行时的行为。

自动扩缩容配置

componentExtensionSpec:
  minReplicas: 0    # 允许缩容到0
  maxReplicas: 10    # 最大副本数
  scaleTarget: 100    # 扩缩容目标值
  scaleMetric: "rps"  # 支持的指标：cpu、memory、concurrency、rps
  containerConcurrency: 10  # 容器并发处理数
  timeoutSeconds: 60   # 请求超时时间

日志配置

logger:
  url: "http://log-collector:8080"
  mode: "all"  # 可选值：all、request、response

批处理配置

batcher:
  maxBatchSize: 32    # 最大批处理大小
  maxLatency: 100       # 最大延迟（毫秒）
  timeout: 30           # 超时时间（秒）

🗂️ 存储配置详解

KServe支持多种存储后端，用于加载模型文件。

StorageSpec配置：

storage:
  path: "/mnt/models/model.joblib"  # 模型路径
  schemaPath: "/mnt/models/schema.json"  # 模型schema路径
  parameters:
    type: "s3"  # 存储类型：s3、gcs、hdfs等
  key: "model-key"      # 存储密钥

🎯 高级配置示例

金丝雀部署配置

canaryTrafficPercent: 10  # 流量百分比

自定义容器配置

当内置Predictor不能满足需求时，可以使用自定义容器：

spec:
  predictor:
    # 自定义容器配置
    containers:
    - name: kserve-container
      image: my-custom-predictor:latest

📊 配置参数速查表

配置类别	关键参数	默认值	说明
基础配置	storageUri、runtimeVersion	-	模型位置和运行时版本
扩缩容	minReplicas、maxReplicas	1, 10	副本数范围
性能调优	containerConcurrency、timeoutSeconds	0, 60	并发和超时控制
监控日志	logger、batcher	-	请求日志和批处理
存储配置	storage、parameters	-	模型存储详细配置

💎 最佳实践总结

1. 选择合适的Predictor类型：根据模型框架选择对应的Predictor实现
2. 合理设置扩缩容参数：根据业务负载特点配置minReplicas和maxReplicas
3. 启用监控和日志：配置logger和batcher以便调试和优化
4. 使用存储规范：优先使用StorageSpec而不是简单的storageUri
5. 考虑资源限制：根据模型大小和推理复杂度配置合适的资源限制

通过合理配置InferenceService的各项参数，您可以构建出高性能、高可用的AI推理服务，满足各种生产环境需求。