KServe：Kubernetes 上的标准无服务器机器学习推理平台

1. 项目介绍

KServe 是一个用于在 Kubernetes 集群上部署和管理预测性和生成性机器学习（ML）模型的云原生平台。它旨在解决生产环境中的模型服务问题，提供高抽象接口来支持 Tensorflow、XGBoost、Scikit-Learn、PyTorch 和 Huggingface Transformer/LLM 模型。KServe 实现了标准化的数据平面协议，简化了自动扩展、网络配置、健康检查以及服务器配置的复杂性，以实现如 GPU 自动扩展、零实例扩展和金丝雀发布等高级功能。它还为生产 ML 服务提供了简单可插拔的完整流程，包括预处理/后处理、监控和解释能力。

2. 项目快速启动

首先确保你的本地环境中已经安装了 kubectl 和 Helm。接下来，按以下步骤安装 KServe：

安装 KServe 到本地 Kubernetes 集群

# 添加 KServe 的 Helm 仓库
helm repo add kserve https://kserve.github.io/releases
helm repo update

# 安装 KServe
helm install kserve/kserve --generate-name

创建首个 InferenceService 示例

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: my-service
spec:
  predictor:
    tensorflow:
      storageUri: gs://my-bucket/model.tar.gz   # 替换为你的模型存储路径

使用 kubectl 应用 YAML 文件并等待服务准备就绪：

kubectl apply -f my-service.yaml
kubectl wait inferenceservice/my-service --for=condition=Ready

现在你可以通过 Kubernetes Service 对外暴露的端点调用你的模型服务。

3. 应用案例和最佳实践

KServe 被广泛应用于各种组织中，适用于频繁变更的模型服务场景。例如：

• 在金融领域，它可以实现实时信用评分系统的快速迭代和部署。
• 医疗保健行业可以利用 KServe 快速上线新的诊断算法，提高诊疗效率。
• 制造业中，KServe 可以帮助优化生产线参数，减少故障率。

遵循这些最佳实践以提升性能和稳定性：

• 使用 ModelMesh 进行智能路由和高度密度打包，提高集群资源利用率。
• 针对 GPU 使用量进行动态调整，实现 GPU 资源的节约。
• 利用金丝雀发布策略逐步推广新模型，降低风险。

4. 典型生态项目

KServe 作为 Kubeflow 的重要组件，与其他多个项目密切配合，构建全面的 MLOps 生态系统：

• Istio: 服务网格，提供流量管理和安全控制。
• Kubeflow Pipelines: 支持 ML 工作流编排。
• Knative: 提供Serverless基础架构，便于KServe实现请求驱动的伸缩。
• Kubeflow: 整体 MLOps 解决方案，集成了KServe和其他工具。

了解详细信息，请访问 KServe 官方网站 kserve.github.io。

---

以上是 KServe 的简要介绍及基本操作指南，更多文档、API 参考和开发者指南，可以在其 Github 页面或官方文档中找到。祝你在使用过程中一切顺利！