KServe v0.15.1版本发布：模型推理服务平台的重大更新

项目简介

KServe是一个开源的Kubernetes原生模型推理服务平台，它为数据科学家和机器学习工程师提供了在生产环境中部署、管理和扩展机器学习模型的能力。作为Kubeflow生态系统的重要组成部分，KServe简化了从模型训练到生产部署的整个流程，支持多种机器学习框架和推理运行时环境。

核心功能更新

1. 模型缓存机制优化

本次版本对模型缓存功能进行了重要改进，解决了PVC（持久卷声明）和PV（持久卷）在推理服务删除后意外移除的问题。这一改进确保了模型缓存能够持久化保存，避免了重复下载大型模型带来的时间和带宽消耗。对于经常需要重新部署相同模型的生产环境来说，这一优化可以显著提升效率。

2. vLLM运行时增强

vLLM作为高效的大语言模型推理引擎，在此版本中获得了多项增强：

• 新增了对Llama4和Qwen3等最新大语言模型架构的支持
• 实现了rerank（重排序）功能，提升了多候选输出的质量
• 集成了LM Cache（语言模型缓存），通过缓存中间结果减少重复计算
• 修复了v1版本中的后台引擎任务初始化问题

这些改进使得KServe在处理大语言模型推理任务时更加高效稳定。

3. HuggingFace运行时升级

HuggingFace Transformer库升级至4.51.0版本，同时添加了对bitsandbytes包的支持，这使得4位量化模型能够在KServe上运行。量化技术可以大幅减少模型内存占用，使更大的模型能够在有限资源的环境中部署。

4. 自动扩缩容改进

在自动扩缩容方面，本版本修复了KEDA scaledobject目标值设置问题，并改进了Knative自动扩缩容配置的处理逻辑。这些改进使得系统能够更精确地根据负载调整资源，在保证服务质量的同时优化资源利用率。

架构与稳定性增强

1. 多节点部署优化

针对Ray多节点部署场景，改进了节点计数和GPU资源计算的逻辑，使资源分配更加合理。这对于分布式推理场景尤为重要，可以避免资源浪费或不足的情况。

2. 测试与质量保证

版本包含了多项测试改进：

• 提高了REST客户端连接超时设置，增强了测试可靠性
• 修复了多处理测试中的不稳定问题
• 增加了代码覆盖率，提升了代码质量
• 添加了许可证检查和SBOM（软件物料清单）生成功能

这些改进使得KServe作为一个企业级平台更加可靠。

新功能亮点

1. 模型暂停与恢复

通过新增的服务器注解，用户现在可以暂停和恢复模型服务，而无需完全删除和重新创建。这一功能特别适合需要临时释放资源或进行维护的场景。

2. 推理图增强

InferenceGraph功能获得多项改进：

• 在状态中添加了DeploymentMode信息
• 防止了部署模式意外更改
• 修复了条件步骤未满足时的响应代码问题

这些改进使得复杂推理流水线的构建和管理更加直观可靠。

3. 元数据注入

现在可以在代理sidecar级别注入推理服务的元数据，这为日志记录和监控提供了更多上下文信息，便于问题排查和性能分析。

兼容性更新

• 将Go版本升级至1.24
• 添加了对Numpy 2.x的支持
• 移除了对Openvino的支持（在HuggingFace运行时中）

总结

KServe v0.15.1版本带来了从底层基础设施到上层功能的全面改进，特别是在大语言模型支持、资源管理和系统稳定性方面有显著提升。这些改进使得KServe作为生产级模型服务平台更加成熟可靠，能够满足企业日益复杂的AI部署需求。对于正在使用或考虑采用KServe的团队来说，这个版本值得升级。