Xorbits Inference v1.2.2 版本发布：多模态与轻量级模型支持升级

Xorbits Inference 是一个开源的模型推理框架，旨在为开发者提供高效、灵活的模型部署方案。该框架支持多种模型架构和推理后端，特别适合在生产环境中部署各类AI模型。最新发布的v1.2.2版本带来了一系列重要的功能更新和优化。

多模态模型支持增强

本次更新显著加强了对多模态模型的支持能力。新增了对Qwen2.5-VL-Instruct模型的支持，这是一个强大的视觉-语言多模态模型，能够同时处理图像和文本输入，执行复杂的多模态推理任务。开发者现在可以更方便地部署这类先进的视觉语言模型，用于构建图像理解、视觉问答等应用场景。

值得注意的是，该版本还特别为Qwen2.5-VL-Instruct模型优化了vLLM后端支持，这意味着在使用vLLM推理引擎时，可以获得更高的推理效率和更低的资源消耗。

轻量级与蒸馏模型支持

针对资源受限的应用场景，v1.2.2版本新增了对多个轻量级模型的支持：

1. DeepSeek-R1-Distill-Llama：这是一个经过知识蒸馏的轻量级Llama模型变体，在保持较好性能的同时大幅减小了模型尺寸和计算需求，适合在边缘设备或资源受限环境中部署。

2. Kokoro-82M：这是一个超轻量级的语言模型，仅有8200万参数，专为低延迟、高效率的推理场景设计。尽管模型尺寸小，但在特定任务上仍能提供可观的性能表现。

3. InternLM3：作为InternLM系列的最新版本，该模型在保持相对紧凑的架构基础上，通过架构优化提升了推理效率。

这些轻量级模型的加入，使得Xorbits Inference框架能够覆盖从云端到边缘的更广泛部署场景。

核心功能优化与问题修复

在底层架构方面，本次更新也包含了一些重要的改进：

1. 修复了Llama.cpp后端在处理某些多部分量化模型时的兼容性问题，确保了这类模型能够正确加载和运行。

2. 对Transformers连续批处理功能进行了重要升级，改用专门的Cache类替代原始的元组实现。这一改动不仅提高了代码的健壮性，还确保了与最新版Transformers库的完全兼容，为开发者提供了更稳定的推理环境。

文档完善与用户体验提升

团队持续投入文档建设工作，本次更新中对多模态模型文档进行了全面更新，确保开发者能够快速上手使用新增的模型支持。同时修正了文档中的多处笔误和表述不清晰的地方，提升了整体文档质量。

技术前瞻与应用展望

从v1.2.2版本的更新内容可以看出，Xorbits Inference正朝着两个重要方向发展：一是加强对多模态模型的支持，满足日益增长的跨模态AI应用需求；二是优化对轻量级模型的支持，拓展框架在边缘计算和资源受限场景下的适用性。

这些改进使得Xorbits Inference在构建复杂AI应用时更具竞争力，无论是需要处理多模态输入的高级AI系统，还是需要部署在资源有限设备上的轻量级应用，都能从中受益。随着模型支持范围的不断扩大和核心架构的持续优化，Xorbits Inference正在成为一个更加全面、高效的模型推理解决方案。