首页
/ Xorbits Inference 1.4.1版本发布:多模态与分布式推理能力全面升级

Xorbits Inference 1.4.1版本发布:多模态与分布式推理能力全面升级

2025-06-08 20:42:41作者:昌雅子Ethen

Xorbits Inference是一个开源的模型推理框架,专注于为各类AI模型提供高效、灵活的推理服务。它支持多种模型架构和量化方式,能够帮助开发者和研究人员快速部署AI模型到生产环境。最新发布的1.4.1版本带来了多项重要更新,特别是在多模态模型支持和分布式推理能力方面有了显著提升。

多模态模型支持增强

1.4.1版本显著扩展了对多模态模型的支持范围。新增了对Fin-R1模型的全方位支持,包括其GPTQ量化版本(int4和int8)以及FP8精度。Fin-R1是一个强大的多模态模型,能够同时处理文本和图像输入,在视觉问答、图像描述生成等任务中表现优异。

同时,该版本还引入了对DeepSeek-VL2模型的支持。DeepSeek-VL2是另一个先进的多模态模型,在视觉语言理解方面有着出色的性能。这些新增的多模态模型支持使得Xorbits Inference能够覆盖更广泛的应用场景。

对于Qwen系列模型,1.4.1版本也做了重要更新。新增了对qwen2.5-vl-32b模型的支持,并修复了7b-awq模型下载时的类型错误。Qwen系列模型以其优秀的性能和灵活性在开源社区广受欢迎,这些更新使得开发者能够更方便地使用这些模型。

分布式推理能力提升

分布式推理是1.4.1版本的另一个重点改进领域。框架现在全面支持vLLM引擎的分布式推理,这意味着大型语言模型可以跨多个GPU节点进行推理,显著提高了处理能力和吞吐量。

为了确保分布式环境的稳定性,开发团队还修复了可能导致停止时挂起的潜在问题。此外,新增了对n_worker参数的验证,防止因配置不当导致的资源浪费或性能下降。

量化与性能优化

在模型量化方面,1.4.1版本做了多项改进。除了前面提到的Fin-R1模型量化支持外,sglang现在也支持GPTQ int8量化,为开发者提供了更多选择来平衡模型精度和推理速度。

技术栈方面,项目从auto-gptq迁移到了gptqmodel,这一变更带来了更好的兼容性和性能。同时,修复了量化参数在vLLM引擎中无法正常工作的问题,确保了量化模型能够正确加载和运行。

用户体验改进

1.4.1版本还包含多项提升用户体验的改进。新增了max_completion_tokens参数支持,让开发者能够更精确地控制生成文本的长度。修复了LLM流式响应的问题,使得实时文本生成更加流畅可靠。

对于Docker用户,修复了可能导致构建失败的问题,提高了部署的可靠性。这些看似小的改进实际上大大提升了框架的易用性和稳定性。

总结

Xorbits Inference 1.4.1版本在多模态支持、分布式推理和量化技术等方面都取得了显著进展。这些更新不仅扩展了框架的应用范围,也提升了其在大规模生产环境中的表现。随着AI模型变得越来越复杂和多样化,Xorbits Inference正通过不断的技术创新,为开发者提供更强大、更灵活的工具来部署和管理这些模型。

登录后查看全文
热门项目推荐
相关项目推荐