首页
/ Xorbits Inference 1.5.1版本发布:多模态AI推理能力全面升级

Xorbits Inference 1.5.1版本发布:多模态AI推理能力全面升级

2025-06-08 01:21:50作者:牧宁李

Xorbits Inference是一个开源的AI模型推理框架,旨在为开发者提供高效、灵活的模型部署和推理解决方案。该项目支持多种AI模型类型,包括文本生成、图像处理、视频生成等,并提供了统一的接口来简化模型部署流程。

核心功能升级

多模态模型支持扩展

本次1.5.1版本在视频生成领域取得了重要突破,新增了对Wan 2.1文本转视频模型的支持。这一功能使得开发者能够通过简单的文本描述生成高质量的视频内容,为内容创作、广告制作等领域提供了新的可能性。

在图像处理方面,团队引入了Ovis2模型,进一步丰富了计算机视觉能力。Ovis2在目标检测和图像分割任务上表现出色,为开发者提供了更多选择。

大语言模型生态完善

针对当前热门的大语言模型,Xorbits Inference 1.5.1版本新增了对Qwen3系列模型的支持,包括基础版和MOE(混合专家)架构版本。特别值得一提的是,团队还实现了对Qwen3 GPTQ量化格式的支持,这使得模型在保持较高精度的同时,能够显著减少内存占用和提升推理速度。

对于GLM4-0414模型,新版本增加了MLX和GGUF两种格式的支持,为苹果芯片用户和量化需求场景提供了更好的体验。

技术架构优化

量化技术改进

团队对量化支持进行了重要重构,移除了内部压缩逻辑,转而直接使用bitsandbytes(bnb)的配置方案。这一改变使得量化过程更加标准化,减少了潜在的错误来源,同时也提升了与社区工具的兼容性。

针对vLLM引擎,新增了对GGUFv2格式的支持,这是当前最先进的量化格式之一,能够在保证模型质量的同时大幅降低资源消耗。

音频处理统一化

在音频模型方面,团队对能力定义进行了统一化处理。这一改进使得不同音频模型之间的接口更加一致,开发者可以更容易地在不同模型间切换,而不需要大量修改代码。

用户体验提升

界面交互优化

在用户界面方面,1.5.1版本引入了多项改进:

  • 输入框内容高亮显示,帮助用户更清晰地看到自己的输入
  • 模型能力参数可视化展示,让用户更直观地了解当前模型的特性
  • 引擎选项显示优化,即使特定引擎未安装也会显示相关选项

稳定性增强

团队修复了多个影响稳定性的问题:

  • 解决了sglang聊天功能中的问题
  • 修复了模型加载失败时资源清理不彻底的情况
  • 增加了SSE ping尝试次数的可配置性,提升了长连接场景下的可靠性

开发者生态

Xorbits Inference 1.5.1版本继续完善其开发者文档,新增了针对numpy引起的启动错误的故障排除指南。这些文档更新有助于开发者更快地解决环境配置问题。

值得一提的是,本次版本迎来了三位新的代码贡献者,显示了项目社区的持续成长和活力。开源社区的壮大将为项目带来更多创新思路和功能改进。

总结

Xorbits Inference 1.5.1版本在多模态支持、量化技术和用户体验等方面都取得了显著进步。特别是对最新视频生成模型和大语言模型的支持,使得该框架在AI应用开发领域保持了竞争力。架构上的优化和稳定性改进也为企业级部署提供了更好的基础。

随着AI技术的快速发展,Xorbits Inference团队持续跟进最新模型和技术趋势,为开发者提供了一个强大而灵活的工具集。未来,我们可以期待该项目在性能优化、更多模态支持以及部署便利性方面带来更多创新。

登录后查看全文

项目优选

收起
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
604
424
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
15
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
128
209
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
90
146
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
479
39
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
106
255
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
299
1.03 K
MateChatMateChat
前端智能化场景解决方案UI库,轻松构建你的AI应用,我们将持续完善更新,欢迎你的使用与建议。 官网地址:https://matechat.gitcode.com
693
92
markdown4cjmarkdown4cj
一个markdown解析和展示的库
Cangjie
33
4
JeecgBootJeecgBoot
🔥企业级低代码平台集成了AI应用平台,帮助企业快速实现低代码开发和构建AI应用!前后端分离架构 SpringBoot,SpringCloud、Mybatis,Ant Design4、 Vue3.0、TS+vite!强大的代码生成器让前后端代码一键生成,无需写任何代码! 引领AI低代码开发模式: AI生成->OnlineCoding-> 代码生成-> 手工MERGE,显著的提高效率,又不失灵活~
Java
96
17