Truss项目v0.9.66版本发布:模型训练与WebSocket支持升级
Truss是一个开源的机器学习模型部署框架,旨在简化模型从开发到生产的整个生命周期。该项目由Baseten团队维护,提供了标准化的方式来打包、部署和扩展机器学习模型。最新发布的v0.9.66版本带来了一系列重要功能增强和优化,特别是在模型训练和实时通信支持方面。
核心功能更新
新增truss train子命令
本次版本引入了truss train子命令,为模型训练流程提供了标准化接口。这一功能允许开发者通过统一命令触发训练过程,而不必关心底层实现细节。同时,项目还提供了相应的API存根,为后续训练功能的完整实现奠定了基础。
WebSocket支持增强
在实时通信方面,v0.9.66版本扩展了对WebSocket协议的支持,特别是在chains(链式调用)场景中。这一改进使得基于Truss部署的模型能够处理实时数据流,为需要低延迟交互的应用场景(如聊天机器人、实时推荐系统等)提供了更好的支持。
内部缓存机制优化
新版本实现了internal_cache功能,支持节点级别的缓存。这一特性可以显著提升重复请求的响应速度,降低计算资源消耗。对于处理相同或相似输入的模型来说,缓存机制能够避免重复计算,提高整体系统效率。
开发者体验改进
本地开发支持增强
针对开发者的本地工作流程,v0.9.66版本做了多项优化。现在,项目能够更好地处理本地truss源代码的引用,同时重构了常见的Pydantic类型,使代码结构更加清晰。这些改进使得开发者在本地修改和测试Truss核心功能变得更加方便。
导入分类优化
在代码组织方面,新版本将truss相关的导入明确标记为第一方(first party)而非第三方(third party)依赖。这一变化有助于保持代码风格的一致性,并解决了部分静态分析工具可能产生的警告。
兼容性与构建支持
构建器模型支持
v0.9.66版本扩展了对builder模型的支持,特别是在chains场景中。这一改进使得开发者能够更灵活地组合和使用不同类型的模型,构建更复杂的机器学习流水线。
测试稳定性提升
项目团队修复了truss集成测试中的问题,确保了新功能的稳定性和可靠性。这些改进为开发者提供了更可靠的测试基础,有助于及早发现和解决潜在问题。
总结
Truss v0.9.66版本在模型训练流程标准化、实时通信支持和开发者体验等方面都做出了重要改进。这些更新不仅增强了框架的功能性,也提升了开发效率和使用体验。随着机器学习模型在生产环境中的部署需求日益增长,Truss项目通过持续迭代,正逐步成为一个更加成熟和完善的模型部署解决方案。
AutoGLM-Phone-9BAutoGLM-Phone-9B是基于AutoGLM构建的移动智能助手框架,依托多模态感知理解手机屏幕并执行自动化操作。Jinja00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
GLM-4.6V-FP8GLM-4.6V-FP8是GLM-V系列开源模型,支持128K上下文窗口,融合原生多模态函数调用能力,实现从视觉感知到执行的闭环。具备文档理解、图文生成、前端重构等功能,适用于云集群与本地部署,在同类参数规模中视觉理解性能领先。Jinja00
HunyuanOCRHunyuanOCR 是基于混元原生多模态架构打造的领先端到端 OCR 专家级视觉语言模型。它采用仅 10 亿参数的轻量化设计,在业界多项基准测试中取得了当前最佳性能。该模型不仅精通复杂多语言文档解析,还在文本检测与识别、开放域信息抽取、视频字幕提取及图片翻译等实际应用场景中表现卓越。00
GLM-ASR-Nano-2512GLM-ASR-Nano-2512 是一款稳健的开源语音识别模型,参数规模为 15 亿。该模型专为应对真实场景的复杂性而设计,在保持紧凑体量的同时,多项基准测试表现优于 OpenAI Whisper V3。Python00
GLM-TTSGLM-TTS 是一款基于大语言模型的高质量文本转语音(TTS)合成系统,支持零样本语音克隆和流式推理。该系统采用两阶段架构,结合了用于语音 token 生成的大语言模型(LLM)和用于波形合成的流匹配(Flow Matching)模型。 通过引入多奖励强化学习框架,GLM-TTS 显著提升了合成语音的表现力,相比传统 TTS 系统实现了更自然的情感控制。Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00