Comet-LLM 1.4.3版本发布:增强规则引擎与Python执行沙箱能力
Comet-LLM是一个专注于大型语言模型(LLM)应用开发与监控的开源平台。它提供了从提示工程、模型评估到生产监控的全套工具链,帮助开发者构建可靠的LLM应用。本次1.4.3版本带来了多项重要更新,特别是在规则引擎日志和Python代码执行沙箱方面的增强。
规则引擎日志系统升级
新版本对自动化规则评估系统进行了重要改进,主要体现在:
-
规则日志表创建:新增了专门的规则日志存储表,使得系统能够更结构化地记录规则执行过程。这种设计便于后续的日志查询和分析,特别是在复杂的规则评估场景下。
-
ClickHouse日志支持:实现了面向用户的ClickHouse日志系统。ClickHouse作为高性能的列式数据库,特别适合处理大量的日志数据。这一改进使得用户能够:
- 高效查询历史规则执行记录
- 分析规则触发的模式和频率
- 快速定位问题发生的环节
-
日志查看界面优化:前端增加了查看完整日志的按钮,用户可以直接在新标签页中浏览特定在线评分规则的所有相关日志,大大提升了调试效率。
Python代码执行沙箱
1.4.3版本引入了一个重要的安全特性——Python代码执行沙箱:
-
Docker沙箱原型:提供了基于Docker的Python代码执行隔离环境,确保用户提交的代码能够在安全可控的环境中运行。这种设计有效防止了恶意代码对主系统的破坏。
-
独立Python后端服务:新增了专门的Python后端服务组件,负责:
- 代码执行环境的生命周期管理
- 资源隔离与限制
- 执行结果的收集与返回
-
容器化部署支持:该服务已集成到项目的Docker Compose和Helm Chart配置中,方便用户在各种部署环境中使用这一功能。
其他重要改进
-
模型提供商集成增强:
- 修复了模型列表获取的问题
- 完善了Anthropic模型在Playground中的集成
- 改进了Gemini模型的流式处理支持
-
成本追踪功能:SDK现在支持手动设置单个span的成本,为精细化的成本监控提供了更多灵活性。
-
文档与示例更新:
- 新增了本地运行指南
- 优化了快速入门页面的代码片段
- 添加了Guardrails集成文档
- 更新了RAG评估示例
-
性能优化:
- 在线评分服务改为了基于Redis的分布式架构
- 改进了演示项目脚本的数据处理效率
开发者体验提升
本次更新还包含多项提升开发者体验的改进:
-
实验日志记录:Playground现在会自动记录实验过程,方便开发者回溯和复现结果。
-
注释功能增强:新增了专门的评论相关API端点,支持更丰富的协作场景。
-
前端交互优化:
- 移除了"Get Started"部分的关闭按钮
- 为PC端添加了自定义滚动悬停效果
- 优化了规则弹出框中自动完成组件的行为
Comet-LLM 1.4.3版本的这些改进,使得平台在安全性、可观测性和用户体验方面都有了显著提升,特别是为需要执行自定义代码的LLM应用场景提供了更强大的支持基础。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0191
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0117
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
omega-aiOmega-AI:基于java打造的深度学习框架,帮助你快速搭建神经网络,实现模型推理与训练,引擎支持自动求导,多线程与GPU运算,GPU支持CUDA,CUDNN。Java04
llm-universe本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/Jupyter Notebook08