Enso项目中的遥测系统改进与实现
在Enso项目的开发过程中,团队对遥测系统进行了重要改进。遥测系统作为收集运行时数据和用户行为的关键组件,其稳定性和功能性直接影响产品的质量监控和后续优化。
技术背景
遥测系统主要用于收集以下关键信息:
- 工作流启动记录(包括具体示例)
- 组件数量统计
- 组件配对关系(形成IFTTT数据集)
- 数据大小和类型分析
这些数据将帮助开发团队更好地理解用户行为模式,优化系统性能,并为隐私政策的更新提供依据。
实施过程
开发团队分阶段完成了遥测系统的改进:
-
基础架构搭建:首先实现了将遥测数据发送到云端端点的基本功能,确保数据能够被正确接收和处理。
-
引擎集成:在std-base中实现了遥测记录器(appender),将其作为slf4j的内部组件集成到引擎中。这种设计使得日志记录与遥测数据收集能够无缝结合。
-
数据存储优化:针对OpenSearch中的遥测索引和有效载荷格式进行了专门讨论和设计,确保数据存储的高效性和可查询性。
-
认证问题解决:在测试阶段遇到了"Bad credentials"认证错误,团队通过调试和权限调整最终解决了该问题,使遥测数据能够成功发送到预发布环境。
技术挑战与解决方案
在实施过程中,团队遇到了几个关键技术挑战:
-
跨项目FQN解析:在处理BindingsMap时,需要解决从不同项目解析完全限定名(Fully Qualified Names)的问题。团队通过增强FullyQualifiedNames编译器阶段的功能来完善这一机制。
-
测试覆盖不足:发现BindingsMap和FullyQualifiedNames编译器阶段缺乏直接测试用例后,团队补充了相关测试,提高了代码可靠性。
-
部署验证:在夜间版本发布中遇到Apple签名问题,暂时阻碍了遥测功能的完整测试。团队计划在解决签名问题后完成最终验证。
未来展望
遥测系统的改进为Enso项目带来了更强大的数据收集和分析能力。下一步,团队计划:
- 完善隐私政策,确保符合数据收集的最佳实践
- 扩展遥测数据的应用场景,如性能基准测试和工作流分析
- 优化数据可视化,通过OpenSearch仪表板提供更直观的数据洞察
这些改进将显著提升Enso项目的可观测性和持续改进能力,为开发团队和最终用户带来更好的体验。
kernelopenEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。C094
baihu-dataset异构数据集“白虎”正式开源——首批开放10w+条真实机器人动作数据,构建具身智能标准化训练基座。00
mindquantumMindQuantum is a general software library supporting the development of applications for quantum computation.Python058
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00
GLM-4.7GLM-4.7上线并开源。新版本面向Coding场景强化了编码能力、长程任务规划与工具协同,并在多项主流公开基准测试中取得开源模型中的领先表现。 目前,GLM-4.7已通过BigModel.cn提供API,并在z.ai全栈开发模式中上线Skills模块,支持多模态任务的统一规划与协作。Jinja00
AgentCPM-Explore没有万亿参数的算力堆砌,没有百万级数据的暴力灌入,清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 AgentCPM-Explore 智能体模型基于仅 4B 参数的模型,在深度探索类任务上取得同尺寸模型 SOTA、越级赶上甚至超越 8B 级 SOTA 模型、比肩部分 30B 级以上和闭源大模型的效果,真正让大模型的长程任务处理能力有望部署于端侧。Jinja00