RushStack项目中Cobuild模式下重复遥测数据导致指标偏差问题分析

背景介绍

在RushStack构建系统中，Cobuild（协作构建）是一种分布式构建机制，允许多个构建代理协同工作以提高构建效率。然而，在这种模式下，遥测数据收集存在一个关键问题：当项目被Cobuild时，多个构建代理会同时记录相同的构建操作数据，导致数据重复和指标偏差。

问题本质

在Cobuild场景下，一个项目可能由主构建代理执行实际构建，而其他代理则从构建缓存中恢复结果。当前系统设计中存在两个主要问题：

1. 数据重复上报：主构建代理和缓存恢复代理都会上报相同的构建操作数据
2. 时间指标不一致：nonCachedDurationMs与endTimestampMs-startTimestampMs计算结果不匹配

技术细节分析

当前数据格式示例

主构建代理上报的数据：

{
  "@company/my-package (test)": {
    "startTimestampMs": 31468.20680500008,
    "endTimestampMs": 40377.58414799906,
    "nonCachedDurationMs": 8649.619353000075,
    "result": "SUCCESS",
    "dependencies": ["@company/my-package (build)"]
  }
}

缓存恢复代理上报的相同构建数据：

{
  "@company/my-package (test)": {
    "startTimestampMs": 220830.3333630003,
    "endTimestampMs": 220875.03935700096,
    "nonCachedDurationMs": 8649.619353000075,
    "result": "SUCCESS",
    "dependencies": ["@company/my-package (build)"]
  }
}

问题表现

1. 主构建代理：endTimestampMs - startTimestampMs与nonCachedDurationMs不一致
2. 缓存恢复代理：无法区分该操作是否实际在本机执行
3. 数据聚合：两个代理上报相同操作导致指标计算偏差

解决方案建议

核心改进

1. 新增标识字段：在遥测操作事件中添加wasCobuiltOnThisAgent布尔字段

   • true表示该操作实际在本机执行
   • false表示该操作是从其他代理恢复的缓存结果

2. 时间指标优化：

   • 废弃nonCachedDurationMs字段
   • 仅使用startTimestampMs和endTimestampMs计算持续时间
   • 通过wasCobuiltOnThisAgent区分实际构建时间和缓存恢复时间

实现优势

1. 数据准确性：遥测系统可以准确识别并过滤重复数据
2. 指标一致性：消除多个时间源带来的混淆
3. 扩展性：为未来构建缓存性能分析预留接口

技术影响评估

这一改进将影响：

1. 遥测收集系统：需要适配新的数据格式
2. 数据分析管道：需要更新数据处理逻辑
3. 监控仪表板：可能需要调整指标计算公式

实施建议

对于需要自定义遥测集成的团队，建议：

1. 在过渡期间同时处理新旧两种数据格式
2. 在数据分析阶段增加数据去重逻辑
3. 考虑将构建缓存恢复时间作为独立指标跟踪

这一改进将显著提高RushStack在Cobuild模式下遥测数据的准确性和可靠性，为构建性能分析和优化提供更坚实的基础。