Dora项目中C++与Python节点间数据丢失问题的分析与解决

问题背景

在Dora项目（一个分布式机器人操作系统）的实际应用中，开发团队遇到了一个典型的数据传输问题：当C++节点以20ms的周期向Python节点发送数据时，Python节点会出现数据包丢失的情况。这个问题在长时间运行后尤为明显，严重影响了系统的可靠性和数据一致性。

现象描述

在测试场景中，团队设置了两个节点：

• 节点A（Python实现）：周期20ms发送GPS数据
• 节点B（C++实现）：接收并处理GPS数据

通过日志分析发现：

1. 初始阶段数据传输正常
2. 运行一段时间后，接收节点统计的消息计数与发送节点的序列号不再匹配
3. 接收周期从预期的20ms变为40ms，出现明显延迟

初步排查

团队首先检查了以下可能原因：

1. 队列大小设置：怀疑默认队列容量不足导致数据丢失
2. 线程调度：检查了发送线程的休眠设置是否影响接收
3. 语言性能差异：考虑Python与C++的性能差异可能导致处理速度不匹配

深入分析

经过多次测试和日志分析（设置RUST_LOG=debug），发现了关键现象：

1. 当接收方处理速度跟不上发送方时，系统会主动丢弃最旧的输入数据
2. 在调试日志中可见"dropped X inputs because event queue was too full"的明确提示
3. 队列大小的设置位置存在误区 - 需要作为输入的子字段而非custom的子字段

根本原因

问题主要由三个因素共同导致：

1. 队列配置错误：初期将queue_size放在了custom对象下而非输入字段下，导致配置未生效
2. 处理速度不匹配：Python节点的处理速度明显慢于C++节点的发送速度
3. 字符串处理问题：C++代码中字符串缺少null终止符，导致数据处理异常

解决方案

团队采取了多层次的解决方案：

1. 正确配置队列大小：

inputs:
  DoraNavSatFix: 
    source: gnss/DoraNavSatFix
    queue_size: 1000  # 调整为足够大的值

2. 性能优化：

• 移除不必要的线程休眠
• 优化Python节点的处理逻辑
• 考虑关键节点使用C++实现

3. 代码规范：

• 确保C++字符串正确处理终止符
• 增加数据校验机制

4. 监控机制：

• 实现序列号校验
• 添加数据完整性检查

验证结果

经过修正后：

1. 当queue_size设置为10000时，10000条消息全部正常接收
2. 系统运行稳定性显著提升
3. 数据处理延迟降低至预期水平

经验总结

这个案例提供了几个重要的实践经验：

1. 配置验证：对于关键参数，不能仅凭配置文件判断，需要通过日志等方式实际验证是否生效
2. 性能考量：在混合语言环境中，必须考虑不同语言实现的性能差异
3. 防御性编程：对于数据传输等关键环节，应添加充分的校验和容错机制
4. 监控意识：分布式系统中，完善的日志和监控是快速定位问题的关键

这个问题也反映出在机器人系统中，实时数据传输的可靠性至关重要。通过这次问题的解决，团队不仅修复了具体bug，更建立起更完善的数据传输保障机制，为后续开发提供了重要参考。