ArduinoJson库中高效存储JSON数据流的技术方案

在物联网设备开发中，处理连续的JSON格式数据流是一个常见需求。本文将以ArduinoJson库为例，探讨如何高效地存储从机器持续接收的JSON数据。

问题场景分析

当设备持续接收类似以下格式的JSON字符串时：

[{"time":1712751959000,"part_no":"Pno-1234","mc_status":2,...},{"dvc_id":"c4dee2e95a70","typ":"data"}]

开发者需要将这些数据有序地存储到文件中。原始方案使用了完整的JSON解析和重构过程，这种方法存在几个潜在问题：

1. 解析开销大：每次接收数据都需要完整的反序列化/序列化过程
2. 内存消耗高：需要维护中间JSON文档结构
3. 实现复杂度高：需要处理数组嵌套等逻辑

优化方案：JSON Lines格式

针对这种持续数据流场景，JSON Lines（JSONL）格式是更优的选择。这种格式具有以下优势：

1. 简单高效：每行一个独立的JSON记录
2. 增量存储：可以逐条追加，无需维护完整数据结构
3. 低内存消耗：不需要在内存中构建完整文档
4. 易于处理：既保持JSON的可读性，又简化了存储过程

实现代码示例

void appendJsonToFile(const char *jsonStr) {
  File file = SPIFFS.open("/data.jsonl", FILE_APPEND);
  if (!file) {
    Serial.println("Failed to open file");
    return;
  }
  
  file.println(jsonStr); // 直接追加原始JSON字符串
  file.close();
}

技术要点解析

1. 文件操作模式：使用FILE_APPEND而非FILE_WRITE，确保新数据被追加而非覆盖
2. 原始数据处理：直接存储接收到的JSON字符串，避免不必要的解析/序列化
3. 行尾处理：使用println()自动添加换行符，确保每条记录独立一行

进阶建议

1. 数据验证：虽然跳过了完整解析，但仍建议进行基本的JSON格式验证
2. 文件管理：定期轮换文件或实现大小限制，避免单个文件过大
3. 错误恢复：实现写入失败的重试机制
4. 性能监控：记录存储延迟等指标，确保系统稳定性

总结

在物联网设备处理连续JSON数据流的场景中，采用JSON Lines格式配合直接存储的策略，相比完整的JSON解析重构方案，能够显著降低资源消耗并提高系统可靠性。这种方案特别适合内存受限的嵌入式设备，同时保持了数据的可读性和后续处理便利性。