simdjson 库中处理不完整 JSON 数据的解决方案探索

背景介绍

在 Presto Java 迁移到基于 Velox 库的 Presto C++（Prestissimo）的过程中，开发团队遇到了 JSON 解析行为不一致的问题。特别是 json_extract SQL 函数在处理不完整 JSON 字符串时的行为差异，这在实际生产环境中是一个常见需求。

问题分析

Presto Java 的 JSON 解析器能够容忍不完整的 JSON 输入，例如：

SELECT json_extract('{"a": 123, "b', '$.a');

这样的查询在 Presto Java 中可以成功执行并返回 123，但在使用 simdjson 的 Presto C++ 实现中会失败，因为 simdjson 严格执行 JSON 格式规范，会检查闭合的大括号和引号。

技术挑战

simdjson 库在解析 JSON 时有两个关键检查点：

1. 结构完整性检查：在 value_iterator::check_root_object() 等方法中验证 JSON 对象是否完整闭合
2. 字符串完整性检查：在 stage1 解析阶段验证字符串引号是否闭合

这些严格检查保证了 JSON 解析的正确性，但也限制了处理不完整数据的能力。

解决方案探索

开发团队提出了几种技术方案：

1. 利用现有 streaming 标志：

   • 发现 _streaming 标志可以跳过部分完整性检查
   • 但该标志默认关闭且设计初衷是处理流式数据

2. 新增编译选项：

   • 通过 SIMDJSON_ACCEPT_INVALID_JSON 宏控制严格性
   • 保持默认行为不变，仅对特定需求开放

3. 选择性错误忽略：

   • 针对特定错误类型（如 UNCLOSED_STRING）进行特殊处理
   • 同时保留其他错误的严格检查

实现细节

最终方案结合了多种技术手段：

• 新增 SIMDJSON_ACCEPT_INVALID_JSON 编译选项
• 在 stage1 解析阶段选择性忽略特定错误
• 利用 streaming 模式跳过部分完整性检查
• 保持原有 API 不变，仅通过编译选项改变行为

生产验证

该方案已在生产环境中通过验证：

• 测试了 2000+ 实际查询
• 结果与 Presto Java 保持兼容
• 未发现性能下降或副作用

技术启示

这一案例展示了几个重要的技术实践：

1. 向后兼容性在系统迁移中的重要性
2. 严格与宽容的权衡在实际工程中的处理
3. 编译时选项作为行为控制的有效手段
4. 生产环境验证对于基础库修改的必要性

对于需要处理不规范数据的场景，这种可控的宽松解析模式提供了有价值的解决方案，同时保持了核心功能的严格性。