Tarantool中JSON索引在连续字段上的排序问题分析

问题背景

在Tarantool数据库系统中，当使用JSON路径索引时，如果索引字段在元组中是连续排列的，并且这些字段具有非零深度（即嵌套结构），可能会出现索引查询无法正确匹配数据的情况。这个问题涉及到Tarantool核心的索引机制和JSON路径处理逻辑。

问题重现

通过以下两个示例可以清晰地展示这个问题：

1. 连续字段情况（问题出现）：

box.cfg{}
s = box.schema.space.create('test')
_ = s:create_index('pk')
parts = {}
parts[1] = {2, 'unsigned', path='[1]'}
parts[2] = {3, 'unsigned', path='[1]'}
sk = s:create_index('sk', {type = 'hash', parts = parts})
s:replace{1, {1, 2}, {3, 4}}
sk:get{1, 3}  -- 查询失败，无法找到数据

2. 非连续字段情况（正常工作）：

box.cfg{}
s = box.schema.space.create('test')
_ = s:create_index('pk')
parts = {}
parts[1] = {2, 'unsigned', path='[1]'}
parts[2] = {4, 'unsigned', path='[1]'}
sk = s:create_index('sk', {type = 'hash', parts = parts})
s:replace{1, {1, 2}, nil, {3, 4}}
sk:get{1, 3}  -- 查询成功，正确找到数据

问题根源分析

问题的核心在于Tarantool的哈希索引实现中，对于连续字段的处理逻辑存在缺陷。在tuple_hash_slowpath函数中，只有当字段不是连续排列时，才会调用tuple_field_raw_by_part函数来处理JSON路径索引。

关键代码逻辑如下：

for (uint32_t part_id = 1; part_id < key_def->part_count; part_id++) {
    if (prev_fieldno + 1 != key_def->parts[part_id].fieldno) {
        struct key_part *part = &key_def->parts[part_id];
        if (has_json_paths) {
            field = tuple_field_raw_by_part(format, tuple_raw,
                            field_map, part, MULTIKEY_NONE);
        } else {
            field = tuple_field_raw(format, tuple_raw, field_map,
                        part->fieldno);
        }
    }
}

这段代码的问题在于：

1. 只有当字段号不连续时才会处理JSON路径
2. 对于连续字段，直接跳过JSON路径处理，导致无法正确提取嵌套字段值
3. 哈希计算基于错误的字段值，导致查询失败

技术影响

这个问题会影响以下场景：

1. 使用JSON路径索引的哈希索引
2. 索引字段在元组中是连续排列的
3. 这些字段包含嵌套结构（非零深度）

在这种情况下，索引查询可能无法正确匹配数据，导致数据检索失败或返回错误结果。

解决方案

正确的处理方式应该是：

1. 对于任何包含JSON路径的索引，无论字段是否连续，都应该使用tuple_field_raw_by_part函数
2. 确保所有JSON索引字段都能正确地从字段映射中获取偏移量，避免从元组开头重新解码

这与tuple_compare_slowpath函数的处理逻辑一致，后者已经正确处理了这种情况。

深入分析

有趣的是，在问题示例中，不仅sk:get{1, 3}查询失败，sk:get{1, 2}也同样失败。这表明哈希函数可能提取了完全错误的字段值进行哈希计算。这进一步证实了问题的严重性——不仅特定查询失败，而是整个索引机制在这种场景下都无法正常工作。

总结

Tarantool在处理连续字段的JSON路径索引时存在逻辑缺陷，导致哈希索引无法正确工作。修复方案应确保对所有JSON路径索引都使用专门的字段提取函数，而不考虑字段是否连续排列。这个问题提醒开发者在设计包含嵌套结构的索引时需要特别注意字段排列和索引类型的选择。