Tarantool MVCC引擎中函数索引的exclude_null选项失效问题分析

问题背景

在Tarantool数据库系统中，当启用MVCC(多版本并发控制)引擎时，函数索引(functional index)的exclude_null选项会出现异常行为。具体表现为：当索引字段被标记为exclude_null时，包含NULL值的元组本应被保留但显示为NULL值，但实际上却完全从索引结果中消失了。

问题复现

通过以下测试脚本可以清晰地复现该问题：

-- 初始化环境
os.execute('rm 00*')
box.cfg{memtx_use_mvcc_engine=true}

-- 创建确定性函数
box.schema.func.create('test', {
    is_deterministic = true,
    body = [[function(tuple)
        return {tuple[2]}
    end]]
})

-- 创建测试空间和索引
local s = box.schema.space.create('test')
s:create_index('primary', {parts = {{2, 'unsigned'}}})
s:create_index('func', {
    func = 'test',
    parts = {{1, 'unsigned', is_nullable = true, exclude_null = true}},
})

-- 插入测试数据并查询
s:replace{box.NULL, 1}
print(s.index.func:fselect{})

预期与实际行为对比

预期行为（MVCC关闭时）：

+-----+-----+
|col1 |col2 |
+-----+-----+
|null |  1  |
+-----+-----+

实际行为（MVCC启用时）：

+-----+
|col1 |
+-----+
+-----+

技术分析

1. 函数索引与exclude_null机制：

   • 函数索引允许通过自定义函数从元组中提取或计算索引值
   • exclude_null选项设计用于控制是否将NULL值包含在索引中
   • 当设置为true时，NULL值应被保留但显示为NULL，而非完全从结果中移除

2. MVCC引擎的影响：

   • MVCC引擎为事务提供多版本并发控制能力
   • 在MVCC模式下，索引处理逻辑与常规模式存在差异
   • 当前实现中，MVCC引擎未能正确处理函数索引的exclude_null选项

3. 问题本质：

   • 索引构建阶段错误地将NULL值完全过滤而非保留显示
   • 这导致查询结果与预期不符，数据完整性受到影响
   • 问题仅出现在MVCC启用场景，常规模式工作正常

解决方案

该问题已在后续版本中修复，主要涉及以下改进：

1. 修正MVCC引擎中函数索引的NULL值处理逻辑
2. 确保exclude_null选项在所有场景下行为一致
3. 增强测试覆盖以确保类似问题不再出现

总结

这个问题展示了Tarantool中MVCC引擎与函数索引交互时的一个边界情况。它提醒开发者在实现复杂功能组合时需要特别注意各组件间的交互行为。对于使用者而言，在启用MVCC时应注意验证所有索引类型的预期行为，特别是在使用高级索引功能如函数索引和NULL值处理时。