CockroachDB中直接列式扫描导致非空列返回NULL值的问题分析

在CockroachDB数据库系统中，我们发现了一个关于直接列式扫描(direct columnar scans)的重要问题：当表包含多个列族(column families)时，直接列式扫描可能会错误地返回NULL值给那些明确声明为NOT NULL的非空列。这个问题自23.2.0版本以来一直存在，并且在最新的主分支代码中仍然可以复现。

问题现象

该问题最典型的表现形式是：当查询一个包含多个列族且带有NOT NULL约束的表时，查询结果偶尔会违反约束条件，返回NULL值。例如，考虑以下表结构和查询：

CREATE TABLE t (
    k INT PRIMARY KEY,
    a INT NOT NULL,
    b INT NOT NULL,
    c INT NOT NULL,
    v INT NOT NULL DEFAULT 5
);

INSERT INTO t VALUES (2,2,2,2);

SELECT * FROM t WHERE k = 2;

在正常情况下，这个查询应该返回(2,2,2,2,5)。然而，当启用直接列式扫描时，查询可能会错误地返回NULL值给a、b或c列中的任意一个，尽管这些列都明确声明为NOT NULL。

问题根源

经过深入分析，我们发现这个问题与CockroachDB的直接列式扫描功能密切相关。直接列式扫描是一种实验性功能，旨在提高查询性能，通过直接访问列式存储格式来减少数据转换开销。

问题的核心在于直接列式扫描在处理多个列族时的实现逻辑存在缺陷。当表被分成多个列族时，扫描操作可能无法正确识别和处理NOT NULL约束，导致在特定情况下错误地填充NULL值。

复现条件

要复现这个问题，需要满足以下条件：

1. 启用直接列式扫描功能（通过设置direct_columnar_scans_enabled = true）
2. 表包含多个列族（当列族随机分配时更容易触发）
3. 查询涉及NOT NULL约束的列

值得注意的是，当所有列都在同一个列族中，或者每个列都在单独的列族中时，这个问题不会出现。问题最常出现在列族分配处于"中间状态"的情况下。

技术细节

在底层实现中，当这个问题发生时，系统会抛出null_value_error异常，并伴随以下错误信息：

non-nullable column "t:b" with no value! Index scanned was "t_pkey" with the index key columns (k) and the values (2)

从堆栈跟踪可以看出，问题发生在cFetcher组件的fillNulls方法中（位于pkg/sql/colfetcher/cfetcher.go文件）。这表明扫描操作在尝试填充结果时，未能正确处理非空列的约束条件。

解决方案

由于直接列式扫描目前仍是一个实验性功能，CockroachDB团队决定暂时禁用该功能的随机化测试，直到有更多资源可以投入完善这个功能。对于生产环境，建议用户避免启用这个实验性功能，特别是在处理包含NOT NULL约束和多列族的表时。

对于必须使用直接列式扫描的场景，可以采取以下临时解决方案：

1. 将所有NOT NULL列放在同一个列族中
2. 或者为每个NOT NULL列创建单独的列族
3. 在查询中使用retry选项（虽然这不能从根本上解决问题，但可以绕过某些错误情况）

总结

这个问题的发现凸显了数据库系统中约束条件处理的重要性，特别是在涉及新功能和复杂数据布局时。CockroachDB团队已经意识到这个问题，并将在未来的版本中彻底解决。对于用户来说，了解这个问题的存在有助于避免在生产环境中遇到意外行为，同时也提醒我们在使用实验性功能时需要格外谨慎。

数据库约束不仅是数据完整性的保障，也是查询优化器做出正确决策的基础。这个案例再次证明，任何违反约束的行为都可能导致不可预测的结果，因此在数据库系统开发中必须给予特别关注。