ClickHouse v23.5.5.92-stable 补丁版本深度解析:投影分析修复与 28 项缺陷修复全览
ClickHouse v23.5.5.92-stable 补丁版本深度解析:投影分析修复与 28 项缺陷修复全览
本文基于 ClickHouse 官方发布说明 v23.5.5.92-stable 变更日志 编写,结合当前仓库源码与配置对每类变更进行原理级解读。v23.5.5.92-stable 是 23.5 稳定分支的第二个维护性补丁版本,聚焦于修复稳定版中用户可见的缺陷(Bug Fix),并附带投影(Projection)相关的性能修复与构建/打包改进。阅读完本文,你将掌握该版本的全部变更清单、每项修复的触发场景与底层原理,以及如何结合设置项与源码定位同类问题。
版本背景与发布定位
v23.5.5.92-stable 基于提交 557edaddace,以 v23.5.4.25-stable(190f962abcf)为基线向后移植(Backport)缺陷修复。变更日志按三个类别组织:
- Performance Improvement(性能改进):1 项,涉及投影分析与主键的交叉影响;
- Build/Testing/Packaging Improvement(构建/测试/打包改进):5 项,涉及 Rust 依赖、安装包符号链接、Docker 镜像与编译产物上传;
- Bug Fix(用户可见缺陷修复):28 项,覆盖 IP 类型、聚合函数、查询优化器、网络连接、Keeper、安全等多个模块。
此外还包含一批 "NOT FOR CHANGELOG / INSIGNIFICANT"(不入变更日志)的内部维护项,如修复 MergeTreeMarksLoader 段错误、锁定 Rust nightly 版本、减少复制错误等。
性能改进:投影分析导致主键失效的修复
本版本唯一一项性能改进来自 PR #52308(作者 Amos Bird),修复了 投影分析错误导致主键(Primary Key)失效 的问题,同时解决 issue #48823 与 #51173。
触发条件
变更日志明确指出该问题仅在同时满足以下两个设置时存在:
query_plan_optimize_primary_key = 1query_plan_optimize_projection = 1
从当前仓库源码看,这两个设置已经进入历史。在 src/Core/Settings.cpp 中,二者均被标记为 MAKE_OBSOLETE(废弃设置,读取时不再生效,仅用于兼容旧配置):
MAKE_OBSOLETE(M, Bool, query_plan_optimize_projection, true)
MAKE_OBSOLETE(M, Bool, query_plan_optimize_primary_key, true)
也就是说,在新版本中这两个开关已并入统一的投影/查询计划优化逻辑,不再作为独立可调项。这与 v23.5 时代"投影优化仍处于试验阶段、需要显式开启"的背景相符。
相关设置项的现状
投影优化在当今代码库中由一组更细粒度的设置控制,见 src/Core/Settings.cpp:
| 设置项 | 默认值 | 说明 |
|---|---|---|
optimize_use_projections |
1 | 执行 SELECT 时是否启用投影优化(历史名 allow_experimental_projection_optimization 已废弃) |
optimize_use_implicit_projections |
1 | 自动选择隐式投影执行查询 |
optimize_use_projection_filtering |
1 | 即使未选用投影执行查询,也使用投影过滤 part 范围 |
force_optimize_projection |
0 | 启用投影优化时是否强制使用投影 |
force_optimize_projection_name |
空 | 非空时校验指定投影至少被查询使用一次 |
preferred_optimize_projection_name |
空 | 非空时优先尝试应用指定投影 |
max_projection_rows_to_use_projection_index |
1,000,000 | 投影索引预估读取行数低于该阈值时尝试使用投影索引 |
min_table_rows_to_use_projection_index |
1,000,000 | 表预估读取行数不低于该阈值时尝试使用投影索引 |
如果线上仍在配置 query_plan_optimize_* 系列设置,建议核对版本并迁移到上表中的新设置,避免配置项静默失效后投影优化行为与预期不一致。
构建/测试/打包改进:发布工程的 5 处细节优化
1. 更新 Rust 依赖(PR #51721)
由 Raúl Marín 提交,更新 cargo 依赖。ClickHouse 从早期版本开始在 rust/ 目录下维护 chcache 与 workspace 两个 Rust 工作区,相关依赖清单见 rust/workspace/ 与 rust/chcache/,依赖版本升级属于常规维护。
2. server 包新增 clickhouse-keeper-client 符号链接(PR #51882)
由 Mikhail f. Shiryaev(Felixoid)提交,为 clickhouse-server 安装包补充 clickhouse-keeper-client 符号链接,使 Keeper 客户端工具随 server 包一同可用。Keeper 客户端的源码实现位于 programs/keeper-client/KeeperClient.cpp,是独立于 server 的轻量交互工具,用于向 Keeper(ClickHouse 内置的 ZooKeeper 替代)发起会话操作。
3. Docker 镜像移除内联缓存(PR #53008)
变更说明指出,将 inline cache 打包进 Docker 镜像可能引发"奇怪的副作用",而项目本身并不使用该缓存,因此从镜像构建中移除。这属于镜像瘦身与确定性构建改进。
4. 编译器性能分析数据上传 ClickHouse Cloud(PR #53213)
这是对 PR #53100 的第二次尝试:将 -ftime-trace 生成的编译器 profile 数据上传到 ClickHouse Cloud,用于持续跟踪构建期编译耗时。-ftime-trace 是 Clang 的编译时间追踪选项,ClickHouse 构建脚本中对该特性的应用可参考 cmake/ 下的编译配置。
5. clickhouse start 保留环境变量(PR #53418)
修复 issue #51962:clickhouse start 命令在启动守护进程时不再丢弃外部传入的环境参数。这保证了通过环境变量注入的配置(例如 CLICKHOUSE_* 系列或自定义环境)能正确传递给后台服务进程。
28 项缺陷修复:按功能域逐项解读
以下缺陷均属于 "Bug Fix (user-visible misbehavior in an official stable release)",即官方稳定版中用户可见的错误行为,这是本次补丁版本的核心价值所在。
IP 地址类型(IPv4 / IPv6)相关
- 聚合函数中 IP 类型哈希的向后兼容(PR #50551,Yakov Olkhovskiy):修复 IP 类型在聚合函数(如
uniq*、groupArray系列)中哈希行为与旧版本不一致的问题,避免跨版本聚合结果漂移。IP 类型的基础实现见 base/base/IPv4andIPv6.h 与 base/base/IPv4andIPv6.cpp。 - 修复
Nullable(IPv4)的二进制算术(PR #51642,Yakov Olkhovskiy):此前对Nullable(IPv4)列执行算术运算时结果可能错误,修复后与常规数值类型的可空语义保持一致。 - 支持 IPv4 / IPv6 作为字典属性(PR #51756,Yakov Olkhovskiy):外部字典(Dictionary)的属性列现在可以声明为 IPv4/IPv6 类型。字典属性类型解析逻辑位于 src/Dictionaries/,使用前需确认数据源能正确映射 IP 格式。
函数与表达式相关
- 修复 MathUnary 段错误(PR #51499,Ilya Yatsishin):一元数学函数(如取负、绝对值等)在特定输入下可能触发段错误,已修复。
- 修复
parseSipHashKey读取空列(PR #51804,Nikita Taranov):parseSipHashKey系列函数在 key 列为空时不应崩溃。该函数的列解析核心位于 src/Functions/FunctionsHashing.h,其中的parseSipHashKeyColumns负责将 key 列解析为聚合可用的哈希键结构。 - 禁用时间间隔的表达式模板(PR #52335,Alexander Tokmakov):
Interval类型此前可被表达式模板(expression templates)误展开,导致语义错误,现已在相关路径中禁用。 - 修复
countSubstrings()空 needle 挂起(PR #52409,Sergei Trifonov):当 needle 为空字符串且 haystack 为列(而非常量)时,countSubstrings会陷入死循环。该函数实现位于 src/Functions/countSubstrings.cpp 与 src/Functions/CountSubstringsImpl.h,同类变体还包括countSubstringsCaseInsensitive、countSubstringsCaseInsensitiveUTF8(见 src/Functions/countSubstringsCaseInsensitive.cpp)。 - 修复
tuple函数含单个稀疏列参数的崩溃(PR #52659,Anton Popov):稀疏列(Sparse Column)作为tuple()唯一入参时的崩溃问题,与稀疏列读写路径相关。 - 修复比较函数因查询分析错误导致的崩溃(PR #52172,Alexey Milovidov,归类于 NOT FOR CHANGELOG):比较运算在错误的查询分析结果下访问非法内存,已修复。
- 修复
parseDateTime()fuzzer 崩溃(PR #53764,Robert Schulze):模糊测试发现的日期时间解析越界问题,说明持续 fuzzing 对健壮性的价值(ClickHouse 维护了完整的 tests/fuzz 测试套件)。 - AnyHash 实现不合规(PR #52448,Alexey Milovidov):修订
AnyHash的哈希实现使其符合规范,涉及Any类型数据的哈希一致性。
聚合与查询计划相关
- 修复
groupArrayMoving函数错误(PR #52161,Alexey Milovidov):groupArrayMovingSum/groupArrayMovingAvg在特定分组场景下计算结果错误。实现见 src/AggregateFunctions/AggregateFunctionGroupArrayMoving.cpp,其注册入口在 src/AggregateFunctions/AggregateFunctionFactory.cpp。 - 修复将
IN条件下推至 PREWHERE(PR #51610,Alexander Gololobov):WHERE col IN (...)被移动到 PREWHERE 时可能改变语义或产生错误结果,现已修复。 - 修复 WINDOW 函数元组 ORDER BY(PR #52145,Alexey Milovidov):
ORDER BY元组中包含多个窗口函数时的排序错误。 - 修复
interpolate表达式取错列(PR #53572,Yakov Olkhovskiy):WITH FILL ... INTERPOLATE中,interpolate 表达式应使用 SELECT 列表中同名的别名列,此前误取了源列。 - 修复
totals/extremes与DelayedSource的配合(PR #53644,Antonio Andelic):WITH TOTALS、WITH EXTREMES配合延迟数据源时结果处理不正确。 - 修复稀疏列上的排序去重(PR #53711,Igor Nikonov):
SELECT DISTINCT(sorted distinct 路径)在稀疏列上产生错误结果的修复。
存储引擎与表操作相关
- 修复向 Buffer 引擎插入(PR #52440,Vasily Nemkov):Buffer 引擎缓冲刷写逻辑在并发插入场景下可能丢数据或异常。
- 修复 lazy 数据库加载(PR #53372,SmitaRKulkarni):
system.tables查询时对 Lazy 数据库的按需加载逻辑,此前可能加载失败或返回空结果。 - 修复
SHOW CREATE TABLE(MySQL 表)密码泄露(PR #52962,Duc Canh Le):安全相关修复——通过 MySQL 引擎建表时若连接串中包含密码,SHOW CREATE TABLE此前会明文回显密码,现已被遮蔽。 - 修复普通投影 AST 格式错误(PR #53347,Amos Bird):普通投影(Normal Projection)的 AST 序列化格式错误,可能导致投影无法正确重建或匹配。
网络与连接相关
- 修复多 IP 主机的异步连接(PR #51934,Kruglov Pavel):目标主机解析出多个 IP 时,异步连接(
async_socket_for_remote)可能只尝试首个地址或失败,现已支持逐个尝试。 - 修复 "Cannot drain connections: cancel first"(PR #52585,Kruglov Pavel):连接池清理竞态条件导致的报错。
- 按需初始化/销毁 ares channel(PR #52634,Arthur Passos):异步 DNS 解析库 c-ares 的 channel 生命周期管理优化,避免长期空闲时的资源问题。
Set 与解析器
- Not-ready Set(PR #53162,Nikolai Kochetov):
Set尚未构建完成时被并发查询使用导致的错误行为修复,涉及IN子查询与Set的延迟构建。 - 修复 fuzzer 崩溃(PR #53764,Robert Schulze):
parseDateTime()的模糊测试崩溃。
Keeper
- 修复 Keeper 的 poll() 实现(PR #52833,Andy Fiddaman):clickhouse-keeper 使用
poll()事件循环时存在实现缺陷,在特定平台/场景下服务不可用。Keeper 服务端代码位于 src/Coordination/。
不进入变更日志的内部维护项
该版本还包含一批面向发布工程本身的维护性提交,虽然不面向用户,但体现了项目对构建链的持续投入:
- 为 backport 解耦提交(PR #51561,来自 #51180);
- 修复
MergeTreeMarksLoader在 marks 文件超长时的段错误(PR #51636)——这是 MergeTree 读取路径上对畸形元数据文件的健壮性加固; - 修复 sqllogic 测试的源镜像(PR #51728);
- 锁定 Rust nightly 版本以保证构建稳定性(PR #51903),与前述 cargo 依赖更新(#51721)呼应;
- 减少复制(Replication)错误日志(PR #52382)与改进日志宏(PR #52519);
- 修复
StorageTableFunctionProxy中的死锁(PR #52626); - 暂时禁用两个反向 DNS 相关集成测试(test_reverse_dns_query、test_host_regexp_multiple_ptr_records);
- 调整机器人 token 的
describe_parameters(PR #53833)。
升级与验证建议
- 确认修复是否命中你的场景:对照上文"按功能域逐项解读",重点排查 IP 类型聚合、
countSubstrings空 needle、groupArrayMoving、Buffer 引擎插入、IN → PREWHERE下推等高风险场景,这些修复均有对应的 tests/queries 回归用例覆盖。 - 检查废弃设置:若配置文件中仍写有
query_plan_optimize_projection/query_plan_optimize_primary_key,在升级后它们已变为 obsolete(见 src/Core/Settings.cpp),请迁移到optimize_use_projections、preferred_optimize_projection_name等新设置。 - 关注打包变化:升级后
clickhouse-keeper-client可从 server 包直接获得;clickhouse start的环境变量传递行为已修正,依赖环境变量注入配置的部署方式可放心使用。 - 回归重点函数:升级后建议针对
parseDateTime、tuple(稀疏列)、AnyHash、countSubstrings等本次修复涉及的函数做一轮语义回归,确认跨小版本行为一致。
结语
v23.5.5.92-stable 是一次典型的稳定分支维护发布:不引入新功能,而是将 23.5 主版本以来暴露的用户可见缺陷集中回补。其价值在于为仍在 23.5 分支上运行的集群提供了一条无需大版本升级即可获得可靠性提升的路径,尤其值得关注的是投影分析与主键失效的性能修复、SHOW CREATE TABLE 密码泄露这一安全修复,以及围绕 IP 类型与聚合哈希的兼容性修复。完整变更列表可随时查阅 docs/changelogs/ 归档,历史版本与后续版本的发布说明均按季度归档存放。