TDengine 3.3.4.3 Release Notes 深度解读:流计算时间驱动推送、Azure Blob 支持与性能优化全解析
TDengine 3.3.4.3 Release Notes 深度解读:流计算时间驱动推送、Azure Blob 支持与性能优化全解析
2024 年 11 月 13 日,TDengine 发布 3.3.4.3 版本。本篇文章以该版本的官方 Release Notes 为主体,结合当前开源仓库中的源码实现,系统梳理本次版本新增的流计算时间驱动结果推送模式、Azure Blob 对象存储支持,以及围绕查询性能、SIMD 解码、数据类型处理等展开的优化与修复项,帮助你判断升级收益、理解关键改动背后的实现原理,并据此规划升级与迁移节奏。
版本概览
- 版本号:TDengine 3.3.4.3
- 发布日期:2024-11-13(对应文档 docs/en/17-release-history/03-notes/3.3.4.3.md)
- 版本定位:3.3.4.x 系列的维护性版本,聚焦流计算能力增强、对象存储扩展、查询性能优化与一批稳定性修复。
整个 3.3.x 系列延续了 TDengine 3.x 的"存储与计算分离、云原生、流式计算内置"架构路线,3.3.4.3 则更多地在存量能力上做打磨:既给流计算补充了新的输出模式,也为大数据量查询场景提供了 SIMD 级别的提速。
新特性:流计算与对象存储能力增强
twa 与 interp 函数支持时间驱动结果推送模式
本次版本最重要的功能更新集中在流计算(Stream Computing)领域:
twa函数支持时间驱动(time-driven)结果推送模式;interp函数支持时间驱动结果推送模式。
twa(Time Weighted Average,时间加权平均)与 interp(插值)都是 TDengine 内置的时序分析函数。其中:
twa根据时间窗口内数据点持续的时间长度对数值进行加权,适合计算设备在某时间段内的平均占用率、平均温度等指标;interp则按照指定的时间间隔在数据点之间进行线性插值,用于补齐采样空缺。
在 source/libs/function/src/builtins.c 中可以找到这两个函数的注册信息,例如 twa 位于 builtins.c 的函数表条目中,interp 位于 builtins.c,它们都属于系统内置的标量/聚合函数族。
所谓"时间驱动结果推送",是指流计算任务不再仅仅依赖窗口边界(事件驱动/窗口到期)来产出结果,而是可以按固定时间节奏把当前窗口的最新计算结果推送给下游消费者。这对"每隔 N 秒刷新一次当前平均水位/温度"这类监控大屏场景非常实用——结果更新频率由时间控制,而不是等窗口完全关闭才输出。
需要说明的是,这一改动与 3.3.4.3 同时引入的流计算兼容性保证机制(见下文优化章节)配套生效:由于新增了输出模式,旧版本创建的流任务与新版本之间存在兼容性约束,升级后已创建的流任务需要删除并重新创建才能使用新能力。
支持 Azure Blob 对象存储
3.3.4.3 新增了对 Azure Blob 的支持。此前 TDengine 的 S3 兼容对象存储能力主要面向 AWS S3 等厂商,本次扩展使 Azure 用户也可以把数据文件迁移/归档到 Azure Blob 上,进一步丰富了多云部署场景。
仓库中与对象存储/云迁移相关的管理逻辑可在 mnode 层找到,例如 source/dnode/mnode/impl/src/mndDb.c 中定义了 mndProcessS3MigrateDbReq 这一数据库级 S3 迁移请求处理函数;同时项目在 source/libs/azure/ 目录下提供独立的 azure 库实现(source/libs/azure),并在 cmake/in/azure.CMakeLists.txt.in 中配置了对应的构建规则,可供进一步阅读 Azure 接入的底层细节。
优化项:性能、编码与运维体验全面打磨
查询性能优化
本次版本针对大规模并发与大数据量查询做了多处专项优化:
- 提升大并发查询时 dnode 间拉取数据的效率:多节点集群在大量并发查询时,dnode 之间需要频繁交换数据块,本次优化了该路径的传输与调度效率,直接受益于高并发分析场景;
- 提升
select ... from ... where ts in (...)的数据扫描速度:针对ts in (时间点列表)这类按时间点集合过滤的查询,优化了底层扫描逻辑,加快时间索引的定位与数据块读取; - 修复
last_row查询性能在 3.3.3.0 中显著下降的问题:last_row是常用的取最后一行/最新状态函数,其注册位于 source/libs/function/src/builtins.c。3.3.4.3 修复了它在 3.3.3.0 引入的性能回退,保证取最新数据的查询保持高效。
基于 AVX2/AVX512 的 SIMD 解码优化
3.3.4.3 支持使用 AVX2 与 AVX512 指令集对 double、timestamp、bigint 三种类型进行解码优化。
时间序列数据在磁盘上以压缩格式存储,查询时需要解码还原。对最常用的 8 字节数值类型(double、timestamp、bigint)使用 SIMD 指令并行解码,可以显著降低 CPU 解码开销、提升全量扫描型查询的吞吐。仓库中已能看到对应的向量化实现雏形,例如 source/libs/function/src/detail/tminmaxavx.c 就专门承载了 AVX 相关的函数实现,作为 SIMD 优化在函数层的落地示例。
同时,本次修复了在不支持 AVX 指令的服务器上 taosd 启动失败的问题,说明这些优化在运行时做了指令集兼容性兜底——老 CPU 或虚拟化环境(未开启 AVX 透传)也能正常启动,只是无法获得 SIMD 加速。
数据类型与编码调整
- 调整
case when语句的结果类型:case when多分支表达式的推断结果类型在 3.3.4.3 中被修正,避免分支间类型不一致时出现意外截断或转换错误; - 支持关闭 integer 与 float 数据类型的编码(encoding):在写入链路中新增了开关,允许用户对整型和浮点型数据关闭列级编码,从而在"压缩率"与"写入/查询 CPU 开销"之间做取舍,适用于对压缩率不敏感、更看重低延迟的场景。
流计算兼容性保证机制
本次为流计算引入了兼容性保证机制:其目的是避免后续新增函数(如本次的 twa/interp 时间驱动模式)引发新的兼容性问题,但代价是此前创建的流任务必须删除并重新创建才能平滑使用新版本能力。升级前请务必盘点存量流任务,规划重建窗口。
此外还有一条与多副本相关的硬性约束:在多副本(multi-replica)数据库中,流计算必须使用 snode(Stream Node,流计算节点)。这要求在部署多副本集群时提前规划好 snode 资源,避免流任务因缺少可用节点而无法调度。
数据同步与运维体验
- 提升 taosX 在交织(interlace)场景下的数据同步性能:taosX 是 TDengine 的数据同步/迁移工具,本版本优化了其在交织(多任务交错)场景下的同步吞吐;
- 生成唯一 ID 标识每个查询任务:为每次查询任务分配唯一标识,避免并发场景下的内存踩踏(memory corruption);
- 加快数据库创建速度:优化了建库路径的处理逻辑,缩短
CREATE DATABASE的响应时间; - 将
s3MigrateEnabled默认值改为 0:S3/对象存储数据迁移能力默认关闭,需要迁移时显式开启,避免默认行为变化带来的意外数据搬移成本; - 支持在审计库(audit database)中记录删除操作:审计功能覆盖了
DELETE类操作,便于安全合规追溯; - 支持在指定 dnode 列表上创建数据库(企业版):企业版用户可将数据库的数据分片(vgroup)固定在指定的 dnode 集合上,实现数据物理隔离与亲和性调度;
- 优化删除超级表数据列时的错误提示:更清晰地告知用户删除 super table 列时失败的原因,降低误操作排查成本。
关键修复:稳定性与正确性兜底
查询正确性修复
- 按常量分区(partition by constant)时查询结果错误:修复了
PARTITION BY使用常量表达式时结果不正确的问题; - 标量函数含
_wstart且fill(prev)时计算结果错误:修复了窗口起始时间变量与prev填充方式组合时的计算错误; interp与fill(prev)配合时行为不正确:同样属于插值函数与填充方式组合的正确性修复;interp与partition by tbname, c1同时使用时tbname为空:修复了多字段分区下插值结果的标签丢失问题;partition by与having一起使用时语法错误:修复了分组过滤组合使用的语法解析问题;- 查询语句含多个嵌套
not条件时,未设置标量模式会导致查询错误:修复了多重否定条件组合下的结果错误; show create stable执行结果不正确:修复了超级表 DDL 展示语句的输出错误;percentile函数查询大量数据时崩溃:percentile(百分位数)函数在超大结果集上触发崩溃,本次已修复(函数注册见 builtins.c)。
存储与恢复修复
- WAL 条目不完整时 taosd 无法启动:修复了 WAL(Write-Ahead Log)中残留不完整条目导致的服务无法拉起问题,提升异常断电后的恢复能力;
- Data Compact 异常终止后中间文件未清理:数据文件合并(compact)被打断后遗留的中间文件现可被正确清理,避免磁盘占用与后续合并冲突;
- TSMA 在高频元数据操作期间异常停止:修复了时序聚合(TSMA)在频繁建表/删表等元数据操作下的稳定性问题;
- 快照同步期间文件组数据排序缓慢导致 Vnode 无法恢复:修复了主从节点快照同步时因排序过慢造成的 vnode 恢复阻塞;
- 元数据文件因错误码处理逻辑不正确而损坏:修复了错误码分支处理不当导致的元数据文件损坏。
客户端与连接修复
- taosc 驱动在清理 dnode 数据后重试错误:修复了清理节点数据后驱动端错误重试的问题;
- "too many session" 问题(大并发查询):修复了高并发查询时会话数暴增导致连接失败的问题;
- Windows 平台下 JDBC 驱动进程句柄持续增长:修复了 Windows 上 Java 驱动的句柄泄漏;
- Windows 平台重复增删表导致内存泄漏:修复了 Windows 下表元数据反复增删造成的内存泄漏;
- Windows 平台慢查询场景下 TDengine CLI 崩溃:修复了 Windows 下 CLI 在慢查询时的稳定性问题;
- Windows 平台时区设置问题:修复了 Windows 系统上时区解析不正确的缺陷;
- 通过 line protocol 向 varchar 字段写入转义字符时 taosd 崩溃:修复了写入链路对转义字符处理不当导致的崩溃;
- 通过 stmt 写入非法布尔值时 taosd 崩溃:修复了预处理写入对非法布尔值缺少校验导致的崩溃;
- 加密数据库在开启 dnode 日志时无法恢复:修复了加密库与日志开关组合下的恢复失败问题。
集群与同步修复
- mnode 部分错误导致事务无法停止:修复了 mnode 层事务在错误路径上无法正常终止的问题;
- 事务冲突处理逻辑错误:修复了并发事务冲突处理中的逻辑缺陷;
- mnode 同步超时导致 taosd 无法启动:修复了元数据节点同步超时导致的服务启动失败;
- dnode 因 vnode 状态上报超时离线:修复了 vnode 统计信息上报超时被误判为节点离线的误报问题;
- 从 3.3.3.1 升级到 3.3.4.0 时偶发启动失败:修复了跨小版本升级时的启动兼容问题;
- 流计算并发 checkpoint 事务返回码检查不正确:修复了流任务检查点事务并发时的错误处理;
- 新增列后 Kafka 连接器 earliest 模式无法消费新列数据:修复了数据订阅/同步中新增列后的消费缺口;
- taosX 迁移中 0x09xx 错误码处理:修复了 taosX 在迁移场景下对 0x09xx 系列错误码的识别与处理;
- 库符号
version与其他库冲突:修复了导出符号version与依赖库同名符号冲突导致的链接/加载问题。
升级建议与注意事项
综合 3.3.4.3 的变更内容,升级前建议重点确认以下事项:
- 流任务需要重建:由于引入了流计算兼容性保证机制,且
twa/interp新增了时间驱动推送模式,存量流任务需删除后按新版本语法重新创建; - 多副本 + 流计算必须使用 snode:若集群采用多副本数据库并运行流任务,请确保已规划并部署 snode,否则流任务可能无法调度;
- 对象存储迁移默认关闭:
s3MigrateEnabled默认值已改为 0,需要 S3/Azure Blob 数据迁移能力时请显式开启对应配置; - 确认 CPU 指令集:AVX2/AVX512 解码优化在不支持 AVX 的机器上会自动兜底(本次已修复相关启动失败问题),但若要获得完整性能收益,建议部署环境开启 AVX2/AVX512;
- 审计与权限:审计库现已记录删除操作,对审计策略有要求的团队可直接依赖该能力;企业版用户还可利用"指定 dnode 列表建库"实现数据亲和。
结语
TDengine 3.3.4.3 是一次典型的"承上启下"维护版本:流计算侧补上了时间驱动的结果推送模式并建立兼容性机制,存储侧新增 Azure Blob 支持,查询侧则通过 SIMD 解码与扫描路径优化把大数据量查询的吞吐又推进一步,同时修复了大量涉及查询正确性、崩溃恢复与 Windows/客户端稳定性的缺陷。对于正在使用 3.3.x 的集群,尤其是对流计算输出节奏、多副本部署或对象存储归档有要求的用户,本版本值得重点评估升级;升级前务必按上文清单做好流任务重建与配置核对。