TDengine 基础概念详解:从度量、标签到超级表与虚拟表的时序数据模型

原创2026-09-19 19:17:381,891 阅读
文章标签:数据库时序数据库大数据实时分析物联网云原生机器学习

TDengine 基础概念详解:从度量、标签到超级表与虚拟表的时序数据模型

本篇指南以智能电表数据为例,系统讲解 TDengine 时间序列数据库的核心概念:度量(Metric)、标签(Tag)、数据采集点(DCP)、表(Table)、超级表(Supertable)、子表(Subtable)、虚拟表(Virtual Table)、数据库(Database)与时间戳(Timestamp)。读完本文,你将能够理解 TDengine "一表一设备" 建模思想背后的设计动机,掌握超级表与子表的模板继承关系,并了解虚拟表如何让"先写入、后建模"成为现实,为后续的数据建模实操打下概念基础。

贯穿全文的示例:智能电表

为了清晰说明时间序列数据的概念,并便于编写示例程序,TDengine 文档统一使用智能电表作为示例。这些示例电表可以采集三种度量:电流(current)、电压(voltage) 和相位(phase);此外,每块电表还带有两个静态属性:位置(location) 和分组 ID(group_id)。这些电表采集到的数据如下表所示:

Device ID Timestamp Current Voltage Phase Location Group ID
d1001 1538548685000 10.3 219 0.31 California.SanFrancisco 2
d1002 1538548684000 10.2 220 0.23 California.SanFrancisco 3
d1003 1538548686500 11.5 221 0.35 California.LosAngeles 3
d1004 1538548685500 13.4 223 0.29 California.LosAngeles 2
d1001 1538548695000 12.6 218 0.33 California.SanFrancisco 2
d1004 1538548696600 11.8 221 0.28 California.LosAngeles 2
d1002 1538548696650 10.3 218 0.25 California.SanFrancisco 3
d1001 1538548696800 12.3 221 0.31 California.SanFrancisco 2

这些电表基于外部触发事件或预设周期采集数据,保证了数据的连续性和时间性,从而形成持续更新的数据流。后续所有概念都将围绕这张表展开。

度量(Metric)

度量指从传感器、设备或其他数据采集点获得的物理量,例如电流、电压、温度等。由于这些物理量随时间变化,采集到的数据类型多种多样,包括整数、浮点数、字符串等;随着时间推移,存储的数据会持续增长。在智能电表示例中,电流、电压和相位就是典型的度量。

在 TDengine 中,每个度量对应子表中的一个列(column),度量列的取值随时间变化,构成真正的时间序列数据主体。

标签(Tag)

标签指与传感器、设备或其他数据采集点相关联的静态属性,是随时间不变化的属性,例如设备型号、颜色或位置。标签的数据类型可以是任意类型。虽然标签本身是静态的,但在实际应用中可能需要对标签进行修改、删除或新增操作。

与度量不同,标签数据的存储量随时间保持相对稳定,不会呈现显著的增长趋势。在智能电表示例中,位置(location)和分组 ID(group_id)就是典型标签。

关键区别:度量随时间增长,标签是稳定元数据。这一区别决定了它们在生产系统中的存储与索引方式完全不同——度量列按时间有序地追加存储并压缩,而标签列用于快速过滤和聚合。

数据采集点(DCP)

数据采集点(Data Collection Point, DCP)指负责按预设周期或特定事件触发采集度量的硬件或软件设备。一个数据采集点可以在同一时刻采集一个或多个度量,这些度量拥有相同的时间戳。

复杂结构化的设备通常包含多个数据采集点,每个数据采集点的采集周期不同,且相互独立、互不干扰。例如,一辆汽车可能有专门采集位置信息的数据采集点、监控发动机状态的数据采集点,以及监控车内环境的数据采集点,因此一辆汽车可能包含三种不同类型的数据采集点。在智能电表示例中,d1001、d1002、d1003 等标识符就代表不同的数据采集点。

表(Table)

由于从数据采集点采集的时间序列数据通常是结构化数据,TDengine 采用传统关系型数据库模型来管理数据;同时,为了充分利用时间序列数据的特性,TDengine 采用 "一表一设备"(one table per device) 的设计,即每个数据采集点对应一张独立的表。例如,如果有上百万块智能电表,就需要在 TDengine 中创建相应数量的表。在示例数据中,设备 ID 为 d1001 的智能电表对应 TDengine 中的一张表,该电表采集的所有时间序列数据都存储在这张表中。

这种设计既保留了关系型数据库的易用性,又充分利用了时间序列数据的独特优势:

  1. 单写入者,免锁写入:不同数据采集点的数据生成过程完全独立,每个数据采集点拥有唯一数据源,因此每张表只有一个写入者,可以实现无锁写入,显著提高写入速度。
  2. 按时间追加写入:对某个数据采集点而言,其生成的数据天然按时间有序,写操作可以以 append-only(仅追加)方式实现,进一步提升写入速度。
  3. 连续块存储,降低随机读:一个数据采集点的数据在块中连续存储,读取特定时间段的数据时可以显著减少随机读操作,大幅提升数据读取和查询速度。
  4. 列式存储 + 类型化压缩:数据块内部采用列式存储,可对不同数据类型应用不同的压缩算法以提高压缩率;而且由于数据采集频率变化通常较慢,压缩率会更高。

相比之下,如果采用传统方案将多个数据采集点的数据写入同一张表:由于网络延迟不可控,无法保证各数据采集点的数据到达服务器的顺序,写操作需要加锁保护,且难以保证某个数据采集点的数据连续存储在一起。而采用"一个数据采集点一张表"的方式,可以最大限度地保证单个数据采集点插入和查询性能最优、数据压缩率最高。

在 TDengine 中,通常使用数据采集点的名称(如 d1001)作为表名,每个数据采集点可以有多个度量(如电流、电压、相位等),每个度量对应表中的一列,度量的数据类型可以是整数、浮点数、字符串等。此外:

  • 表的第一列必须是时间戳;
  • 对每个度量列,TDengine 会使用第一列时间戳建立索引,并采用列式存储;
  • 对于复杂设备(如拥有多个数据采集点的汽车),需要为一辆车创建多张表。

超级表(Supertable)

虽然"一表一设备"的设计有助于对每个采集点进行精细管理,但随着设备数量增加,表数量也急剧增长,给数据库管理和数据分析带来挑战。当需要跨数据采集点执行聚合操作时,用户需要面对大量表,工作异常繁琐。

为解决这一问题,TDengine 引入超级表(supertable)。超级表是一种能够将某些类型的数据采集点聚合成逻辑上统一的数据结构,这些数据采集点具有相同的表结构,但静态属性(如标签)可能不同。创建超级表时,除了定义度量列,还需要定义超级表的标签:

  • 超级表必须包含至少一个时间戳列、一个或多个度量列、一个或多个标签列;
  • 超级表的标签可以灵活地新增、修改或删除。

简言之:表代表某个具体的数据采集点,而超级表代表一组具有相同属性的数据采集点的集合。以智能电表为例,可以为这种电表创建一个超级表,涵盖智能电表的所有公共属性和度量。这种设计既简化了表管理,也方便了跨数据采集点的聚合操作,从而提升数据处理效率。

子表(Subtable)

**子表(subtable)**是数据采集点的逻辑抽象,是隶属于某个超级表的具体表。可以以超级表的定义作为模板,通过指定子表的标签值来创建子表。因此,通过超级表生成的表称为子表。超级表与子表的关系主要体现在以下方面:

  • 一个超级表包含多个子表,这些子表具有相同的表结构,但标签值不同;
  • 子表的表结构不能直接修改,但可以修改超级表的列和标签,修改对所有子表立即生效;
  • 超级表定义的是一个模板,其本身不存储任何数据或标签信息。

在 TDengine 中,子表和超级表都可以执行查询操作。对超级表的查询,TDengine 将所有子表的数据视为一个整体:首先通过标签过滤出满足查询条件的表,然后在各子表上分别查询时间序列数据,最后合并各子表的查询结果。本质上,通过支持对超级表的查询,TDengine 实现了对多个相似数据采集点的高效聚合。

为了更好地理解度量、标签、超级表和子表之间的关系,下面以智能电表为例给出示意图:

TDengine 数据模型:超级表 meters 作为模板,子表 d1001、d1002、d1004 继承结构并携带各自的标签值

图中 meters 超级表定义了公共的度量列(ts、current、voltage、phase)与标签列(location、group_id),各子表继承该结构、填入各自标签值,并独立存储按时间戳有序的时序数据。

虚拟表(Virtual Table)

"一表一设备"与超级表的设计解决了工业与 IoT 场景下大部分时间序列数据管理与分析挑战。但真实场景中,单个设备往往拥有多个采集频率各异的传感器。例如,一台风力发电机可能有电气参数、环境参数、机械参数,分别由不同传感器以不同间隔采集,很难用一张表描述整个设备,往往需要多张表;跨传感器分析时又需要多层 join 查询,带来易用性和性能问题。从用户视角看,"一表一设备"更直观,但若直接实现该模型,由于采集频率不同,每个时间戳会出现大量 NULL 值,降低存储与查询效率。

为此,TDengine 引入虚拟表(Virtual Table, VTable)。虚拟表是一种逻辑实体,不存储物理数据,而是通过动态组合多张源表(子表或普通表)的列来支持分析计算。与物理表类似,虚拟表可分为虚拟超级表(virtual supertable)、虚拟子表(virtual subtable) 和虚拟普通表(virtual regular table)。虚拟超级表可以表示一个设备或一组设备的完整数据集,而每个虚拟子表可以灵活引用不同来源的列。虚拟表不可写入、不可删除,但可以像物理表一样被查询。其关键区别在于:虚拟表的数据是在查询时动态生成的,只有查询中引用的列才会被合并进虚拟表,因此同一个虚拟表在不同查询中可能呈现完全不同的数据集。

这一机制使得 "先写入,后建模"(write first, model later) 成为可行实践:在采集和写入阶段,无需预先为复杂分析设计表结构,可以按接近设备协议的形式写入数据(例如单列模型);数据落库后,再为所需业务视图创建虚拟表。这降低了采集入模的复杂度和早期建模负担。

虚拟超级表的关键特性

  1. 列选择与合并:用户可以从多张源表中选择特定列,组合成统一视图;
  2. 基于时间戳对齐:数据按时间戳对齐,若多张表在同一时间戳都有数据,则将这些列的值合并为一行,缺失值以 NULL 填充;
  3. 动态更新:虚拟表自动反映源表的变化,无需物理存储即可获得实时数据。

通过引入虚拟表,TDengine 简化了复杂设备数据的管理。无论各采集点如何建模(单列或多列)、如何分布在数据库/表中,用户都可以通过虚拟超级表自由定义数据来源,实现跨采集点的聚合与分析,让"一表一设备"真正落地。

从源码结构看,虚拟表在 SQL 语法与执行链路中都有完整的实现支撑:词法分析器在 parTokenizer.c 中注册了 VIRTUAL、VTABLE、VTABLES 关键字;语法分析器在 parAstCreater.c 中构造 CREATE VIRTUAL TABLE / CREATE VIRTUAL SUBTABLE 语句节点,并支持对应的 DROP VIRTUAL TABLE、ALTER VIRTUAL TABLE 操作;权限模块在 parAuthenticator.c 中提供 authCreateVTable、authAlterVTable 等校验逻辑;执行层则在 virtualtablescanoperator.c 中通过 SVirtualTableScanInfo 实现虚拟表扫描算子,负责查询时动态合并各源表数据。

数据库(Database)

TDengine 中的**数据库(database)**用于管理表的集合。一个运行中的 TDengine 实例可以包含多个数据库,每个数据库可配置不同的存储策略。由于不同类型的数据采集点通常具有不同的数据特征——例如采集频率、数据保留周期、副本数、数据块大小等——建议将具有不同数据特征的超级表建立在不同的数据库中。

在一个数据库中,可以包含一个到多个超级表,但每个超级表只能属于一个数据库;同时,某个超级表拥有的所有子表也都存储在该数据库中。这种设计有助于实现更细粒度的数据管理与优化,确保 TDengine 能够针对不同的数据特征提供最佳的处理性能。

时间戳(Timestamp)

时间戳在时间序列数据处理中至关重要,尤其是当应用需要跨多个时区访问数据库时。先介绍几个基本概念:

  • 本地日期时间(Local date and time):特定地区的本地时间,通常以 yyyy-MM-dd hh:mm:ss.SSS 格式的字符串表示,不含时区信息,例如 2021-07-21 12:00:00.000。
  • 时区(Time zone):不同地理位置的当地时间标准。协调世界时(UTC)或格林尼治标准时间是国际时间标准;其他时区通常表示为相对 UTC 的偏移,例如 UTC+8 即 UTC+08:00。
  • UTC 时间戳(UTC timestamp):自 UNIX 纪元(UTC 1970-01-01 00:00:00)以来的毫秒数。例如 1700000000000 对应 2023-11-14 22:13:20 (UTC+0)。

TDengine 存储时间序列数据时,统一存储 UTC 时间戳。写入数据时,TDengine 以两种方式处理时间戳:

  • RFC-3339 格式:TDengine 能正确将带时区信息的时间字符串解析为 UTC 时间戳。例如 2018-10-03T14:38:05.000+08:00 会被转换为对应的 UTC 时间戳。
  • 非 RFC-3339 格式:如果时间字符串没有时区信息,TDengine 会使用应用所在时区的设置自动将时间转换为 UTC 时间戳。

查询数据时,TDengine 客户端会根据应用当前的时区设置,自动将存储的 UTC 时间戳转换为本地时间,因此不同时区的用户看到的是正确的本地时间。这一"存储 UTC、按应用时区展示"的机制,保证了跨时区场景下时间语义的一致性与正确性。

下一步:用 SQL 完成数据建模

理解上述概念后,可以继续阅读 Data Modeling(数据建模),学习如何用 SQL 创建数据库、超级表、子表、基础表与虚拟表。例如,创建数据库 power、按 meters 超级表模板创建子表 d1001,以及通过 USING meters TAGS(...) 在插入时自动建表,都是将本篇文章概念落到实际建模的关键操作。该文档还通过智能电表示例详细演示了虚拟表的两种典型用法:单源多维时序聚合与跨源度量对比分析,并给出了完整的建表、插数与查询 SQL 与结果对照,建议配合本篇一起阅读。

登录后查看全文
tdengine