Aiven 从 M3DB 迁移到 Thanos 的实践:10 万台机器规模的指标可观测性架构演进

原创2026-09-21 21:32:321,430 阅读
文章标签:可观测性云原生时序数据库运维

Aiven 从 M3DB 迁移到 Thanos 的实践:10 万台机器规模的指标可观测性架构演进

本篇技术指南以 Aiven 官方博客(docs/blog/2023-06-08-thanos-at-aiven.md)为核心,完整还原这家云原生数据平台从 M3DB 迁移到 Thanos 的决策过程、架构设计、工程挑战与成本收益。文章覆盖 10 万台以上机器、11 朵云、160+ 区域的超大规模指标采集场景,并结合 Thanos 仓库源码剖析其中的哈希环(hashring)、路由-摄取拓扑、AZ 感知复制等关键机制。读者读完可以掌握:如何评估并迁移超大规模 Prometheus 兼容存储、如何设计多区域接收端拓扑、如何通过对象存储显著降低长周期指标留存成本,以及迁移过程中常见的坑与修复方式。

Aiven 的 Thanos 生产架构图

Aiven 生产环境中的 Thanos 架构:Telegraf 采集 → Kafka 缓冲 → Thanos Routing Receiver → Thanos Ingesting Receiver → 对象存储,查询侧由 Query Frontend / Query / Store / Compactor 支撑

背景:Aiven 为什么需要更换时序数据库

Aiven 是一个云原生数据基础设施平台,提供 PostgreSQL、MySQL、ClickHouse、Cassandra、M3、InfluxDB 等开源数据库的托管服务,以及 Kafka、Flink 等流处理平台,覆盖 11 朵云、150 多个区域。作为基础设施提供商,Aiven 自身也需要一套能够支撑其庞大服务器群的指标可观测性平台,同时为客户提供 Prometheus 生态的指标采集能力。

2019 年,Aiven 最初使用开源的 InfluxDB,但当时它已无法支撑 Aiven 的规模——这个规模如今已增长到 10 万台以上机器、横跨 11 朵云和 160+ 区域。InfluxDB 属于"纵向扩展"(scale-up)架构,而 Aiven 更习惯"横向扩展"(scale-out)的数据库架构。经过生态调研后,M3DB 在架构上符合要求:它的社区当时非常活跃,Uber、Chronosphere 等公司都在参与贡献。Aiven 甚至向 M3DB 贡献了 Influx line protocol 支持,帮助客户从 InfluxDB 迁移到 Prometheus 生态。

然而到了 2022 年,情况发生了变化:随着 Uber 聚焦盈利、Chronosphere 转向 SaaS 平台,M3DB 上游几乎停止了贡献。M3DB 缺少 Prometheus 生态中逐步引入的许多新特性,具体包括:

  • 不支持 exemplars(样本标签之外的高基数追踪关联数据)
  • 不支持 Alertmanager 集成,告警链路难以打通
  • 无法将旧数据下沉到对象存储,导致运维成本(operating expenses)远高于如今的同类方案
  • 大规模下的内存管理存在问题,对查询类型和数据本身非常敏感,曾多次影响 Aiven 及其客户

选型:为什么最终选择 Thanos

Aiven 开始寻找一个生态活跃、可以持续贡献的替代项目。其开源项目办公室(OSPO)拥有 20 多名专职上游工程师,对开源社区的投入是战略级的。同时,新项目最好采用 Apache 2.0 许可证,以便既能用于内部场景,也能用于构建产品或集成进产品体系,保留全部灵活性并降低风险。

在这个前提下,候选方案被逐一筛选:

  • Mimir:技术很优秀,但由单一公司控制且许可证具有限制性。与 Elasticsearch 的情况类似,Aiven 不希望未来在许可证上受制于人。
  • Cortex:存在与 M3DB 类似的问题——实际使用公司很少(因为 Mimir 是其改进版分叉,不在意许可证可能随时变化的公司大多已切换过去)。
  • Thanos:与软件基金会(CNCF,孵化项目)保持一致,能够保护项目并确保社区活跃多样,成为最终目标。Aiven 的策略是先验证能否在内部使用,再决定是否基于它构建产品。

架构设计:从 Telegraf 到路由-摄取双层级

Aiven 首先制定了验证计划,通过概念验证(POC)确认方案的可行性。其最终生产架构如上图所示,核心链路为:

  1. 采集:客户数据库的指标通过 Telegraf 采集。选择 Telegraf 是因为它占用资源小,且能覆盖 Aiven 提供和使用的众多技术栈。
  2. 缓冲:指标先进入 Kafka 消息队列,再由 Telegraf 消费并推送。
  3. 写入:不再使用 Influx line protocol,而是直接通过 remote write 协议发送到 Thanos Routing Receiver。
  4. 路由:Routing Receiver 使用 AZ-aware ketama hashring(可用区感知的一致性哈希)将数据路由到正确的 Thanos Ingesting Receiver。
  5. 存储:Ingesting Receiver 将数据写入 Google Cloud Storage 对象存储作为长期存储;Thanos Compactor 负责压缩合并、优化存储效率。
  6. 查询:Grafana 的请求经 Thanos Query Frontend 分发到 Thanos Query,由 Thanos Store 从对象存储读取历史数据。
  7. 告警:VMAlert 驱动告警流水线,事件发往 Alertmanager。

这套架构在 docs/components/receive.md 中有对应的组件级文档支撑。路由-摄取(routing-ingesting)分离的拓扑是社区建议的方案:Routing Receiver 只做扇出转发(fanout forward),不落盘;Ingesting Receiver 才真正写入 TSDB 头并最终上传对象存储。

从源码看哈希环与 AZ 感知

架构图中"AZ-aware ketama hashring"并不是营销词汇,而是 pkg/receive/hashring.go 中的真实实现。Thanos Receive 支持两种哈希环算法:

  • hashmod:按 labelpb.HashWithPrefix(tenant, ts.Labels) + n) % len(endpoints) 直接取模分配,实现简单但节点增减会大量重排数据。从源码看,newSimpleHashring 在配置了 AZ 时会直接报错:"Hashmod algorithm does not support AZ aware hashring configuration"——即 hashmod 不支持 AZ 感知。
  • ketama:一致性哈希。每个端点生成 SectionsPerNode(源码中为 1000)个环段,按哈希值排序,GetN 通过二分查找定位段并返回第 n 个副本,节点变化只影响相邻数据。

AZ 感知的关键在 calculateSectionReplicas(pkg/receive/hashring.go#L199-L225):为每个环段预计算副本时,算法会跟踪各可用区(AZ)的副本分布,优先保证副本均匀分散到不同 AZ——只有当所有 AZ 都已至少承载一个副本时,才允许在同一 AZ 内增加副本:

if len(azSpread) > 1 && azSpread[rep.az] > 0 && azSpread[rep.az] > sizeOfLeastOccupiedAZ(azSpread) {
    // We want to ensure even AZ spread before we add more replicas within the same AZ
    continue
}

对应的配置结构在 pkg/receive/config.go#L66-L70 中定义,每个端点可以携带 az 字段:

type Endpoint struct {
    Address          string `json:"address"`
    CapNProtoAddress string `json:"capnproto_address"`
    AZ               string `json:"az"`
}

AZ-aware hashring 配置示例(JSON,由 --receive.hashrings-file 加载),以 6 节点、3 个可用区为例:

[
    {
        "endpoints": [
            { "address": "127.0.0.1:10907", "az": "A" },
            { "address": "127.0.0.1:11907", "az": "B" },
            { "address": "127.0.0.1:12907", "az": "C" },
            { "address": "127.0.0.1:13907", "az": "A" },
            { "address": "127.0.0.1:14907", "az": "B" },
            { "address": "127.0.0.1:15907", "az": "C" }
        ]
    }
]

根据 docs/components/receive.md 的说明,AZ 感知仅对 Ketama 算法生效,自 v0.32 起可用;endpoints 既可以是 IP 字符串数组,也可以是带 az 的对象数组。

迁移路上的工程挑战与上游修复

Aiven 的迁移并不是一帆风顺的,其中几个问题直接催生了 Thanos 上游的修复,也印证了"大规模场景暴露边界问题"这一规律。

未来时间戳导致的写入崩溃

因为 Aiven 横跨多朵云,网络与调度延迟导致部分指标时间戳落在"未来"。当带未来时间戳的样本写入时,ingester(接收端)会崩溃。这个问题恰好由社区在 upstream 修复(对应 PR #6195)。从源码可以看到写入侧对样本时间合法性有系统性的校验逻辑——pkg/receive/handler.go#L1498-L1505 将 storage.ErrOutOfOrderSample、storage.ErrOutOfBounds、storage.ErrTooOldSample 等统一归类为样本冲突错误处理,接收端在写入前会检查样本时间是否超出 TSDB 允许的范围。

head 压缩的 off-by-one 缺陷

Aiven 构建了大量测试自动化:写入一条样本 → 对集群做变更 → 验证样本是否被持久化。由于 head 压缩(head compaction)中的一处 off-by-one 问题,该验证在最初阶段失败。这个问题在正常运维中基本无感,但在自动化测试中立刻暴露,随后由上游 PR #6183 修复。

哈希环构建死锁与 systemd 超时

Aiven 对哈希环的管理非常谨慎,目标是保证集群故障切换期间不丢失任何写入。但在初期开发阶段,启动瞬间哈希环中的端点数量偶尔会少于副本要求(replication factor),导致哈希环构建期间 Thanos 锁死。上游 PR #6168 修复了这个死锁,Aiven 同时修正了自身的管理逻辑,避免生成这类不合理的哈希环配置。从源码看,newKetamaHashring 在端点数量小于副本因子时会直接返回错误 "ketama: amount of endpoints needs to be larger than replication factor"(pkg/receive/hashring.go#L152-L155),insufficientNodesError 也在 pkg/receive/hashring.go#L45-L55 中被定义用于 GetN 副本不足的报错场景。

此外,Aiven 的服务以 systemd unit 方式运行,默认停止超时是 90 秒。对多数数据库来说 90 秒足够,但对需要压缩并上传相当大的 TSDB head 的 Thanos ingesting receiver 来说却不够——在生产流量试运行中 Aiven 发现了这一点,并相应调大了超时上限。

复制环与社区协作

迁移过程中还遇到过复制环(replication loop)导致崩溃的问题。社区(CNCF Slack)给予了关键帮助,最终 Aiven 采纳社区建议,改为路由-摄取分离的接收端拓扑来解决。这也体现了 Thanos 社区对生产用户的支撑价值。

规模化验证:从单机 POC 到全量流量

Aiven 的第一阶段是搭建单台独立 Thanos 系统,处理一小部分指标流量。他们用 Starlark 脚本实现采样,自动配置了一部分服务器群参与验证,验证维度包括写入持久化、集群变更后的数据一致性等。

解决上述问题后,Aiven 开始构建横向扩展(scale out)实现,接入更多组件并水平扩容,以观察在高指标流量下的表现。这个"小流量验证 → 修复边界问题 → 全量扩缩容"的路径,是超大规模指标平台迁移的经典节奏。

成本对比:对象存储带来的数量级差距

POC 结束后,Aiven 确认方案可行,且成本节省非常显著。以下是文档中提供的两份成本明细(按月计算):

M3DB 成本明细

服务 实例类型 单价 数量 月总价
m3db n2d-highmem-32 $1,172.61 18 $21,106.98
m3coordinator n2d-standard-48 $1,303.73 9 $11,733.57
M3 合计 $32,840.55

Thanos 成本明细

服务 实例类型 单价 数量 月总价
thanosreceiver n2d-highcpu-96 $1,924 6 $11,544
thanosquery n2d-highcpu-16 $321.57 6 $1,929
thanosstore n2d-highmem-8 $293.90 3 $881.7
thanoscompactor n2d-highmem-8 $293.90 1 $293.90
redis n2d-highmem-4 $147.45 2 $294.9
THANOS 合计 $14,942.68

计算资源从约 $32,840 降至约 $14,942,降幅约 55%。存储侧的差距更为惊人:

  • M3DB 当前配置了 54TB 存储,月成本 $4,320;同样的钱在 Thanos 的对象存储方案下可以放 216TB。
  • Aiven 每天产生约 750GB 新指标,这意味着用 M3DB 的成本就能在 Thanos 中保留接近一年的指标。
  • M3DB 备份占用 33TB 对象存储,月成本 $1,320;对象存储方案还需额外考虑网络费用,约每月 $1,800。

综合估算的月度总成本:

  • M3(30 天保留期):$38,480
  • Thanos(对象存储中无历史数据):$16,939
  • Thanos(对象存储保留 1 个月):$17,368
  • Thanos(保留 6 个月):$19,703
  • Thanos(保留 1 年):$22,447
  • Thanos(保留 2 年):$27,955
  • Thanos(保留 3 年):$33,423

也就是说,M3DB 只保留 30 天的总成本,Thanos 可以做到保留 3 年仍更便宜。这正是 Thanos 架构的核心价值:热数据在接收端本地 TSDB,历史数据下沉到廉价对象存储,存储成本随数据增长几乎线性可控。这也是文档中"无限制保留指标,根本没有删除的必要"这一结论的由来。

此外,上游还有持续的降本优化空间。例如 Aiven 工程师 Alexander Rickardsson 在 Thanos upstream 实现的 AZ 感知复制,使 Aiven 在 Google Cloud Platform 上的副本因子从 3 降到 2(对应 PR #6369),进一步压缩计算成本。其背后的实现正是前面分析的 AZ-aware ketama hashring——副本被均衡地分布在不同可用区,因此跨 AZ 冗余只需 2 个副本即可达到 3 副本的容错效果。

性能对比:vmalert 实测 Thanos vs M3DB

在持续监控和告警场景中,Thanos 的查询性能也普遍更好。Aiven 的告警流水线使用 vmalert 驱动(因为 M3DB 没有 Alertmanager 集成),vmalert 的运行方式与 Prometheus / Thanos Ruler 类似,按固定间隔主动执行查询。

迁移过程中 Aiven 发现 vmalert 的一个问题:同一组(group)评估周期内,规则有时会被执行两次。默认情况下这会重新对齐结果时间戳到组评估开始时间,导致产生"相同时间戳、不同值"的样本,从而引发写入被拒绝(failed and rejected writes)。解决方法是禁用 vmalert 的查询时间对齐选项 datasource.queryTimeAlignment。

为了公平对比,Aiven 复用现有 vmalert 的 recording rule 和 alert rule,起了一个指向新 Thanos 集群的新 vmalert 实例(其余配置完全相同),直接对比两种后端的查询性能:

Thanos 与 M3DB 查询性能对比

基于相同 vmalert 规则集、相同配置的对比测试:纵轴为各类查询场景,横向对比 M3 与 Thanos 的响应时间及耗时比值

结果显示,大多数不使用正则选择器(regex selectors)的查询在 Thanos 上明显更快。文档中呈现的典型数据点包括:

  • user_alerts_15m:M3 耗时约 8.79s,Thanos 约 354ms,快了一个数量级以上;
  • mysql_60s:M3 约 4.82s,Thanos 约 577ms;
  • 少数轻量级或特定场景(如 config_staleness_1h)Thanos 反而更慢,说明性能优势与查询形态强相关,正则匹配类查询的差异尤其值得关注。

这些实测对比呼应了 Thanos 查询引擎的持续优化工作——作者之一 Michael Hoffmann 正在 promql-engine 上推进查询引擎层面的优化,并计划贡献回上游。

总结:Aiven 迁移的启示与后续计划

回顾 Aiven 的这次迁移,可以提炼出几条对大规模 Prometheus 生态用户有直接参考价值的经验:

  1. 选型要看生态与许可证:单一公司控制、许可证存在变数的项目即使技术优秀也有长期风险;基金会托管(如 CNCF)的项目在社区多样性和可持续性上更有保障。
  2. 架构上优先横向扩展 + 对象存储:M3DB 的痛点(无法下沉冷数据、内存敏感、高规模下运维贵)在 Thanos 的"接收端写本地 + Compactor 压缩 + Store 读对象存储"模型中不复存在。
  3. 大规模迁移必须重视边界问题:未来时间戳、head 压缩 off-by-one、哈希环构建死锁、systemd 超时不足、复制环……这些都在生产流量试运行中暴露,并大多获得了上游社区的及时修复。
  4. AZ 感知复制是重要的成本杠杆:配合 ketama 哈希环,可在不损失容错的前提下把副本因子从 3 降到 2,直接削减约 1/3 的接收端计算成本。

Aiven 的下一步计划是成为首家提供 托管 Thanos 服务的厂商,继续向 Thanos 上游贡献(尤其是查询引擎优化),并计划让 OSPO 的专职成员长期投入 Thanos 社区。这套架构最终要支撑的是"横跨 11 朵云、160+ 区域"的、真正开源且成本可控的 Prometheus 服务。

对于正在评估或已经运行 Thanos 的团队,建议继续阅读仓库中的组件文档了解部署细节:receive 组件文档(哈希环与路由配置)、query 组件文档(查询与去重)、store 组件文档(对象存储读取)、compact 组件文档(压缩与保留策略),以及 docs/storage.md 了解对象存储后端选型。若需要复现哈希环行为,pkg/receive/hashring_test.go 中的测试用例(含 AZ 感知场景)是很好的参考起点。

登录后查看全文
thanos