Aiven 从 M3DB 迁移到 Thanos 的实践:10 万台机器规模的指标可观测性架构演进
Aiven 从 M3DB 迁移到 Thanos 的实践:10 万台机器规模的指标可观测性架构演进
本篇技术指南以 Aiven 官方博客(docs/blog/2023-06-08-thanos-at-aiven.md)为核心,完整还原这家云原生数据平台从 M3DB 迁移到 Thanos 的决策过程、架构设计、工程挑战与成本收益。文章覆盖 10 万台以上机器、11 朵云、160+ 区域的超大规模指标采集场景,并结合 Thanos 仓库源码剖析其中的哈希环(hashring)、路由-摄取拓扑、AZ 感知复制等关键机制。读者读完可以掌握:如何评估并迁移超大规模 Prometheus 兼容存储、如何设计多区域接收端拓扑、如何通过对象存储显著降低长周期指标留存成本,以及迁移过程中常见的坑与修复方式。
Aiven 生产环境中的 Thanos 架构:Telegraf 采集 → Kafka 缓冲 → Thanos Routing Receiver → Thanos Ingesting Receiver → 对象存储,查询侧由 Query Frontend / Query / Store / Compactor 支撑
背景:Aiven 为什么需要更换时序数据库
Aiven 是一个云原生数据基础设施平台,提供 PostgreSQL、MySQL、ClickHouse、Cassandra、M3、InfluxDB 等开源数据库的托管服务,以及 Kafka、Flink 等流处理平台,覆盖 11 朵云、150 多个区域。作为基础设施提供商,Aiven 自身也需要一套能够支撑其庞大服务器群的指标可观测性平台,同时为客户提供 Prometheus 生态的指标采集能力。
2019 年,Aiven 最初使用开源的 InfluxDB,但当时它已无法支撑 Aiven 的规模——这个规模如今已增长到 10 万台以上机器、横跨 11 朵云和 160+ 区域。InfluxDB 属于"纵向扩展"(scale-up)架构,而 Aiven 更习惯"横向扩展"(scale-out)的数据库架构。经过生态调研后,M3DB 在架构上符合要求:它的社区当时非常活跃,Uber、Chronosphere 等公司都在参与贡献。Aiven 甚至向 M3DB 贡献了 Influx line protocol 支持,帮助客户从 InfluxDB 迁移到 Prometheus 生态。
然而到了 2022 年,情况发生了变化:随着 Uber 聚焦盈利、Chronosphere 转向 SaaS 平台,M3DB 上游几乎停止了贡献。M3DB 缺少 Prometheus 生态中逐步引入的许多新特性,具体包括:
- 不支持 exemplars(样本标签之外的高基数追踪关联数据)
- 不支持 Alertmanager 集成,告警链路难以打通
- 无法将旧数据下沉到对象存储,导致运维成本(operating expenses)远高于如今的同类方案
- 大规模下的内存管理存在问题,对查询类型和数据本身非常敏感,曾多次影响 Aiven 及其客户
选型:为什么最终选择 Thanos
Aiven 开始寻找一个生态活跃、可以持续贡献的替代项目。其开源项目办公室(OSPO)拥有 20 多名专职上游工程师,对开源社区的投入是战略级的。同时,新项目最好采用 Apache 2.0 许可证,以便既能用于内部场景,也能用于构建产品或集成进产品体系,保留全部灵活性并降低风险。
在这个前提下,候选方案被逐一筛选:
- Mimir:技术很优秀,但由单一公司控制且许可证具有限制性。与 Elasticsearch 的情况类似,Aiven 不希望未来在许可证上受制于人。
- Cortex:存在与 M3DB 类似的问题——实际使用公司很少(因为 Mimir 是其改进版分叉,不在意许可证可能随时变化的公司大多已切换过去)。
- Thanos:与软件基金会(CNCF,孵化项目)保持一致,能够保护项目并确保社区活跃多样,成为最终目标。Aiven 的策略是先验证能否在内部使用,再决定是否基于它构建产品。
架构设计:从 Telegraf 到路由-摄取双层级
Aiven 首先制定了验证计划,通过概念验证(POC)确认方案的可行性。其最终生产架构如上图所示,核心链路为:
- 采集:客户数据库的指标通过 Telegraf 采集。选择 Telegraf 是因为它占用资源小,且能覆盖 Aiven 提供和使用的众多技术栈。
- 缓冲:指标先进入 Kafka 消息队列,再由 Telegraf 消费并推送。
- 写入:不再使用 Influx line protocol,而是直接通过 remote write 协议发送到 Thanos Routing Receiver。
- 路由:Routing Receiver 使用 AZ-aware ketama hashring(可用区感知的一致性哈希)将数据路由到正确的 Thanos Ingesting Receiver。
- 存储:Ingesting Receiver 将数据写入 Google Cloud Storage 对象存储作为长期存储;Thanos Compactor 负责压缩合并、优化存储效率。
- 查询:Grafana 的请求经 Thanos Query Frontend 分发到 Thanos Query,由 Thanos Store 从对象存储读取历史数据。
- 告警:VMAlert 驱动告警流水线,事件发往 Alertmanager。
这套架构在 docs/components/receive.md 中有对应的组件级文档支撑。路由-摄取(routing-ingesting)分离的拓扑是社区建议的方案:Routing Receiver 只做扇出转发(fanout forward),不落盘;Ingesting Receiver 才真正写入 TSDB 头并最终上传对象存储。
从源码看哈希环与 AZ 感知
架构图中"AZ-aware ketama hashring"并不是营销词汇,而是 pkg/receive/hashring.go 中的真实实现。Thanos Receive 支持两种哈希环算法:
- hashmod:按
labelpb.HashWithPrefix(tenant, ts.Labels) + n) % len(endpoints)直接取模分配,实现简单但节点增减会大量重排数据。从源码看,newSimpleHashring在配置了 AZ 时会直接报错:"Hashmod algorithm does not support AZ aware hashring configuration"——即 hashmod 不支持 AZ 感知。 - ketama:一致性哈希。每个端点生成
SectionsPerNode(源码中为 1000)个环段,按哈希值排序,GetN通过二分查找定位段并返回第 n 个副本,节点变化只影响相邻数据。
AZ 感知的关键在 calculateSectionReplicas(pkg/receive/hashring.go#L199-L225):为每个环段预计算副本时,算法会跟踪各可用区(AZ)的副本分布,优先保证副本均匀分散到不同 AZ——只有当所有 AZ 都已至少承载一个副本时,才允许在同一 AZ 内增加副本:
if len(azSpread) > 1 && azSpread[rep.az] > 0 && azSpread[rep.az] > sizeOfLeastOccupiedAZ(azSpread) {
// We want to ensure even AZ spread before we add more replicas within the same AZ
continue
}
对应的配置结构在 pkg/receive/config.go#L66-L70 中定义,每个端点可以携带 az 字段:
type Endpoint struct {
Address string `json:"address"`
CapNProtoAddress string `json:"capnproto_address"`
AZ string `json:"az"`
}
AZ-aware hashring 配置示例(JSON,由 --receive.hashrings-file 加载),以 6 节点、3 个可用区为例:
[
{
"endpoints": [
{ "address": "127.0.0.1:10907", "az": "A" },
{ "address": "127.0.0.1:11907", "az": "B" },
{ "address": "127.0.0.1:12907", "az": "C" },
{ "address": "127.0.0.1:13907", "az": "A" },
{ "address": "127.0.0.1:14907", "az": "B" },
{ "address": "127.0.0.1:15907", "az": "C" }
]
}
]
根据 docs/components/receive.md 的说明,AZ 感知仅对 Ketama 算法生效,自 v0.32 起可用;endpoints 既可以是 IP 字符串数组,也可以是带 az 的对象数组。
迁移路上的工程挑战与上游修复
Aiven 的迁移并不是一帆风顺的,其中几个问题直接催生了 Thanos 上游的修复,也印证了"大规模场景暴露边界问题"这一规律。
未来时间戳导致的写入崩溃
因为 Aiven 横跨多朵云,网络与调度延迟导致部分指标时间戳落在"未来"。当带未来时间戳的样本写入时,ingester(接收端)会崩溃。这个问题恰好由社区在 upstream 修复(对应 PR #6195)。从源码可以看到写入侧对样本时间合法性有系统性的校验逻辑——pkg/receive/handler.go#L1498-L1505 将 storage.ErrOutOfOrderSample、storage.ErrOutOfBounds、storage.ErrTooOldSample 等统一归类为样本冲突错误处理,接收端在写入前会检查样本时间是否超出 TSDB 允许的范围。
head 压缩的 off-by-one 缺陷
Aiven 构建了大量测试自动化:写入一条样本 → 对集群做变更 → 验证样本是否被持久化。由于 head 压缩(head compaction)中的一处 off-by-one 问题,该验证在最初阶段失败。这个问题在正常运维中基本无感,但在自动化测试中立刻暴露,随后由上游 PR #6183 修复。
哈希环构建死锁与 systemd 超时
Aiven 对哈希环的管理非常谨慎,目标是保证集群故障切换期间不丢失任何写入。但在初期开发阶段,启动瞬间哈希环中的端点数量偶尔会少于副本要求(replication factor),导致哈希环构建期间 Thanos 锁死。上游 PR #6168 修复了这个死锁,Aiven 同时修正了自身的管理逻辑,避免生成这类不合理的哈希环配置。从源码看,newKetamaHashring 在端点数量小于副本因子时会直接返回错误 "ketama: amount of endpoints needs to be larger than replication factor"(pkg/receive/hashring.go#L152-L155),insufficientNodesError 也在 pkg/receive/hashring.go#L45-L55 中被定义用于 GetN 副本不足的报错场景。
此外,Aiven 的服务以 systemd unit 方式运行,默认停止超时是 90 秒。对多数数据库来说 90 秒足够,但对需要压缩并上传相当大的 TSDB head 的 Thanos ingesting receiver 来说却不够——在生产流量试运行中 Aiven 发现了这一点,并相应调大了超时上限。
复制环与社区协作
迁移过程中还遇到过复制环(replication loop)导致崩溃的问题。社区(CNCF Slack)给予了关键帮助,最终 Aiven 采纳社区建议,改为路由-摄取分离的接收端拓扑来解决。这也体现了 Thanos 社区对生产用户的支撑价值。
规模化验证:从单机 POC 到全量流量
Aiven 的第一阶段是搭建单台独立 Thanos 系统,处理一小部分指标流量。他们用 Starlark 脚本实现采样,自动配置了一部分服务器群参与验证,验证维度包括写入持久化、集群变更后的数据一致性等。
解决上述问题后,Aiven 开始构建横向扩展(scale out)实现,接入更多组件并水平扩容,以观察在高指标流量下的表现。这个"小流量验证 → 修复边界问题 → 全量扩缩容"的路径,是超大规模指标平台迁移的经典节奏。
成本对比:对象存储带来的数量级差距
POC 结束后,Aiven 确认方案可行,且成本节省非常显著。以下是文档中提供的两份成本明细(按月计算):
M3DB 成本明细
| 服务 | 实例类型 | 单价 | 数量 | 月总价 |
|---|---|---|---|---|
| m3db | n2d-highmem-32 | $1,172.61 | 18 | $21,106.98 |
| m3coordinator | n2d-standard-48 | $1,303.73 | 9 | $11,733.57 |
| M3 合计 | $32,840.55 |
Thanos 成本明细
| 服务 | 实例类型 | 单价 | 数量 | 月总价 |
|---|---|---|---|---|
| thanosreceiver | n2d-highcpu-96 | $1,924 | 6 | $11,544 |
| thanosquery | n2d-highcpu-16 | $321.57 | 6 | $1,929 |
| thanosstore | n2d-highmem-8 | $293.90 | 3 | $881.7 |
| thanoscompactor | n2d-highmem-8 | $293.90 | 1 | $293.90 |
| redis | n2d-highmem-4 | $147.45 | 2 | $294.9 |
| THANOS 合计 | $14,942.68 |
计算资源从约 $32,840 降至约 $14,942,降幅约 55%。存储侧的差距更为惊人:
- M3DB 当前配置了 54TB 存储,月成本 $4,320;同样的钱在 Thanos 的对象存储方案下可以放 216TB。
- Aiven 每天产生约 750GB 新指标,这意味着用 M3DB 的成本就能在 Thanos 中保留接近一年的指标。
- M3DB 备份占用 33TB 对象存储,月成本 $1,320;对象存储方案还需额外考虑网络费用,约每月 $1,800。
综合估算的月度总成本:
- M3(30 天保留期):$38,480
- Thanos(对象存储中无历史数据):$16,939
- Thanos(对象存储保留 1 个月):$17,368
- Thanos(保留 6 个月):$19,703
- Thanos(保留 1 年):$22,447
- Thanos(保留 2 年):$27,955
- Thanos(保留 3 年):$33,423
也就是说,M3DB 只保留 30 天的总成本,Thanos 可以做到保留 3 年仍更便宜。这正是 Thanos 架构的核心价值:热数据在接收端本地 TSDB,历史数据下沉到廉价对象存储,存储成本随数据增长几乎线性可控。这也是文档中"无限制保留指标,根本没有删除的必要"这一结论的由来。
此外,上游还有持续的降本优化空间。例如 Aiven 工程师 Alexander Rickardsson 在 Thanos upstream 实现的 AZ 感知复制,使 Aiven 在 Google Cloud Platform 上的副本因子从 3 降到 2(对应 PR #6369),进一步压缩计算成本。其背后的实现正是前面分析的 AZ-aware ketama hashring——副本被均衡地分布在不同可用区,因此跨 AZ 冗余只需 2 个副本即可达到 3 副本的容错效果。
性能对比:vmalert 实测 Thanos vs M3DB
在持续监控和告警场景中,Thanos 的查询性能也普遍更好。Aiven 的告警流水线使用 vmalert 驱动(因为 M3DB 没有 Alertmanager 集成),vmalert 的运行方式与 Prometheus / Thanos Ruler 类似,按固定间隔主动执行查询。
迁移过程中 Aiven 发现 vmalert 的一个问题:同一组(group)评估周期内,规则有时会被执行两次。默认情况下这会重新对齐结果时间戳到组评估开始时间,导致产生"相同时间戳、不同值"的样本,从而引发写入被拒绝(failed and rejected writes)。解决方法是禁用 vmalert 的查询时间对齐选项 datasource.queryTimeAlignment。
为了公平对比,Aiven 复用现有 vmalert 的 recording rule 和 alert rule,起了一个指向新 Thanos 集群的新 vmalert 实例(其余配置完全相同),直接对比两种后端的查询性能:
基于相同 vmalert 规则集、相同配置的对比测试:纵轴为各类查询场景,横向对比 M3 与 Thanos 的响应时间及耗时比值
结果显示,大多数不使用正则选择器(regex selectors)的查询在 Thanos 上明显更快。文档中呈现的典型数据点包括:
user_alerts_15m:M3 耗时约 8.79s,Thanos 约 354ms,快了一个数量级以上;mysql_60s:M3 约 4.82s,Thanos 约 577ms;- 少数轻量级或特定场景(如
config_staleness_1h)Thanos 反而更慢,说明性能优势与查询形态强相关,正则匹配类查询的差异尤其值得关注。
这些实测对比呼应了 Thanos 查询引擎的持续优化工作——作者之一 Michael Hoffmann 正在 promql-engine 上推进查询引擎层面的优化,并计划贡献回上游。
总结:Aiven 迁移的启示与后续计划
回顾 Aiven 的这次迁移,可以提炼出几条对大规模 Prometheus 生态用户有直接参考价值的经验:
- 选型要看生态与许可证:单一公司控制、许可证存在变数的项目即使技术优秀也有长期风险;基金会托管(如 CNCF)的项目在社区多样性和可持续性上更有保障。
- 架构上优先横向扩展 + 对象存储:M3DB 的痛点(无法下沉冷数据、内存敏感、高规模下运维贵)在 Thanos 的"接收端写本地 + Compactor 压缩 + Store 读对象存储"模型中不复存在。
- 大规模迁移必须重视边界问题:未来时间戳、head 压缩 off-by-one、哈希环构建死锁、systemd 超时不足、复制环……这些都在生产流量试运行中暴露,并大多获得了上游社区的及时修复。
- AZ 感知复制是重要的成本杠杆:配合 ketama 哈希环,可在不损失容错的前提下把副本因子从 3 降到 2,直接削减约 1/3 的接收端计算成本。
Aiven 的下一步计划是成为首家提供 托管 Thanos 服务的厂商,继续向 Thanos 上游贡献(尤其是查询引擎优化),并计划让 OSPO 的专职成员长期投入 Thanos 社区。这套架构最终要支撑的是"横跨 11 朵云、160+ 区域"的、真正开源且成本可控的 Prometheus 服务。
对于正在评估或已经运行 Thanos 的团队,建议继续阅读仓库中的组件文档了解部署细节:receive 组件文档(哈希环与路由配置)、query 组件文档(查询与去重)、store 组件文档(对象存储读取)、compact 组件文档(压缩与保留策略),以及 docs/storage.md 了解对象存储后端选型。若需要复现哈希环行为,pkg/receive/hashring_test.go 中的测试用例(含 AZ 感知场景)是很好的参考起点。

