Milvus 的 75 个持久性数据点:向量数据库聚类故障模式全解,以及 XERJ 的内嵌 Raft 对照设计

原创2026-10-17 10:46:241,402 阅读
文章标签:搜索引擎全文检索向量数据库数据库后端MCP 服务Agent 记忆人工智能日志分析dsh-plugin

Milvus 的 75 个持久性数据点:向量数据库聚类故障模式全解,以及 XERJ 的内嵌 Raft 对照设计

本文基于 XERJ 仓库中收集的一组竞品研究档案——Milvus Issues 数据点清单——系统拆解 Milvus 在 2024–2026 年间被报告的 75 个聚类与持久性故障:从 etcd 断连、OOM 崩溃到 S3 数据丢失、升级卡死与高危 CVE,逐类给出原始数据、严重度与时间线。读完本文,你可以掌握向量数据库分布式架构的故障面分析方法,并对照 XERJ 仓库源码看到“内嵌 Raft + 节点本地存储”这条路线如何规避同类问题。

研究背景与数据边界

这份数据点档案出自 XERJ 的「聚类与持久性预期(2025–2026)」研究系列,该系列于 2026 年 4 月完成收集,完整目录说明见 研究系列 README。05-vector-db-milvus 子目录专注于 Milvus,共整理出 75 个数据点,来源为 Milvus 的 GitHub Issues、Discussions、CVE 公告、官方博客与第三方对比分析,时间跨度覆盖 2024 年初至 2026 年。

按清单中的 Severity 列统计:13 个 Critical、51 个 High、11 个 Medium。这一分布本身就是一个信号——绝大多数问题集中在“进程保活”与“数据不丢”这两件数据库最基础的事情上。下文按主题将这 75 个数据点归为七类,并逐类引用原始条目编号(如 #36648 指代数据点清单中的来源 issue 编号)。

与 Milvus 同批研究的还有 Qdrant(WAL 损坏、shard 传输竞态)、Weaviate(扩缩容限制)与 Pinecone(锁定效应),横向对照见 向量数据库聚类问题汇总。

第一类:etcd 依赖 —— 最大的不稳定来源

数据点中编号 #1–#10 与 #62 几乎全部围绕同一件事:Milvus 与 etcd 之间的连接保活失败。代表性条目包括:

  • #36648(2024-10,Critical):重启 milvus、etcd、minio 之后所有 collection 消失,MinIO bucket 为空——用户“只是关机又开机”;
  • #31175 / #32593 / #34416 / #34666(2024 年 3–7 月):standalone 容器因 etcd 连接超时而自行退出、QueryNode 在 etcd 健康时仍报 “Query Node disconnected from etcd, process will exit”、独立部署的 etcd 上反复出现 etcdserver: requested lease not found;
  • #33967(2024-06):OpenShift/Kubernetes 环境下 standalone 无法连接 etcd,启动失败;
  • #39417(2025-01):所有容器健康,WebUI 却报告 etcd Unhealthy;
  • #31590(2024-03):docker-compose standalone 从一开始就连不上 etcd。

其中 Discussion #35535(2024-08)值得单独注意:用户报告“因 etcd 写操作过慢,Milvus 与 etcd 之间的 keepalive 状态无法维持,最终断连并退出进程”,官方将其定性为 “as-designed”(设计如此)。也就是说,在慢 etcd 场景下,整个搜索服务因一次元数据操作变慢而整体退出,是架构的既定行为而非 bug。

这一类问题的根源在于 竞品架构分析 中对 Milvus 的解构:它采用 disaggregated(存算分离、按职责拆分节点)架构,元数据完全外置于 etcd,任何 etcd 抖动都会放大为全局不可用:

                etcd (metadata)
                     │
     ┌───────────────┼───────────────┐
     │               │               │
  Proxy nodes    Query nodes     Data nodes
  (routing)      (search)        (ingest)
     │               │               │
     └───────────────┼───────────────┘
                     │
                MinIO / S3
                (segments)

配合 聚类问题汇总 的总结:etcd(元数据)+ MinIO/S3(对象存储)+ Pulsar/Kafka(日志流)——存下第一个向量之前,要先拉起 4 套外部系统。

第二类:进程稳定性 —— 崩溃与 OOM

#11–#24、#44、#45 记录了大量“低负载下进程自己挂掉”的案例:

  • #45435(2025-11,High):50 个线程并发写入 10 万条实体时容器崩溃,只有 5 核以下才稳定——写入并发能力与部署规模成反比;
  • #44071(2025-08,High):v2.6.0 standalone 一旦执行 /search 或 /query API 就失联;
  • #38171(2024-12,High):v2.4.14/2.4.15 每天多次重启,怀疑 shard 客户端初始化存在死锁;
  • #44403(2025-09,High):Docker 部署每 1–2 天崩溃一次,报错 Corruption: Compaction sees out-of-order keys——压缩过程本身遭遇数据损坏;
  • #43477(2025-07,High):nightly 测试中分布式 DataNode 无故重启导致用例失败。

OOM(内存溢出)是这个子类的主体,且模式高度一致——内存预估机制本身不可靠:

  • #32621(2024-04,High):10.5GB/12.3GB 处 OOM,报错 “Even though load failed: load segment failed, OOM if load”——加载失败的预判与实际被 OOM killer 杀掉之间缺乏一致性;
  • #40342(2025-03,High):v2.5.4 在 compaction 后错误计算 array 字段内存大小,加载时 OOM;
  • #39866(2025-02,High):4c16g 查询节点在低水位 0.75、高水位 0.85 的内存保护配置下仍然 OOM——保护阈值形同虚设;
  • #40171(2025-02,Critical):被标记为 critical-urgent——内存使用率看起来很低时仍被 OOM killer 杀掉,说明进程实际内存占用与监控呈现严重脱节;
  • Discussion #34639(2024,Critical):“Collection 加载与索引期间内存无界增长”,直到 OOM killer 出手。

#38213、#44918、#44417 进一步表明,hybrid_search 与并发 DQL 是 OOM 的高发路径——即使机器规格充足(#36282 在 8c32g 实例上跑 MSMARCO 的 BEIR 测试也 OOM)。

第三类:数据持久性 —— 对象存储里的数据会消失

这是 75 个点中最沉重的一类(多个 Critical),且都指向同一个结构性风险:元数据(etcd)与数据(S3/MinIO)分属两个系统,删除与恢复路径缺乏跨系统协调:

  • #30254(2024,Critical):“Segment 因 GC 流程丢失”——etcd 元数据里仍有 segment 记录,但 S3 中的对象已被 GC 删掉,GC 删对象时不与元数据协调;
  • #21731(2024,Critical):数据在没有设置 TTL 的情况下从对象存储中消失;
  • Discussion #36112(2024,High):社区被迫集体排查“S3 数据丢失可能有哪些成因”——单一产品出现多向量丢失路径需要社区代偿,本身就是危险信号;
  • #38284(2024-12,High):插入 12 条数据后未执行 flush,重启 querynode 与 datanode 后数据查不到——写入成功 ≠ 可恢复的边界条件没有向用户暴露;
  • #18415(2024,Critical):并发写入直接丢数据。

第四类:升级路径与 Compaction 卡死

#31–#39 描述了一个反复出现的场景:升级或重启后,collection 加载进度停在某个百分比再不动:

  • #38412(2024-12,High):v2.4.5 → v2.4.6 升级后所有 collection 停在 0%,降级才能恢复;
  • #38741(2024-12,Critical):滚动升级测试中索引失败率约 96%,恢复时间超过 364 秒而预期是 10 秒;
  • #39968(2025-02,High):v2.4.20 → 2.5 升级后大量 collection 加载失败,伴随 compaction 超时;
  • #43455 / #43295(2025-07,High):迁移到 2.6.0 后部分 collection 卡在 50%;未显式 flush 的数据让 collection 永远停在 “50% is loaded”;
  • #38288(2024-12,High):断电或粗暴重启后 collection 停在 0%;
  • #39680(2025-02,High):加载卡死,对象存储持续返回 404,报错 “failed to get segment info from DataCoord”。

Compaction(段压缩)子系统自身也不稳定:#41020(2025,High)约 50 个压缩任务 pending、只有 1–2 个在执行、连续 3 天无进展;#38851(2024-12,High)开启 partition key 的 collection 上多个 major 任务并发时,写锁被持有后不释放,造成死锁。另外 #26683(2024,High)记录了 v2.2.14 → v2.3.0 的滚动升级在基准测试中中断约 1 分钟——“零停机滚动升级”在实际中并不成立。

升级元数据还有一个硬性约束(#68):跨大版本迁移时,etcd 中存在任何存活 session 都会导致 meta migration 失败,意味着升级路径要求完整停机。

第五类:扩缩容、负载均衡与消息队列依赖

  • #27913(2024,High):并发操作期间对 queryNode 扩容,搜索报 “no available shard delegator found: service unavailable”——扩容动作本身会造成查询失败窗口;
  • #33706(2024-06,Medium):数据在多个 queryNode 间分布不均,负载无法自动均衡;
  • #38426(2024-12,High):Pulsar pod 故障恢复后,bookie 无法自动恢复;
  • #27197(2024,High):Kafka pod 故障混沌测试后大量用例挂起,故障从单点扩散为全系统 hang。

这类问题的官方回应本身很有价值:Milvus 在 v2.6 中用自研 Woodpecker 替换了 Kafka/Pulsar(数据点 #56、#57),官方博客给出的理由是消息队列“不再满足其扩展性要求”,并且“需求专用多节点机器与精细资源管理”“让日志垃圾回收等关键特性难以实现”。换言之,官方在承认了数年的依赖型运维之痛后,才选择把外部消息队列收编为内部组件——这正是外部依赖故障面(etcd 断连一类问题)的长期代价。

第六类:安全漏洞与备份缺口

安全侧的数据点密度在向量数据库中罕见:

  • #41291(2025-03,Critical):某 Big 4 审计发现官方 Docker 镜像存在 5 高危、4 中危、1 低危 CVE(CVE-2025-29786、CVE-2025-30204、CVE-2025-22869、CVE-2025-22868),直接阻塞企业生产部署;
  • CVE-2025-64513(CVSS 9.3):未认证攻击者可通过伪造 base64 编码的 @@milvus-member@@ sourceId HTTP 头获得完整管理员权限,影响 2.4.0–2.4.23、2.5.0–2.5.20、2.6.0–2.6.4 三个大版本线;
  • CVE-2026-26190(CVSS 9.8):metrics 端口 9091 的认证绕过,允许未认证访问 REST API 与敏感系统操作;
  • #46442(2025,Critical):“不安全的远程表达式执行”,即任意表达式执行漏洞。

备份体系存在结构性缺口:#41208(2025,Medium)确认 milvus-backup 不直接备份 etcd 元数据,用户必须另行使用 etcdctl,运维复杂度叠加;#64(2025,Critical)指出 ≤2.6.10 版本的 milvus-backup FlushAll 可能引发元数据损坏,必须通过 hotfix 钉住最低版本。备份工具自身携带数据损坏风险,这类问题在单系统数据库中极难出现。

第七类:运维复杂度与架构债务

剩余数据点指向“这套系统需要什么样的人来养”:

  • #34286(2024):官方口径是 Standalone “不推荐用于生产”、Milvus Lite “不推荐用于任何生产环境”,只有 Helm 安装的集群版可用——三种部署形态、只有一种能上生产,形成困惑的部署图景;用户在同一 discussion 里直接问“能否用更简单的 Milvus Lite 上生产”;
  • #58:官方 2024 年度用户复盘承认“索引调优、内存管理、集群稳定性、扩缩容与可观测性都是耗时且需要专业性的工程任务”;
  • #59–#61:大规模搜索下延迟落后于对比对象(约 50ms 对 10–30ms)、HNSW 结果非确定性(M 参数调整无效果)、55M 向量上 top-1 命中率仅约 70%(对比 OpenSearch 同参数配置)——性能调优曲线陡峭且部分参数不生效;
  • #71(2025):官方 roadmap 承认旧的 RootCoord/QueryCoord/DataCoord 分离架构“引入了模块间通信的复杂性”,需要整体重构为 MixCoord;
  • #70(2025):第三方对比的结论是“Milvus 是工业级 OSS,十亿向量有长记录,但前提是你有数据工程肌肉”;
  • #63、#69、#73、#74、#75:MinIO 磁盘指数增长、重启后 Docker 镜像消失导致无法拉起、binlog GC 解析错误、500M 向量 HNSW 调优成为长期社区话题、Kafka 部署中 pod 反复重启报 Kerberos 错误。

75 个数据点背后的共同模式

把 75 个点摊开看,可以归纳出一条清晰的故障传播链:

  1. 外部依赖数 × 单点故障概率:etcd、MinIO/S3、Pulsar/Kafka 任一抖动,经 keepalive/租约机制放大为进程退出(第一类);
  2. 元数据与数据双系统、删除不协调:GC 只删对象不删记录,或对象凭空消失(第三类);
  3. 内存预估不可靠:加载、compaction、hybrid_search 各条路径都有独立的 OOM 触发器(第二类);
  4. 状态迁移缺乏幂等保证:升级、重启、扩容、断电后停在 0%/50% 或索引失败率 96%(第四类);
  5. 备份与修复工具覆盖不全:元数据备份需另做、备份工具自身可损坏元数据(第六类)。

这些不是孤立的 bug,而是“4 套外部系统 + 按职责拆分的节点类型”这一架构选择的系统性代价。用户侧的期望恰好反方向——用户期望研究 总结 2025–2026 年用户要的是:计算存储分离(S3 存数据、临时计算跑查询)、自动分片再平衡、零停机一切、以及“单二进制直接工作”的运维简洁性。

对照设计:XERJ 如何用内嵌 Raft 规避上述故障面

XERJ 仓库把上述研究转化为设计约束:不做外部依赖型解耦架构,而是把共识做进二进制。其官方文档(Clustering 文档)开篇即声明:内嵌 Raft 实现,不依赖 etcd、ZooKeeper 或 Consul;单二进制仍是单二进制,集群模式只是配置开关。对应到第一类故障(etcd 断连、租约丢失、keepalive 退出),XERJ 从结构上不存在“元数据外部系统抖动放大为进程退出”的传播链——Raft 环、心跳、认证传输全部在同一个进程内闭环。

源码层面的证据集中在 xerj-cluster crate:

  • 随机化选举超时:raft.rs 中 random_election_timeout() 在 150–300 ms 区间内随机取值(rng.gen_range(150..=300)),用于打破选票分裂;心跳间隔为 50 ms(raft.rs)。在 3 节点回环环上的实测:kill 掉 leader 后约 250 ms 选出新 leader,随后选举长期稳定;
  • 死对端隔离退避:transport.rs 的 backoff_after_failures() 实现 100 ms → 200 ms → 400 ms → … 封顶 6.4 s 的重试阶梯,挂死的对端只产生一条 WARN,永不阻塞发给存活对端的消息——这是对“一个坏节点拖垮整个环”这一 Milvus 反复出现的模式(#42 负载均衡不均、#44 节点无故重启)的针对性处理;
  • 无未认证模式:auth.rs 中每个控制帧都携带基于每连接 challenge 的 HMAC-SHA256 标签,节点缺少 cluster secret 时拒绝启动——对照第六类 CVE(sourceId 头伪造、metrics 端口绕过),把“网络层默认安全”做成了启动前置条件;
  • 持久化 Raft 日志:每个节点将 term、投票与已提交条目落盘并在重启时重放,对应测试 persistent_raft_test.rs、transport_auth_tests.rs。

集群模式的配置形态(摘自 Clustering 文档):

# /etc/xerj/node-a.toml  (run on 10.0.0.11)
[server]
data_dir     = "/var/lib/xerj"
bind_address = "10.0.0.11"

[tls]                                     # required off loopback
enabled   = true
cert_path = "/etc/xerj/certs/node-a.crt"
key_path  = "/etc/xerj/certs/node-a.key"
allow_insecure_grpc_h2c = true

[cluster]
enabled     = true
port        = 9300                        # intra-cluster Raft + search port
auth_secret = "<the same secret, 16+ chars, on every node>"   # or XERJ_CLUSTER_AUTH_SECRET
peers       = [
  "10.0.0.11:9300=10.0.0.11:9300",        # this node
  "10.0.0.12:9300=10.0.0.12:9300",
  "10.0.0.13:9300=10.0.0.13:9300",
]
tick_ms = 50

启动三个节点后,环在一秒内选出 leader,可通过日志验证:

INFO xerj_cluster::transport: TCP transport listening (authenticated) node=10.0.0.11:9300
INFO xerj_cluster::raft: Starting election node=10.0.0.12:9300 term=1
INFO xerj_cluster::raft: Became leader node=10.0.0.12:9300 term=1

需要强调的是 XERJ 对自身边界的表述与 Milvus 案例形成的对照——文档用一整节说明当前集群模式还不给你什么:无元数据复制(A 节点建的 index 在 B 节点不存在,公开跟踪为 xerj-org/xerj#1170)、无文档复制(跨节点 GET 返回 404 index_not_found,已在 3 节点环上实测)、无 shard 路由、无节点生命周期 API。文档的结论很直接:“把集群节点的持久性当作单节点来对待”,需要第二份存活数据时用 WAL tap(近实时单向复制,不触碰写路径)而非等待多副本。这种“明确列出未交付能力”的做法,恰好避免了 Milvus 数据点 #34286 中“三种部署形态、只有一种能上生产、且文档与行为不完全一致”的困惑。

两套架构的选择差异可以用 竞品架构分析 中的对比表概括:

维度 Milvus XERJ(当前形态)
外部依赖 etcd、Pulsar/Kafka、MinIO/S3 无(共识内嵌于二进制)
共识 外部 etcd 内嵌 Raft(选举 + 持久日志)
数据复制 S3 段 + 应用层协调 节点本地 + WAL tap(多副本为 roadmap #1170)
加节点 容量规划 + 数据迁移 当前无 shard 迁移;环成员变更依赖 Raft 日志重放
故障隔离 依赖抖动可放大为全局退出 死对端 100 ms→6.4 s 退避,不阻塞存活对端

从源码结构看,XERJ 的取舍是:把“组件数量”降到最少(1 个二进制 + 0 个外部系统),从而让 75 个 Milvus 数据点中的第一、五、六类故障面(外部依赖断连、消息队列扩散、端口/头伪造攻击面)在结构上消失;代价是数据复制尚在 roadmap,当前多节点部署的持久性等价于单节点——这一点官方文档与 troubleshooting 文档 均明确声明,而非留给用户踩坑发现。

结论:从 75 个数据点看向量数据库选型

这份 Milvus 数据点清单 的价值不在于罗列 bug,而在于呈现了分布式向量数据库故障面的可预测结构:外部依赖数量决定了故障入口数量,元数据与数据的协调方式决定了数据丢失向量,内存预估的可靠性决定了进程存活下限,工具链的完整度决定了恢复路径的确定性。13 个 Critical 中,数据丢失、GC 与元数据脱节、认证绕过各占其位,而 51 个 High 中过半与“进程自行退出/重启”有关——这些共同指向同一结论:选向量数据库时,比十亿向量基准更重要的是问清楚“etcd 抖动时会发生什么”“compaction 卡死时如何恢复”“备份工具是否覆盖元数据”。

对 XERJ 而言,这组竞品数据正是其架构约束的来源:内嵌 Raft 解决共识的外部化,HMAC 强制认证解决传输面攻击,而“集群能力尚未交付的部分如实标注”则回应了研究系列反复出现的用户期望——透明、可验证、不靠文档与行为的错位来掩盖未完成的复制能力。

登录后查看全文
xerj