XERJ rc4 用户反馈交付记分卡解读:98 个 Elasticsearch 痛点逐项核验与 rc5 路线图
XERJ rc4 用户反馈交付记分卡解读:98 个 Elasticsearch 痛点逐项核验与 rc5 路线图
导读:本文基于 XERJ 仓库中的内部战略文档
demo/playbooks/USER_FEEDBACK_SCORECARD_RC4.md,完整解读 XERJ 如何用一个"痛点语料库 + 源码/线上二进制逐项打分"的方法,对 rc4 版本是否真正回应了 Elasticsearch 用户的 98 个痛点做出诚实自评(48 交付 / 32 部分交付 / 14 缺口 / 4 不适用),并梳理其沉淀出的七波 rc5 路线图。读完你将掌握这套"能力自评→差距清单→排优先级"的方法论,以及 XERJ 当前真正经得起代码验证的强项、尚不能与 ES 正面竞争的领域,和每一项缺口对应的仓库源码证据位置。
一、记分卡的来龙去脉:语料、方法与判定口径
这份文档的独特之处在于:它不是营销文案,而是一次"能力自评"——文档开头即声明"the gaps are the point, do not soften them",并要求不得把竞争对手/G2/HN/Jepsen 的原文照搬进对外材料。
1.1 评分语料
评分的对象是 user-feedback/ 目录下整理的真实 Elasticsearch 用户反馈语料(详见 user-feedback/README.md):41 个痛点文件、横跨 15 个分类、98 条被评分的痛点。语料来源包括 G2、Gartner Peer Insights、TrustRadius、PeerSpot、Capterra、GitHub Issues、Hacker News、Reddit、Elastic 论坛、工程博客、Jepsen 形式化测试、CVE 数据库与竞品基准等。
配套文档 KIBANA_FEEDBACK_SCORECARD_RC4.md 用同一方法对 Kibana 用户反馈语料(107 条痛点,语料见 user-feedback/kibana/README.md,含 15,282 条原始制品、5 个来源)打分,其得分最高的候选进入 Wave 7。
1.2 判定口径
每个痛点只允许四种结论,且依据必须是当前 rc4 代码(file:line)和线上二进制(只读探测),而非宣传文案:
| 判定 | 含义 |
|---|---|
| DELIVERED | 今天就有正面证据证明它有效 |
| PARTIAL | 有效,但带有明确的限制 |
| GAP | 今天无法回应这个痛点(rc5 候选) |
| NA | 不适用于单二进制/嵌入式引擎 |
这个口径保证了结论可复核:任何一个 DELIVERED 都能追到源码或实测,任何一个 GAP 都能在路线图上找到对应项。
二、总体交付盘点:48 交付 / 32 部分 / 14 缺口 / 4 不适用
在 98 个痛点中,94 个适用(非 NA)痛点的分布是:51% 完全交付、34% 部分交付、15% 仍是开放缺口。
2.1 分簇汇总表
| # | 类别聚类 | 痛点数 | Delivered | Partial | Gap | NA |
|---|---|---|---|---|---|---|
| 01/10/13 | ops-simplicity(运维复杂度、文档/UX、厂商/支持) | 11 | 7 | 4 | 0 | 0 |
| 02/03 | resource-cost(JVM/内存、成本/定价) | 16 | 8 | 7 | 1 | 0 |
| 04/05/09 | scaling-durability(集群、高可用、数据丢失) | 12 | 4 | 5 | 3 | 0 |
| 06/08 | upgrades-migration-datamodel(升级/迁移/数据模型) | 17 | 5 | 5 | 3 | 4 |
| 07 | query-performance(查询性能) | 10 | 7 | 2 | 1 | 0 |
| 15 | security-trust(安全/信任) | 13 | 8 | 3 | 2 | 0 |
| 11/12/14 | ai-logs-ecosystem(向量/AI、日志分析、替代方案) | 19 | 9 | 6 | 4 | 0 |
| 合计 | 98 | 48 | 32 | 14 | 4 |
2.2 一句话总结
按交付占比排序:security-trust、query-performance、ops-simplicity 是最强类别;scaling-durability 最弱(单节点天花板),而 ai-logs-ecosystem 背负了最多"脚手架已搭但未接线"(unwired-scaffolding)的缺口。
文档给出的总体判断是:XERJ 在结构上"抹除"了 ES 的 JVM/GC、分片管理、集群协调、许可证/付费墙、CVE 供应链这几类痛点——这些都是经代码证明、线上验证过的胜场;而它最弱的地方恰好与既有认知一致:并发负载下(读写混合的 p99)、多节点规模(仅单节点,集群模式实验性/不安全)、断电持久性(默认批式 WAL 低于 ES)、稳态内存(RSS 失控工单仍开放)、以及开箱即用的语义质量(默认词法 embedder)。若干日志分析与混合检索的"招牌承诺"在发布的二进制里是"已搭好但未接线"的状态。
三、逐类核验:七个聚类是怎么打分的
3.1 ops-simplicity —— XERJ 最强类别(7 DELIVERED / 4 PARTIAL / 0 GAP)
单二进制 + ES 线上协议兼容 + 内置 Prometheus/健康检查 + 原生 OTLP/syslog 摄入,真正消除了"需要专职专家"、"自建监控集群"、"ELK 组件蔓延"与"学习曲线"这四类痛点,全部在线上二进制上确认过。
四个 PARTIAL 分别是:两个已知的稳定性工单(RSS 失控堆内存;读写混合 p99——负载下 ES 仍胜),以及两条被夸大表述的文档声明(OpenAPI 是手工维护的静态文件而非代码生成/实时提供;"约 30MB"的 Docker 镜像实际超过 100MB)。
3.2 resource-cost(8 DELIVERED / 7 PARTIAL / 1 GAP)
JVM/GC/堆上限这一类痛点与许可/功能分层的成本驱动因素被"消灭"——这是代码证明的胜场:空闲 RSS 约 54.5MB,对比用户投诉的"空装 33GB / 基线 4.5GB"。GDPR 被遗忘权(right-to-be-forgotten)是 ES 做不到的真胜场:同步 forcemerge 从段中物理清除墓碑文档,有单元测试与线上验证。
但头条承诺"<500MB / 100 万文档"被判定为过度承诺(20 万文档实测稳态 596MB);RSS 失控工单是唯一的硬 GAP;"开箱即安全默认 / 2–5 倍压缩 / 30MB 镜像"等数字相对实测都偏乐观(TLS 默认关闭;压缩约 1.6 倍;镜像约 75MB)。
3.3 scaling-durability(4 DELIVERED / 5 PARTIAL / 3 GAP)
单节点叙事真实且经线上验证:分片、脑裂、JVM/GC、外部依赖被设计上消除(常绿、每索引 1 分片、0 未分配、约 1 秒启动、内置从零实现的 Raft——无 etcd/Pulsar/MinIO)。
但每一个多节点/高可用/超大规模/S3 原生/每租户承诺要么未发布、要么"实验且不安全"(集群端口上是明文未认证的 Raft;number_of_replicas 只是摆设),默认持久性低于 ES(100ms 断电窗口;wal_sync=sync 需主动开启)。XERJ 赢运维简单性的方式正是"根本不参与高可用/横向扩展竞争"——对超大规模与集群类痛点,这是缺口而非胜场。
3.4 upgrades-migration-datamodel(5 DELIVERED / 5 PARTIAL / 3 GAP / 4 NA)
版本升级安全性故事扎实且有测试支撑:数据目录格式标记会在任何破坏性 GC 之前拒绝"比当前支持更新"或损坏的目录(4 个通过的测试、线上标记文件)——可以论证比 ES"坏升级时的静默损坏"更安全。单节点在结构上抹除了分片分配舞蹈、集群状态映射广播、ILM 别名/滚动/收缩复杂度。真正的 AI 原生数据建模已发布:一等公民的 chunk 类型(带父文档传播)、线上 /_memory 存储/去重/召回。
但两条头条承诺在 rc4 未接线:ES 摄入路径上 dynamic-mapping strict/字段上限"接受但忽略"(映射爆炸未得到阻止);TTL retention_days 有策略类型和配置旋钮但零运行时执行。字段类型不可变与 ES 相同,没有承诺的"索引版本化"逃生门。
3.5 query-performance(7 DELIVERED / 2 PARTIAL / 1 GAP)
XERJ 在 ES 用户抱怨的"稳态查询"故事上赢了:前导通配符/正则/前缀(3.8–4.9×)、聚合(7–30×)、"无限脚本耗尽"在结构上变得不可能(Painless 子集没有循环语句)、引擎级超时真正能抢先中断词典遍历、对经典"节点杀手"(超大 size、深窗口、bucket OOM)做了 fail-safe 拒绝——返回有界的 400/429,绝不崩溃。
唯一真正的 GAP 是合并风暴投诉的镜像面:读写混合 p99(4 个 LOSE 单元格,等负载下 ES 快 2–4×)——XERJ 用 ES 的 refresh 延迟换来了写锁竞争。两个需要修正的 PARTIAL 过度声明:"无深分页悬崖"(10k 上限与 ES 完全一致,只提供 search_after);"基于成本的规划器"(实际是基于规则/结构,非统计驱动)。
3.6 security-trust(8 DELIVERED / 3 PARTIAL / 2 GAP)
强类别。Apache-2.0(正是 ES 抛弃的那个宽松许可证)是代码可证的信任胜场;无 JVM 消灭了整个 Log4Shell/Groovy/Java 反序列化 CVE 类别;"按配置即安全"经线上验证(无密钥 → 401、常量时间密钥比较、0600 密钥文件、限制性 CORS、健康检查豁免)。资源 governor 回应了 ES 的"构造查询 OOM"CVE。
仅有的两个直接 GAP 是两个未发布的流程承诺——CI 没有 cargo-audit/cargo-deny 公告门禁,不可信输入解析器上没有 cargo-fuzz 处理器。TLS 默认关闭与超管-only RBAC(role_descriptors 接受但未执行)是诚实的 PARTIAL。
3.7 ai-logs-ecosystem(9 DELIVERED / 6 PARTIAL / 4 GAP)
AI 原生原语真正发布且相对今天的 ES 形成差异化:agent-memory HTTP API(语义去重 + 近期召回——ES/Weaviate/Qdrant/Pinecone 均无对应物)、过滤器下推 HNSW(回应"kNN 过滤器降低性能/零结果")、内联 semantic_text、16,384 维(ES 的 4 倍)、内置 Console SPA、精确 term 聚合计数、约 64MB RSS 的无 JVM 二进制。
该类别的最大洞是日志分析:头条的"专用列式日志引擎"(xerj-logs)是死依赖——日志走倒排索引 index_document 路径,因此领域感知压缩、块跳过、10 万 ev/s 均未证实,自动保留也不存在(可对照 engine/crates/xerj-logs/ 下无任何 use xerj_logs:: 引用这一事实)。AI 侧失败承诺包括:RRF 混合打分(返回 400——"加法 BM25 主导"仍存在)、二进制/RaBitQ 量化(未实现)、神经语义(默认词法在开箱时会错误排序)。
四、确认的强项:代码证明 / 线上验证的 13 项胜场
这是整份记分卡"可以对外说"的部分,每一项都有源码或实测背书:
- 无 JVM,构造上保证。 39MB 静态 Rust ELF + jemalloc。stop-the-world / 节点驱逐 / 恢复风暴 / 堆上限 / compressed-oops /
-Xms=-Xmx失败类别根本不可能发生。无需任何调优。 - 冷启动亚秒级(首次 0.2s 轮询即 HTTP 200)对比 ES 30–60s;单二进制升级 = 换文件 + 重启,没有滚动重启分片舞蹈。
- 空闲 RSS 约 54MB,对比"空装 33GB / 基线 4.5GB"的投诉——在用户弃用 ES 的那个精确指标上好了几个数量级。
- ES 线上协议兼容是真实且可逆的。 未改动的 ES 客户端在 :9200 零改动工作;scroll+bulk 进出双向可用——厂商锁定的结构性反面。ES-YAML 一致性 1,360/1,363。
- 零分片管理 + 脑裂在结构上不可能:发布的默认就是 1 分片/索引、常绿、无主选举、无法定人数、无分区——Jepsen 双主"确认后丢写"类别在单节点上根本不可能发生。
- 以实际 RSS 为键的父级熔断器(governor:memtable 预算 + RSS 水位 + 磁盘 flood-stage + 每查询 512MB 守卫,实现见 engine/crates/xerj-engine/src/governor.rs),把经典节点杀手变成可存活的 429——严格优于 ES 靠预检估算的易失败方案。
- 内置 Prometheus /v1/metrics(101 个序列)+ 豁免认证的健康检查——无需独立监控集群;原生 OTLP + Syslog + JSON + gRPC 流摄入替代 Logstash+Beats,一个二进制完成。
- 数据目录格式标记在任何破坏性 GC 之前拒绝更新/损坏目录(4 个测试、线上标记文件)——比 ES 坏升级静默损坏更安全的数据丢失防护。
- 在 ES 慢查询元凶上的查询胜场: 前导通配符 4.01×、regexp 4.86×、前缀 3.85×、聚合 7–30×;无限脚本不可能(无循环语句);引擎超时能抢先中断词典遍历。
- Apache-2.0、完全自托管、无付费墙 / 无 ERU / 无许可证计量——一次性地击碎"许可证背叛不信任"、"功能分层"、"定价不透明"和"GC 专家人力成本"投诉。
- 无 JVM 的 CVE 消除(Log4Shell/Groovy/反序列化构造上消失)+ 按配置安全认证(常量时间比较、0600 密钥、限制性 CORS)经线上证明。
- ES 没有的 AI 原生原语:
/_memory语义去重 + 近期召回;过滤器谓词下推进 HNSW beam 遍历;内联semantic_text自动嵌入;16,384 维;捆绑 Console SPA;精确的高基数 term 聚合计数。 - 按需 GDPR 被遗忘权: 同步 forcemerge 从段中物理清除已打墓碑的文档(单元测试 + 线上验证)——ES 无法强制做到。
五、诚实的缺口:XERJ 目前还赢不了 ES 的地方
这些是 rc5 的战略决策点,文档要求"不带粉饰地陈述"。
5.1 五个核心缺口
- 读写混合 p99——并发负载下 ES 胜。 等负载下有 4 个 LOSE 单元格(match_all 0.25×、terms 0.33×、range 0.36×、bool 0.50×)。根因:写者持每分片锁时对 live-memtable 的读(
MIXED_READ_UNDER_WRITE_FINDING)。这是 ICP 规模叙事裂开的那条基准轴,也是"负载下崩溃"恐怖故事的线上版本。 - 多节点 HA / 集群——单节点是硬 SPOF。 节点死亡 = 完全宕机。唯一的多节点路径是
cluster.enabled,而它是实验性、未认证、明文长度前缀 JSON-over-TCP 的 Raft,number_of_replicas只是摆设(不落数据)。没有生产 HA、没有故障转移、没有零停机升级、没有计算存储分离、没有免迁移横向扩展。XERJ 今天无法替换多节点 ES 日志/搜索集群。 - 断电持久性低于 ES 默认。 默认
wal_sync=batched(wal_batch_ms=100,见 engine/xerj.default.toml 的配置注释)意味着确认过的写只到页缓存——断电/panic 最多丢 100ms 的确认。ES 默认每请求 fsync(translog.durability=request)。wal_sync=sync可达 ES 同级,但是主动选择,且 XERJ 没有任何东西经过 Jepsen 测试。语料中 ES 的头条痛点是"确认后丢写"——XERJ 需要被证明的保证,而不是一个 opt-in 标志。 - 微小批量 churn 下的 RSS 失控——工单仍开放。 仅 20 万个小文档(约 2.8KB/文档、约为磁盘 5.7 倍)就滞留 564MB 匿名 RSS。jemalloc decay 掩盖但未消除堆放大 → 持续 churn 下有 OOMKill 风险,与"确定性 Rust 内存 / 容器限制有效"的 K8s 宣传矛盾,也对应 ES 的"随机膨胀"投诉。
- 默认词法 embedder——开箱语义质量差。 默认 embedder 是诚实的词法特征哈希;真正的神经模型是 opt-in(
--embed-mode neural,首次使用下载约 90MB)。线上实测:UI 主题查询时"capital of France is Paris"排在了正确文档前面。除非运维切到神经模式,否则语义/RAG/记忆相关性受限。
5.2 次级缺口(脚手架已搭但未接线 / 接受但忽略)
- RRF 混合检索器返回 400——混合退化为加法
bool.should,其中 BM25(0–∞)压过向量(0–1):正是那个回应声称修复的归一化痛点。 xerj-logs列式引擎是死依赖(engine/server/api 中零use xerj_logs::)——日志是倒排索引文档。- ILM/保留只是存储层(DashMap 往返);没有任何后台执行器删除过期数据。
- 摄入路径上 dynamic-mapping
strict+ 字段上限"接受但不执行"——映射爆炸未被阻止。 role_descriptors接受后忽略——每个 API 密钥实际上都是超管。无已于 2026-08-09 关闭(#207): CI 任务cargo-audit/cargo-deny门禁(528 个未扫描依赖 crate)且无cargo-fuzz处理器。security-audit在每次 push 与 PR 上运行cargo audit,任务fuzz构建并运行 engine/fuzz/fuzz_targets/ 下的 libFuzzer 处理器(ES DSL、query_string、日期数学、索引名日期数学、SQL、Painless、聚合脚本分词器,共 7 个目标)。cargo-deny仍未加入。- 二进制/RaBitQ(BBQ)量化未实现;
bbq_*/int4_*映射静默保留完整 f32(无内存节省)——SQ8 也没有缓解 HNSW RAM 墙:scalar8kNN 用摄入时的 1 字节/维代码打分(约缩小 4× 打分工作集),但_source保留 f32 原始值且 HNSW 图仍持有 f32。无 DiskANN。
5.3 需要与实测对账的营销数字(诚实姿态欠账)
<500MB RSS / 100 万文档(实测 596MB / 20 万)· 约 30MB Docker 镜像(实测约 75–100MB)· 2–5 倍压缩(实测约 1.6 倍)· 每段 2 个文件(实测约 4 个)· 开箱即用 TLS(默认关闭)· OpenAPI 从代码生成(静态手工维护,线上 404)· 无深分页悬崖(与 ES 相同的 10k 上限)· 基于成本的规划器(基于规则/结构)· 错误链接用 xerj.io 而规范域名是 xerj.org。
六、rc5 路线图:按 Wave 分组的排好序的候选池
排序公式 = 严重度 × 影响范围(能关闭多少痛点/聚类)× 反比于工作量。前两个 Wave 是"停止输给 ES"的工作;其余是扩大护城河。
Wave 1 —— 停止在负载下输给 ES(两个开放工单)
最高优先级:这两项卡住"击败 ES"的核心主张,并在 ops-simplicity、resource-cost、scaling-durability、query-performance 中反复出现。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
| 在微小批量 churn 下限制稳态 RSS(关闭 RSS 失控工单) | 高 | L | resource-cost GAP + K8s/社区恐怖故事/scaling PARTIAL(C1/C2/C3/C7)——"确定性内存 / 限制有效"宣传 |
| 修复读写混合 p99(快照/无锁 memtable 读路径) | 高 | XL | query-performance GAP(4 个 LOSE 单元格)+ ops/scaling PARTIAL——ES 唯一赢的基准轴 |
对账/达成 <500MB RSS / 100 万文档(缩小摄入路径堆或改写声明) |
高 | M | 评审者会抓的 resource-cost 过度声明;与 RSS 失控修复配套 |
Wave 2 —— 让 AI 原生 + 日志分析主张成真(未接线的脚手架)
最高 ROI 的功能工作:脚手架大部分已存在,接线就能把头条 GAP 变成差异化。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
把 xerj-logs 列式引擎接入 /logs + /otlp(或删掉死依赖与主张) |
高 | L | ai-logs"专用列式日志引擎"GAP;解锁已写好的领域感知压缩 + 块跳过 |
实现 RRF 混合检索器(retriever.rrf + sub_searches/rank.rrf) |
高 | M | ai-logs 混合检索 GAP——正是那个 BM25 主导的归一化痛点 |
后台 ILM/保留执行器(min_age → delete 阶段;兑现 retention_days) |
高 | M | 同时关闭 upgrades-datamodel 与 ai-logs 的保留 GAP——今天没有东西删除旧数据 |
| 批量高吞吐日志摄入 + 在 RSS 约束下证明 10 万 ev/s | 高 | L | ai-logs 10 万 ev/s GAP(当前路径是逐文档 index_document) |
把 dynamic-mapping strict + 字段上限接进 ES 摄入路径 |
高 | M | upgrades-datamodel 映射爆炸 GAP("无意外映射"目前不成立) |
Wave 3 —— 多节点 HA 与横向扩展(战略级 XL 赌注)
成本、持久性、规模叙事上最大的星号。要刻意决策:这是 XERJ 选择是否在 HA 上与 ES 竞争的地方。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
| 认证 + 加密的集群传输(mTLS/共享密钥)+ 真正的副本分片 | 高 | XL | scaling 主 SPOF GAP + ai-logs 50 节点横向扩展——今天的集群路径是未认证明文 + 装饰性副本 |
| 文档化的持久性 SLA + Jepsen 风格测试框架;重新考虑默认断电姿态 | 高 | L | scaling 持久性 GAP——语料头条 ES 痛点(确认后丢写) |
| 计算存储分离作为真实模式(S3 支持段 + 无状态读副本) | 中 | XL | scaling GAP #10——2025–2026 第一大用户需求;ObjectStore 脚手架存在但默认是 Local |
| 每租户资源配额(按命名空间的内存/CPU/磁盘/查询槽)上到 governor | 中 | L | scaling 多租户 PARTIAL——governor 目前仅进程级 |
兑现或拒绝 number_of_replicas/number_of_shards,而非静默回显无支撑值 |
低 | S | 诚实性修复——接受 replicas:2 暗示了不存在的冗余 |
Wave 4 —— 安全与供应链加固
小工作量、高可信度:把两个未发布承诺和两个 PARTIAL 变成胜场。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
cargo-audit + cargo-deny 公告门禁cargo-audit 已于 2026-08-09 完成(#207),cargo-deny 仍开放 |
中 | S | 安全依赖扫描 GAP(528 个未扫描 crate) |
cargo-fuzz 处理器(ES-DSL / query_string / bulk 解析器) |
中 | M | 安全 fuzz 测试 GAP(不可信输入面) |
| TLS 默认开启(自动自签名证书,或首次运行提示) | 中 | M | 解决跨 resource-cost + security 的"默认安全/TLS"过度声明 |
执行 API 密钥 role_descriptors(真正的按索引/按字段 RBAC) |
中 | L | 安全 RBAC PARTIAL——今天每个密钥都是超管;把 ES 的付费墙变成 XERJ 胜场 |
| 防篡改(WORM/只追加)审计日志 | 低 | L | 安全审计 PARTIAL(路线图 v0.9)——ES 把真正的审计锁在 Enterprise 后面 |
Wave 5 —— 语义质量与向量规模
让 AI 原生默认真正好用,并抬升 HNSW RAM 墙。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
| 默认(或自动检测)神经 embedder,替代词法特征哈希 | 中 | M | resource-cost + ai-logs——开箱语义/RAG/记忆质量差 |
二进制/RaBitQ(BBQ 1 位)量化 + 让 bbq_* 映射诚实 |
中 | L | ai-logs 量化 PARTIAL(今天的 SQ8 买的是精度,不是承诺的 32×——或任何——内存缩减) |
| DiskANN / 磁盘后端向量索引 | 中 | L | ai-logs HNSW 内存墙 GAP(图完全在 RAM 中) |
| 上下文检索:召回时呈现前后兄弟块 + 父元数据 | 中 | M | upgrades-datamodel + ai-logs 分块 PARTIAL——RAG 上下文质量 |
Wave 6 —— DX 与主张诚实性对账
低工作量可信度工作,与 W4 基准诚实性运动一致。批量做。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
| 字段类型变更的辅助 schema 迁移 / 索引版本化路径 | 中 | L | 同时关闭 ops-simplicity 迁移工具与 datamodel 不可变映射 PARTIAL |
| 从代码生成 OpenAPI 并在 /openapi.json 实时提供 | 中 | M | ops-simplicity 的 api 与客户端 + 文档"从代码生成 → 准确"主张(静态 404 至今) |
修复/验证 ES→XERJ 数据拉取迁移(scroll/search_after → _bulk;移除损坏的 xerj-ingest 引用) |
中 | S | datamodel 迁移 PARTIAL——文档片段引用了不存在的二进制 |
| 证明多版本格式升级(提升格式、加就地迁移器 + 可选降级) | 中 | L | 加固不跳版本 / 不重建 / 不可降级承诺(至今只有 v1) |
| 重新表述"无深分页悬崖"——抬升或诚实重述 10k 上限 | 中 | S | query-performance 过度声明(与 ES 上限相同) |
| 对账膨胀数字(30MB→约 75MB 镜像 / 2–5×→1.6× 压缩 / 2→约 4 文件每段) | 低 | S | resource-cost 诚实债务 |
修复错误链接 xerj.io→xerj.org 域名漂移;验证建议修复链接可解析 |
低 | S | ops-simplicity 线上验证的文档/UX bug |
| GET /_mapping 输出反映动态新增字段 | 低 | S | datamodel 正确性(动态字段可查询但 _mapping 不可见) |
| 放弃或兑现"基于成本的规划器"主张(今天基于规则/结构) | 低 | L | query-performance 主张与现实的差距(退化情形已赢) |
| 证明无 refresh 后全局序数尖峰(加 refresh 后首次查询探测) | 低 | M | query-performance PARTIAL → 有证据的 DELIVERED |
| Distroless/scratch 容器镜像(或去掉约 30MB 数字) | 低 | M | ops-simplicity + resource-cost 镜像大小过度声明 |
Wave 7 —— Console/UX(Kibana 替代)工作
来源是 Kibana 语料记分卡(KIBANA_FEEDBACK_SCORECARD_RC4.md:107 个痛点中 30 D / 60 P / 17 G)。主导发现:引擎已经具备大约一半 PARTIAL 所需的能力——是 Console 表达不出来或接错了线——所以这一波大部分是 S/M 的接线工作。已与 Wave 1–6 去重(mixed-p99 + RSS 失控在 W1,ILM/保留执行器 + xerj-logs 接线在 W2,role_descriptors 执行 + TLS 默认 + 防篡改审计在 W4,OpenAPI + 多版本升级证明在 W6,均在 Kibana 语料中原样重复出现——这些行只引用不重复)。
| 候选 | 严重度 | 工作量 | 关闭项 |
|---|---|---|---|
| 原生告警规则引擎 + webhook 动作(持久化 tz 感知规则 → tokio 调度器 → 写入 fire 索引 → 模板化 webhook;桥接 ML 异常记录;接线或隐藏 mock Alerts 视图) | 高 | L | Kibana 07——唯一 0-DELIVERED 类别(4 GAP),外加 SIEM 检测和异常→通知差距;语料中用户选择 Graylog/Loki 而非 ELK 的明确理由 |
Discover 实时接线批(sort 子句进 live body,@timestamp→_ts,facets 键不匹配,全局时间范围 + 真实 date_histogram,渲染高亮,真实或删除 query-plan 面板) |
高 | S–M | Kibana 02 的 8 个痛点中 5 个——旗舰视图目前对 live 后端 no-ops/空白/造假 |
Mock/演示诚实性清扫(渲染已有的 ↓PNG 按钮;11 个非数据驱动 viz 类型的已存面板显示 UNCONFIGURED 而非演示数据;把 mock Data 区接到 live _cat/_mapping/_index_template;把 Anomaly 视图指向 /_ml;翻转 _xpack ml available:true) |
高 | S–M | Kibana 01/03/06/11/15 的已发布 mock-UI 诚实债务——W6 主张对账在 Console 的对应物 |
| 面板构建器表达力批(cardinality/percent 指标,表格列选择器,每面板时间范围,missing/other 桶,阈值颜色,时间字段 + 浏览器时区,全局过滤器进面板,raw-DSL 面板类型) | 中 | M | Kibana 01/03/05/10 约 10 个 PARTIAL——复现的引擎对 UI 差距 |
卫生 + ML 加固批(term 查询 .keyword→base 回退;从 * 通配符/模板排除 .xerj_*;启动时重生成已启动的 datafeed;表面化 datafeed 错误;持久化异常记录;嵌套子路径进字段选择器) |
中 | S–M | 两个重复的 Kibana 错误(静默 0 命中、系统索引泄漏)+ Kibana 11 的静默停止脆弱性 + 05 的头号嵌套痛点 |
| MAP 面板类型(用已发布的 geotile/geohash/geo_bounds 聚合;内联捆绑世界几何,构造上隔离外网) | 中 | L | Kibana 12 的主导缺口——引擎半已 DELIVERED |
| 嵌入 + 分享(签名只读嵌入令牌、无 chrome 模式、可配置 SameSite;分享 URL 中带查询 + COPY LINK) | 中 | L | Kibana 06 的嵌入缺口 |
| Console 的 OIDC SSO(单 IdP、PKCE、JIT 供给到现有邀请角色) | 中 | L | Kibana 08 唯一缺口;补 W4 RBAC 执行行 |
导出完成(search_after/PIT 流式全量 CSV + UTF-8 BOM;NDJSON 仪表板/视图导出导入 + --seed-dir) |
低 | M | Kibana 06 的头号请求限制 + 09 的可移植性 PARTIAL |
| 日志上下文查看器 + 查询栏 typeahead(±N 文档模态框用排序 search_after;FST 支撑的字段/值建议带硬上限) | 低 | M | Kibana 02 两个十年老直接缺口 |
要在文档中明确声明的非目标(而非半成品): 第三方插件系统、Spaces 式索引范围多租户、i18n、基于无头浏览器的 PDF/定时报告(改用打印样式表)、SAML。
七、战略结论:四句话读完整份记分卡
- rc5-core 发布 Wave 1–2。 它们大多是 L/M 工作量,关闭最响的 GAP,并阻止 XERJ 在负载和自家日志分析头条上输给 ES。Wave 1 是诚实性关键工作(工单已在 ROADMAP.md 公开)。
- Wave 3 是分岔路口。 多节点 HA 是 XL 且会把 XERJ 的身份从"简单的单节点 ES 逃生舱"改成"HA 搜索平台"。在那之前,单节点 SPOF、低于 ES 的断电持久性、无横向扩展天花板是定位约束而非 bug——面向不吃这套的 ICP 营销(开发/CI、单节点边缘、成本驱动右规模),停止暗示不存在的 HA。
- Wave 4–6 是廉价可信度。 安全流程门禁和数字对账都很小,直接保护"诚实姿态"这一相对 ES"文档 ≠ API ≠ 现实"本身的差异化。
- 已经存在的护城河: 无 JVM 的 CVE/GC 消除、Apache-2.0 信任、ES 线上协议可逆性、过滤器下推 HNSW、
/_memory、GDPR-forcemerge 清除——今天真实存在且 ES 无法匹配。防守并营销这些,诚实地修其余。
Console vs Kibana 的判断: 仪表板重构让 Console 在创作/运维核心上成为可信的 Kibana 替代品(持久 CRUD、构建器、单进程、无索引模式、一切付费墙功能免费),但 Kibana 记分卡显示剩余债务主要是廉价的 Console→引擎接线,外加一个类别级大洞(告警,0 DELIVERED)和一个必须在任何外部"Kibana 替代"声明前修复或标注的已发布 mock-UI 诚实类别——Wave 7 就是这项工作。
附:与当前仓库 main 代码的对照核验
记分卡记录的是 rc4(2026-07-12)的状态;仓库当前代码已经演进,其中三处与本文主题强相关的状态值得单独标出(均可直接到源码复核):
_watcher从"存 JSON 假执行"走向"执行或拒绝"。 engine/crates/xerj-api/src/es_compat.rs 的注释明确记录:这个面曾经是 accepted-and-ignored(put_watch存内存 Map 并回 201 + 伪造的"condition": {"met": true, "type": "always"},从不求值任何东西)。新契约是 evaluate or refuse:恰好一种 watch 类型(XERJ 检测 watch:percolate 预过滤 →/_decide→ 写入.xerj_alert_fires)被接受并按时求值,其余 ES watch 形状一律 501 并指出本节点不运行什么。这正是 Wave 2 候选"实现 RRF / 告警执行"方向上的演进证据。- 混合检索 rrf|linear 已在 main 上线上验证。 ROADMAP.md 的"Shipping today"一节记录:
hybrid查询类型支持rrf|linear融合并已线上验证;fusion: "learned"被解析后以 400 拒绝。这与记分卡"RRF 返回 400"的 rc4 状态形成时间线对照。 - 供应链安全两件套已落地一半。
cargo audit(CI 任务security-audit)与 7 个 libFuzzer 目标(engine/fuzz/fuzz_targets/:query_dsl、query_string、date_math、index_name_date_math、sql、painless、agg_script)已随 #207 关闭;cargo-deny仍未加入。ES-YAML 一致性计数在 ROADMAP.md 中已更新为 1,366/1,369("以 CI 读数为准")。
这三点说明:记分卡里标记为 GAP 的若干项,在 rc4 之后的时间里已经部分被 main 上的代码演进所回应——但 Wave 1 的读写混合 p99、RSS 失控、默认词法 embedder 等硬缺口,仍以开放工单的形式记录在 ROADMAP.md 的"Open defects"清单中(如 #1250、#1267、#1094、#1122、#1170、#1110、#1183、#1226),与该记分卡的战略判断保持一致。