XERJ Kibana 反馈语料库:01-dashboard-authoring 分类统计页的生成机制与解读方法

原创2026-10-17 15:35:011,699 阅读
文章标签:搜索引擎全文检索向量数据库数据库后端MCP 服务Agent 记忆人工智能日志分析dsh-plugin

XERJ Kibana 反馈语料库:01-dashboard-authoring 分类统计页的生成机制与解读方法

本文以 XERJ 仓库中 user-feedback/kibana/categories/01-dashboard-authoring/README.md 这一分类统计页为主体,讲清楚这张页面是如何从 15,282 条公开用户反馈经由 collect → classify → stats 三条管线命令生成的,页面上每一项数字、Top 20 表和标签表的含义与计算方式,以及它如何继续流向设计输入文档和 XERJ 控制台的引用面板。读完你应当能独立复现该页面、核对其中任意一行数据的来源,并理解它在 XERJ 产品决策链路中的位置。

这张页面是什么

user-feedback/kibana/ 是 XERJ 维护的一份「可复现的 Kibana 真实用户反馈语料库」,覆盖 GitHub Issues、Stack Overflow、Hacker News、Reddit、Elastic 官方论坛(Discourse)五个来源,总计 15,282 条 artifact。语料库的用途在 user-feedback/kibana/README.md 中写得很直接:它是「我们用来决定 XERJ.ai 应该构建什么、不应该构建什么的输入」。

整个语料库被切分为 17 个分类目录(15 个主题分类 + 99-noise + 99-uncategorized),每个分类目录下固定只有两个文件:

  • README.md —— 分类统计页,即本文的主题。由 pipeline/stats.mjs 生成;
  • pointers.jsonl —— 指向该分类所有 artifact 的「指针」文件,包含主分类条目和副分类条目。

01-dashboard-authoring 在 TAXONOMY.md 中的定义是:

Building and editing visualizations and dashboards: Lens, TSVB, Vega, Canvas, drag-and-drop pains, config dialogs, missing chart types, broken filters.(构建和编辑可视化与仪表板:Lens、TSVB、Vega、Canvas、拖拽之痛、配置对话框、缺失的图表类型、坏掉的过滤器。)其痛点轴为 AUTHORING。

页面首行的核心数字是:

**2367** items · negative 907 · neutral 1118 · positive 342

换算成占比:负面 38.3%、中性 47.2%、正面 14.4%。作为对照,全库的负面占比是 38.0%(5,801/15,282,见 user-feedback/kibana/INDEX.md),也就是说「仪表板创作」类反馈的情绪分布与全库基本持平——它的高价值不在于负面比例异常,而在于体量:2,367 条使其成为全库第三大分类(仅次于 10-docs-and-ux 的 3,610 条和 04-performance-and-load 的 2,387 条)。

一个容易被忽略的细节:本分类的 pointers.jsonl 实际有 4,598 行,远多于主分类的 2,367 条。这是因为分类器允许每条 artifact 最多挂 3 个副分类(secondary_categories),副分类条目会以 _secondary: true 标志写入其他分类的指针文件。4,598 − 2,367 = 2,231 行就是「以本分类为副分类」的条目。这一点对解读统计页很关键:README 中的计数与标签统计只基于主分类条目(category === slug),而 pointers.jsonl 是主 + 副的并集(该过滤逻辑见 stats.mjs)。

Top 20 by score

下面是该页面完整的 Top 20 表(原始表格中另有一列指向原始帖子的外部链接,这里省略;逐条 source_url 可从 SCHEMA.md 定义的 artifact 记录或指针文件关联回 sources/<src>/enriched.jsonl 中获得):

# Source Score Title
1 reddit 552 Tools & Info for Sysadmins - Windows Shortcut, Cisco Podcast, Network Tools…
2 github 178 Export chart to image
3 reddit 177 AWS announced new open source projects: OpenSearch and OpenSearch Dashboard as …
4 reddit 162 Netflow, IPFIX, and Elasticsearch for Everyone
5 reddit 153 I made an open source self hosted DMARC report analyzer/visualizer to help orga…
6 github 121 In visualization editor, add ability to change linked save search
7 reddit 107 I built a network controlled rotor light for our helpdesk
8 reddit 104 [Tutorial] How to setup your first Kibana dashboard for your Go application
9 reddit 92 For the software developers of r/ultralight: One of the Kibana PM's at Elastic …
10 stacko 91 Kibana - How to display log as table
11 reddit 90 Metrics, traces & logs?
12 github 88 Local visualization time, independently from global dashboard time
13 stacko 79 How to retrieve unique count of a field using Kibana + Elastic Search
14 github 77 Y Scale to fit the bounds of the data for each split chart
15 stacko 76 Export to csv/excel from kibana
16 reddit 72 I've fallen in love with Zabbix
17 stacko 68 How to do "where not exists" type filtering in Kibana/ELK?
18 stacko 66 how to set fielddata=true in kibana
19 reddit 55 Question about some interesting firewall logs I noticed today
20 github 48 Allow "locking" of dashboards/visualization/searches

这张表值得逐层解读:

  • Score 是来源平台的原始热度(GitHub 为 reactions,Reddit 为 upvotes,HN 为 points,见 SCHEMA.md 中 score 字段定义),跨平台直接按数值排序,不做归一化;
  • 排序后取前 20 条,标题被截断到 80 字符并压缩空白(stats.mjs 的 trim 函数),Source 列被截断到 6 个字符(所以 stackoverflow 显示为 stacko、hackernews 显示为 hack);
  • 表里能清晰看出热度与主题相关性并不同构:第 1、7、16、19 行(sysadmin 工具合集、转子灯、Zabbix、防火墙日志)只是正文里提到了 Kibana 关键词,与仪表板创作关系很弱。这是关键词分类器的已知局限(见文末「已知局限」一节),语料库 README 也明确建议把相对排序而非绝对数值当作可靠信号。真正高信号的行集中在 GitHub 来源(#2、#6、#12、#14、#20),它们都是 elastic/kibana 仓库中用户以 reactions 长期投票的功能诉求:图表导出为图片、可视化编辑器中更换关联的 saved search、单面板独立时间范围、拆分图的 Y 轴自适应、仪表板锁定。

Top tags in this category

该分类的 Top 12 标签(按频次降序,完整继承自页面原表):

Tag Count
lens 113
canvas 70
discover 64
tsvb 63
license 22
alerting 22
slow-dashboard 18
saved-objects 16
apm 16
anomaly 15
siem 8
fleet 8

标签本身是分类器用一组固定正则抽出来的(TAGS 列表,见 classify.mjs),例如 slow-dashboard 由 /slow dashboard|dashboard.*slow/i 命中、license 由 /license|paywall|platinum/i 命中。从这张表可以读出两类信息:

  1. 痛点集中在可视化工具本身:lens/canvas/tsvb 三个标签合计 246 次,是这个分类的绝对主体,与 TAXONOMY.md 对该分类的定义(Lens、TSVB、Canvas、Vega 的构建与编辑之痛)互相印证;
  2. 交叉关注点:slow-dashboard(18)、license(22)、alerting(22)说明仪表板创作场景经常与性能、许可、告警议题在同一批讨论中共同出现——这些交叉条目大多以「副分类」身份挂在别的分类下,而在本分类里以标签形式留下痕迹。

数据从哪来:来源与 artifact 结构

统计页的每个数字最终都可回溯到 sources/<src>/ 下的 JSONL 文件。按 user-feedback/kibana/README.md 与 INDEX.md,五个来源的规模是:

Source Items 采集方式
github 9,230 GitHub Issues API,4 个仓库(elastic/kibana、elastic/elasticsearch、elastic/eui、opensearch-project/OpenSearch-Dashboards),需 GH_TOKEN
stackoverflow 2,836 Stack Exchange API,13 个 kibana 相关 tag
hackernews 1,504 Algolia HN Search API,25 个查询
reddit 962 各子版块 .json 搜索,12 个查询
discourse 750 discuss.elastic.co 搜索接口,20 个查询

每条 artifact 在 SCHEMA.md 中定义了统一的归一化记录:

{
  "id": "hn-42173842",
  "source": "hackernews",
  "source_url": "https://news.ycombinator.com/item?id=42173842",
  "posted_at": "2024-11-14T22:14:00Z",
  "captured_at": "2026-04-14T18:22:41Z",
  "author": "someuser",
  "score": 42,
  "kind": "comment",
  "title": "...",
  "body": "...",
  "product": ["kibana"],
  "versions": ["8.13"],
  "lang": "en",
  "sentiment": "negative",
  "category": "09-upgrades-and-migration",
  "secondary_categories": ["01-dashboard-authoring"],
  "tags": ["upgrade-break", "saved-objects"]
}

存储上采用「双文件」结构:raw.jsonl 只存采集层的原始字段(append-only、按 id 去重),classify.mjs 跑完后重写 enriched.jsonl(原始字段 + 分类器输出:sentiment、category、secondary_categories、tags)。pointers.jsonl 则是 enriched 记录的轻量投影,每行形如:

{"id":"disc-667612","source":"discourse","score":6,"posted_at":"2019-06-26T17:15:11.728Z","tags":[],"title":"Trouble Handling Large Volume data - Slow Kibana Dashboard"}

要读全文正文,就拿着 id 回 sources/<src>/enriched.jsonl 中查——这正是统计页里那句 raw bodies in ../../sources/<src>/enriched.jsonl 指针行的含义。

生成管线:三条命令重建这个 README

语料库零第三方依赖(纯 Node 22 ESM + 内置 fetch),完整刷新按 user-feedback/kibana/README.md 的顺序执行:

cd user-feedback/kibana

# 1. 从 5 个来源拉取(GitHub 是最慢的一步,约 8 分钟;无 token 时只拉前 5 页)
GH_TOKEN=$GH_TOKEN node pipeline/collect.mjs

# 2. 分类 + 情感 + 打标签(确定性、幂等,重写 pointers 与 enriched 文件)
node pipeline/classify.mjs

# 3. 写 INDEX.md 和 17 个分类 README
node pipeline/stats.mjs

# 4. 写 themes/*.md(top-pains、top-asks、cross-source-clusters)
node pipeline/themes.mjs

# 5. 写 design-inputs.md + dashboard-citations.json + 前端引用模块
node pipeline/design-inputs.mjs

JSONL 是 append-only 且按 id 去重,重复运行是安全的,只增量拉新条目;GitHub 采集按仓库 flush,中途 kill 也不丢已完成的仓库。全量刷新约 10 分钟。

classify.mjs:这张页面的分类依据

classify.mjs 对每条 artifact 做四件事:噪点过滤、关键词加权分类、朴素情感打分、正则打标签。对本文主题最直接的是 01-dashboard-authoring 的完整规则表(classify.mjs):

['01-dashboard-authoring', 'AUTHORING', [
  ['lens', 3], ['tsvb', 3], ['canvas', 2], ['vega', 2],
  ['visualization editor', 3], ['visualize app', 2],
  ['dashboard builder', 3], ['drag and drop', 2],
  ['chart type', 2], ['custom visualization', 2],
  ['kibana dashboard', 2], ['edit dashboard', 1],
  ['agg based', 1], ['xy chart', 1],
  // soft / generic
  ['dashboard', 1], ['visualization', 1], ['visualize', 1],
  ['panel', 1], ['split chart', 2], ['y-axis', 2],
  ['x-axis', 2], ['second y axis', 2], ['second axis', 2],
  ['data table', 1], ['line chart', 1], ['bar chart', 1],
  ['area chart', 1], ['pie chart', 1], ['gauge chart', 1],
  ['metric visualization', 2], ['timeseries', 1],
  ['saved visualization', 2], ['edit visualization', 2],
]],

计分逻辑是:取 title + body 的前 5,000 字符转小写,每条命中的子串规则累加其权重(scoreText,classify.mjs),15 个分类各自得到一个总分,规则如下:

  1. 最高分且 ≥ 1 的分类成为主分类;若所有规则都没命中但文本里提到 kibana,兜底进 10-docs-and-ux;否则进 99-uncategorized;
  2. 其后得分 > 0 的最多 3 个分类成为副分类(secondary_categories),这就是 pointers.jsonl 行数多于主分类条数的来源;
  3. 情感用词表法:NEG(broken/slow/crash/regression…)与 POS(love/great/fast…)两个词表各自计命中数,neg > pos × 1.5 判负,pos > neg × 1.5 判正,其余为中性(classify.mjs)。这就是页面首行 negative 907 · neutral 1118 · positive 342 的出处;
  4. 先于分类有一道噪点过滤器:以 Failing test:/Skipped test:/Flaky test: 开头或匹配 jest integration tests、backport to 的 GitHub CI 条目直接归入 99-noise,不占用任何主题分类(这也是为什么 99-noise 在 INDEX 中有 891 条且全部来自 github)。

规则设计的用意也在这里体现:lens、tsvb、visualization editor、dashboard builder 等强特征词权重为 3,dashboard、panel 等泛词只给 1——一篇只泛泛提到「dashboard」的帖子不会轻易压过一篇明确抱怨 Lens 的帖子。这也解释了 Top 20 表中为什么 GitHub 的「Export chart to image」能靠 chart type/导出相关特征稳居第 2,而高热的 Reddit 长帖即便泛词命中多,也只是并列出现而非统治榜单。

stats.mjs:这张页面的直接生产者

stats.mjs 读取所有 enriched.jsonl,按 category 主分类聚合成四个维度(分类计数、分类 × 来源矩阵、分类 × 情感、全库标签计数),然后输出两类文件:

  • INDEX.md:全库主统计表(来源规模、情感分布、17 个分类的 Items/Negative/Positive 与 Top 来源、Top 25 标签、管线命令);
  • 每个分类的 README.md:即本文主题页面,逐分类生成。关键片段在 stats.mjs:
const cItems = items
  .filter((i) => i.category === cat)        // 只统计主分类
  .sort((a, b) => (b.score || 0) - (a.score || 0));  // 按热度降序
const top = cItems.slice(0, 20);            // Top 20 表
...
const topTags = Object.entries(tagsHere)
  .sort((a, b) => b[1] - a[1]).slice(0, 12);  // Top 12 标签表

也就是说页面上两个表格没有人工编辑成分:排序键是来源平台的原始 score,Top 20 与 Top 12 都是硬截断。只要 enriched.jsonl 不变,重跑 stats.mjs 得到的页面逐字节一致(确定性输出);唯一会变化的是「Generated」语义由数据本身携带。

这张页面之后:从统计页到设计输入与面板引用

统计页不是终点。语料库的下游消费链是:stats.mjs(本页)→ themes.mjs(痛点综合)→ design-inputs.mjs(行动清单 + 前端引用模块)。

themes 层。 themes/top-pains.md 把所有负面情感 artifact 按分类排名并逐字引用,其中 01-dashboard-authoring 段列出了 907 条负面条目中得分最高的一批真实抱怨,例如:

  • 「Change visualisation chart type」——选定 bar/line 之后无法直观地换回去;
  • 「Second Y-Axis」——同一折线图叠加两个量纲不同的指标时无法双轴;
  • 「Kibana and fixed time spans」——想在一个仪表板上让两个可视化使用不同时间跨度做不到。

design-inputs 层。 design-inputs.mjs 做了一次跨全库的「Top 50 可执行痛点」筛选:GitHub 的 enhancement|feature 标签 issue 按 reactions 取 25 条,其余负面条目按 score × 5(GitHub 加权) × (1 + log10(正文字长/50)) 的质量加权公式再取 25 条,合并去重截断到 50,按分类分组写入 themes/design-inputs.md。该文件对本分类给出的「XERJ 回应」是:

web/src/dashboards/* + edit-mode card grid · panels are JS objects, no rewrite-induced regressions(面板即 JS 对象,升级不会像传统 Kibana 那样因内部重写而弄坏已存仪表板——正是对 09-upgrades-and-migration 中「升级后仪表板损坏」痛点的结构性回答)。

同一脚本还负责把「痛点 → 面板」的对应关系机器化:它维护一张 DASH_TO_CATS 映射(design-inputs.mjs),声明每个 XERJ 仪表盘面板实际回应哪些 Kibana 分类,其中 01-dashboard-authoring 对应 search-discover 与 logs-overview 两个仪表盘。脚本据此为每个仪表盘挑 3 条引用,写出 themes/dashboard-citations.json,再生成前端可直接 import 的自动产物模块 xerj-ux/src/data/feedback-citations.js(文件头注明「AUTO-GENERATED by user-feedback/kibana/pipeline/design-inputs.mjs」)。最终,xerj-ux/src/dashboards/logs-overview.js 里渲染出一个 WHY THIS PANEL EXISTS · USER FEEDBACK 引用面板,把这条链路的最后一环接上:控制台上每个面板的存在理由,都能点回一条真实的、带分数、可溯源的用户反馈。

已知局限与使用前提

语料库 README 的「Honest limits」一节(user-feedback/kibana/README.md)列出的限制,对本页面同样适用,引用其中数字时应注意:

  • 情感是朴素词表分类器,会误判反讽和技术性「the bug is…」句式;绝对计数要谨慎对待,跨分类的相对排序才是可靠信号——本页面 38.3% 的负面占比与全库 38.0% 基本一致,更应看的是它 2,367 条的体量排名;
  • 分类器是关键词加权规则而非 LLM,Top 20 中混入的泛词命中条目(如 Zabbix、防火墙日志帖)即为此类假阳性。README 也指出把分类器换成 LLM 调用「只需十分钟改造 classify.mjs,schema 不变」;
  • 只采集英文语料(非英文 Reddit/SO 帖子被 kibana 子串守卫丢弃);99-noise 桶并非穷尽;
  • 数据为 2026-04-14 的最后刷新快照(INDEX.md 头部日期),页面所有数字只在该快照下成立;
  • 复现前提:Node 22(仅用内置 fetch)、GitHub 全量拉取需要 GH_TOKEN;分类与统计步骤是完全确定性、幂等的,重跑不会产生漂移。

小结

01-dashboard-authoring 这张统计页是 XERJ 语料库管线的一次「可审计切片」:2,367 条主分类条目来自五个公开来源,分类由 classify.mjs 中 30 条加权关键词规则决定,Top 20 与 Top 12 标签表由 stats.mjs 按热度确定性截断生成,负面计数来自双词表 1.5 倍阈值的情感判定。它的解读重点是三件事——lens/canvas/tsvb 主导的痛点结构、GitHub 高热度功能诉求(导出图片、面板级时间范围、Y 轴自适应)构成的需求信号、以及 4,598 行指针文件揭示的主/副分类交叉。再往下一层,这份统计经 themes/ 与 design-inputs.mjs 转化为设计简报和 feedback-citations.js 引用模块,直接落在 XERJ 控制台的面板上——从一条 Reddit 帖子到一个可运行面板,全链路每一步都能在仓库里找到对应文件。

登录后查看全文
xerj