XERJ Kibana 反馈语料库:01-dashboard-authoring 分类统计页的生成机制与解读方法
XERJ Kibana 反馈语料库:01-dashboard-authoring 分类统计页的生成机制与解读方法
本文以 XERJ 仓库中 user-feedback/kibana/categories/01-dashboard-authoring/README.md 这一分类统计页为主体,讲清楚这张页面是如何从 15,282 条公开用户反馈经由 collect → classify → stats 三条管线命令生成的,页面上每一项数字、Top 20 表和标签表的含义与计算方式,以及它如何继续流向设计输入文档和 XERJ 控制台的引用面板。读完你应当能独立复现该页面、核对其中任意一行数据的来源,并理解它在 XERJ 产品决策链路中的位置。
这张页面是什么
user-feedback/kibana/ 是 XERJ 维护的一份「可复现的 Kibana 真实用户反馈语料库」,覆盖 GitHub Issues、Stack Overflow、Hacker News、Reddit、Elastic 官方论坛(Discourse)五个来源,总计 15,282 条 artifact。语料库的用途在 user-feedback/kibana/README.md 中写得很直接:它是「我们用来决定 XERJ.ai 应该构建什么、不应该构建什么的输入」。
整个语料库被切分为 17 个分类目录(15 个主题分类 + 99-noise + 99-uncategorized),每个分类目录下固定只有两个文件:
README.md—— 分类统计页,即本文的主题。由pipeline/stats.mjs生成;pointers.jsonl—— 指向该分类所有 artifact 的「指针」文件,包含主分类条目和副分类条目。
01-dashboard-authoring 在 TAXONOMY.md 中的定义是:
Building and editing visualizations and dashboards: Lens, TSVB, Vega, Canvas, drag-and-drop pains, config dialogs, missing chart types, broken filters.(构建和编辑可视化与仪表板:Lens、TSVB、Vega、Canvas、拖拽之痛、配置对话框、缺失的图表类型、坏掉的过滤器。)其痛点轴为
AUTHORING。
页面首行的核心数字是:
**2367** items · negative 907 · neutral 1118 · positive 342
换算成占比:负面 38.3%、中性 47.2%、正面 14.4%。作为对照,全库的负面占比是 38.0%(5,801/15,282,见 user-feedback/kibana/INDEX.md),也就是说「仪表板创作」类反馈的情绪分布与全库基本持平——它的高价值不在于负面比例异常,而在于体量:2,367 条使其成为全库第三大分类(仅次于 10-docs-and-ux 的 3,610 条和 04-performance-and-load 的 2,387 条)。
一个容易被忽略的细节:本分类的 pointers.jsonl 实际有 4,598 行,远多于主分类的 2,367 条。这是因为分类器允许每条 artifact 最多挂 3 个副分类(secondary_categories),副分类条目会以 _secondary: true 标志写入其他分类的指针文件。4,598 − 2,367 = 2,231 行就是「以本分类为副分类」的条目。这一点对解读统计页很关键:README 中的计数与标签统计只基于主分类条目(category === slug),而 pointers.jsonl 是主 + 副的并集(该过滤逻辑见 stats.mjs)。
Top 20 by score
下面是该页面完整的 Top 20 表(原始表格中另有一列指向原始帖子的外部链接,这里省略;逐条 source_url 可从 SCHEMA.md 定义的 artifact 记录或指针文件关联回 sources/<src>/enriched.jsonl 中获得):
| # | Source | Score | Title |
|---|---|---|---|
| 1 | 552 | Tools & Info for Sysadmins - Windows Shortcut, Cisco Podcast, Network Tools… | |
| 2 | github | 178 | Export chart to image |
| 3 | 177 | AWS announced new open source projects: OpenSearch and OpenSearch Dashboard as … | |
| 4 | 162 | Netflow, IPFIX, and Elasticsearch for Everyone | |
| 5 | 153 | I made an open source self hosted DMARC report analyzer/visualizer to help orga… | |
| 6 | github | 121 | In visualization editor, add ability to change linked save search |
| 7 | 107 | I built a network controlled rotor light for our helpdesk | |
| 8 | 104 | [Tutorial] How to setup your first Kibana dashboard for your Go application | |
| 9 | 92 | For the software developers of r/ultralight: One of the Kibana PM's at Elastic … | |
| 10 | stacko | 91 | Kibana - How to display log as table |
| 11 | 90 | Metrics, traces & logs? | |
| 12 | github | 88 | Local visualization time, independently from global dashboard time |
| 13 | stacko | 79 | How to retrieve unique count of a field using Kibana + Elastic Search |
| 14 | github | 77 | Y Scale to fit the bounds of the data for each split chart |
| 15 | stacko | 76 | Export to csv/excel from kibana |
| 16 | 72 | I've fallen in love with Zabbix | |
| 17 | stacko | 68 | How to do "where not exists" type filtering in Kibana/ELK? |
| 18 | stacko | 66 | how to set fielddata=true in kibana |
| 19 | 55 | Question about some interesting firewall logs I noticed today | |
| 20 | github | 48 | Allow "locking" of dashboards/visualization/searches |
这张表值得逐层解读:
- Score 是来源平台的原始热度(GitHub 为 reactions,Reddit 为 upvotes,HN 为 points,见 SCHEMA.md 中
score字段定义),跨平台直接按数值排序,不做归一化; - 排序后取前 20 条,标题被截断到 80 字符并压缩空白(stats.mjs 的
trim函数),Source 列被截断到 6 个字符(所以stackoverflow显示为stacko、hackernews显示为hack); - 表里能清晰看出热度与主题相关性并不同构:第 1、7、16、19 行(sysadmin 工具合集、转子灯、Zabbix、防火墙日志)只是正文里提到了 Kibana 关键词,与仪表板创作关系很弱。这是关键词分类器的已知局限(见文末「已知局限」一节),语料库 README 也明确建议把相对排序而非绝对数值当作可靠信号。真正高信号的行集中在 GitHub 来源(#2、#6、#12、#14、#20),它们都是 elastic/kibana 仓库中用户以 reactions 长期投票的功能诉求:图表导出为图片、可视化编辑器中更换关联的 saved search、单面板独立时间范围、拆分图的 Y 轴自适应、仪表板锁定。
Top tags in this category
该分类的 Top 12 标签(按频次降序,完整继承自页面原表):
| Tag | Count |
|---|---|
lens |
113 |
canvas |
70 |
discover |
64 |
tsvb |
63 |
license |
22 |
alerting |
22 |
slow-dashboard |
18 |
saved-objects |
16 |
apm |
16 |
anomaly |
15 |
siem |
8 |
fleet |
8 |
标签本身是分类器用一组固定正则抽出来的(TAGS 列表,见 classify.mjs),例如 slow-dashboard 由 /slow dashboard|dashboard.*slow/i 命中、license 由 /license|paywall|platinum/i 命中。从这张表可以读出两类信息:
- 痛点集中在可视化工具本身:
lens/canvas/tsvb三个标签合计 246 次,是这个分类的绝对主体,与 TAXONOMY.md 对该分类的定义(Lens、TSVB、Canvas、Vega 的构建与编辑之痛)互相印证; - 交叉关注点:
slow-dashboard(18)、license(22)、alerting(22)说明仪表板创作场景经常与性能、许可、告警议题在同一批讨论中共同出现——这些交叉条目大多以「副分类」身份挂在别的分类下,而在本分类里以标签形式留下痕迹。
数据从哪来:来源与 artifact 结构
统计页的每个数字最终都可回溯到 sources/<src>/ 下的 JSONL 文件。按 user-feedback/kibana/README.md 与 INDEX.md,五个来源的规模是:
| Source | Items | 采集方式 |
|---|---|---|
github |
9,230 | GitHub Issues API,4 个仓库(elastic/kibana、elastic/elasticsearch、elastic/eui、opensearch-project/OpenSearch-Dashboards),需 GH_TOKEN |
stackoverflow |
2,836 | Stack Exchange API,13 个 kibana 相关 tag |
hackernews |
1,504 | Algolia HN Search API,25 个查询 |
reddit |
962 | 各子版块 .json 搜索,12 个查询 |
discourse |
750 | discuss.elastic.co 搜索接口,20 个查询 |
每条 artifact 在 SCHEMA.md 中定义了统一的归一化记录:
{
"id": "hn-42173842",
"source": "hackernews",
"source_url": "https://news.ycombinator.com/item?id=42173842",
"posted_at": "2024-11-14T22:14:00Z",
"captured_at": "2026-04-14T18:22:41Z",
"author": "someuser",
"score": 42,
"kind": "comment",
"title": "...",
"body": "...",
"product": ["kibana"],
"versions": ["8.13"],
"lang": "en",
"sentiment": "negative",
"category": "09-upgrades-and-migration",
"secondary_categories": ["01-dashboard-authoring"],
"tags": ["upgrade-break", "saved-objects"]
}
存储上采用「双文件」结构:raw.jsonl 只存采集层的原始字段(append-only、按 id 去重),classify.mjs 跑完后重写 enriched.jsonl(原始字段 + 分类器输出:sentiment、category、secondary_categories、tags)。pointers.jsonl 则是 enriched 记录的轻量投影,每行形如:
{"id":"disc-667612","source":"discourse","score":6,"posted_at":"2019-06-26T17:15:11.728Z","tags":[],"title":"Trouble Handling Large Volume data - Slow Kibana Dashboard"}
要读全文正文,就拿着 id 回 sources/<src>/enriched.jsonl 中查——这正是统计页里那句 raw bodies in ../../sources/<src>/enriched.jsonl 指针行的含义。
生成管线:三条命令重建这个 README
语料库零第三方依赖(纯 Node 22 ESM + 内置 fetch),完整刷新按 user-feedback/kibana/README.md 的顺序执行:
cd user-feedback/kibana
# 1. 从 5 个来源拉取(GitHub 是最慢的一步,约 8 分钟;无 token 时只拉前 5 页)
GH_TOKEN=$GH_TOKEN node pipeline/collect.mjs
# 2. 分类 + 情感 + 打标签(确定性、幂等,重写 pointers 与 enriched 文件)
node pipeline/classify.mjs
# 3. 写 INDEX.md 和 17 个分类 README
node pipeline/stats.mjs
# 4. 写 themes/*.md(top-pains、top-asks、cross-source-clusters)
node pipeline/themes.mjs
# 5. 写 design-inputs.md + dashboard-citations.json + 前端引用模块
node pipeline/design-inputs.mjs
JSONL 是 append-only 且按 id 去重,重复运行是安全的,只增量拉新条目;GitHub 采集按仓库 flush,中途 kill 也不丢已完成的仓库。全量刷新约 10 分钟。
classify.mjs:这张页面的分类依据
classify.mjs 对每条 artifact 做四件事:噪点过滤、关键词加权分类、朴素情感打分、正则打标签。对本文主题最直接的是 01-dashboard-authoring 的完整规则表(classify.mjs):
['01-dashboard-authoring', 'AUTHORING', [
['lens', 3], ['tsvb', 3], ['canvas', 2], ['vega', 2],
['visualization editor', 3], ['visualize app', 2],
['dashboard builder', 3], ['drag and drop', 2],
['chart type', 2], ['custom visualization', 2],
['kibana dashboard', 2], ['edit dashboard', 1],
['agg based', 1], ['xy chart', 1],
// soft / generic
['dashboard', 1], ['visualization', 1], ['visualize', 1],
['panel', 1], ['split chart', 2], ['y-axis', 2],
['x-axis', 2], ['second y axis', 2], ['second axis', 2],
['data table', 1], ['line chart', 1], ['bar chart', 1],
['area chart', 1], ['pie chart', 1], ['gauge chart', 1],
['metric visualization', 2], ['timeseries', 1],
['saved visualization', 2], ['edit visualization', 2],
]],
计分逻辑是:取 title + body 的前 5,000 字符转小写,每条命中的子串规则累加其权重(scoreText,classify.mjs),15 个分类各自得到一个总分,规则如下:
- 最高分且 ≥ 1 的分类成为主分类;若所有规则都没命中但文本里提到
kibana,兜底进10-docs-and-ux;否则进99-uncategorized; - 其后得分 > 0 的最多 3 个分类成为副分类(
secondary_categories),这就是 pointers.jsonl 行数多于主分类条数的来源; - 情感用词表法:
NEG(broken/slow/crash/regression…)与POS(love/great/fast…)两个词表各自计命中数,neg > pos × 1.5判负,pos > neg × 1.5判正,其余为中性(classify.mjs)。这就是页面首行negative 907 · neutral 1118 · positive 342的出处; - 先于分类有一道噪点过滤器:以
Failing test:/Skipped test:/Flaky test:开头或匹配jest integration tests、backport to的 GitHub CI 条目直接归入99-noise,不占用任何主题分类(这也是为什么99-noise在 INDEX 中有 891 条且全部来自 github)。
规则设计的用意也在这里体现:lens、tsvb、visualization editor、dashboard builder 等强特征词权重为 3,dashboard、panel 等泛词只给 1——一篇只泛泛提到「dashboard」的帖子不会轻易压过一篇明确抱怨 Lens 的帖子。这也解释了 Top 20 表中为什么 GitHub 的「Export chart to image」能靠 chart type/导出相关特征稳居第 2,而高热的 Reddit 长帖即便泛词命中多,也只是并列出现而非统治榜单。
stats.mjs:这张页面的直接生产者
stats.mjs 读取所有 enriched.jsonl,按 category 主分类聚合成四个维度(分类计数、分类 × 来源矩阵、分类 × 情感、全库标签计数),然后输出两类文件:
INDEX.md:全库主统计表(来源规模、情感分布、17 个分类的 Items/Negative/Positive 与 Top 来源、Top 25 标签、管线命令);- 每个分类的
README.md:即本文主题页面,逐分类生成。关键片段在 stats.mjs:
const cItems = items
.filter((i) => i.category === cat) // 只统计主分类
.sort((a, b) => (b.score || 0) - (a.score || 0)); // 按热度降序
const top = cItems.slice(0, 20); // Top 20 表
...
const topTags = Object.entries(tagsHere)
.sort((a, b) => b[1] - a[1]).slice(0, 12); // Top 12 标签表
也就是说页面上两个表格没有人工编辑成分:排序键是来源平台的原始 score,Top 20 与 Top 12 都是硬截断。只要 enriched.jsonl 不变,重跑 stats.mjs 得到的页面逐字节一致(确定性输出);唯一会变化的是「Generated」语义由数据本身携带。
这张页面之后:从统计页到设计输入与面板引用
统计页不是终点。语料库的下游消费链是:stats.mjs(本页)→ themes.mjs(痛点综合)→ design-inputs.mjs(行动清单 + 前端引用模块)。
themes 层。 themes/top-pains.md 把所有负面情感 artifact 按分类排名并逐字引用,其中 01-dashboard-authoring 段列出了 907 条负面条目中得分最高的一批真实抱怨,例如:
- 「Change visualisation chart type」——选定 bar/line 之后无法直观地换回去;
- 「Second Y-Axis」——同一折线图叠加两个量纲不同的指标时无法双轴;
- 「Kibana and fixed time spans」——想在一个仪表板上让两个可视化使用不同时间跨度做不到。
design-inputs 层。 design-inputs.mjs 做了一次跨全库的「Top 50 可执行痛点」筛选:GitHub 的 enhancement|feature 标签 issue 按 reactions 取 25 条,其余负面条目按 score × 5(GitHub 加权) × (1 + log10(正文字长/50)) 的质量加权公式再取 25 条,合并去重截断到 50,按分类分组写入 themes/design-inputs.md。该文件对本分类给出的「XERJ 回应」是:
web/src/dashboards/* + edit-mode card grid · panels are JS objects, no rewrite-induced regressions(面板即 JS 对象,升级不会像传统 Kibana 那样因内部重写而弄坏已存仪表板——正是对09-upgrades-and-migration中「升级后仪表板损坏」痛点的结构性回答)。
同一脚本还负责把「痛点 → 面板」的对应关系机器化:它维护一张 DASH_TO_CATS 映射(design-inputs.mjs),声明每个 XERJ 仪表盘面板实际回应哪些 Kibana 分类,其中 01-dashboard-authoring 对应 search-discover 与 logs-overview 两个仪表盘。脚本据此为每个仪表盘挑 3 条引用,写出 themes/dashboard-citations.json,再生成前端可直接 import 的自动产物模块 xerj-ux/src/data/feedback-citations.js(文件头注明「AUTO-GENERATED by user-feedback/kibana/pipeline/design-inputs.mjs」)。最终,xerj-ux/src/dashboards/logs-overview.js 里渲染出一个 WHY THIS PANEL EXISTS · USER FEEDBACK 引用面板,把这条链路的最后一环接上:控制台上每个面板的存在理由,都能点回一条真实的、带分数、可溯源的用户反馈。
已知局限与使用前提
语料库 README 的「Honest limits」一节(user-feedback/kibana/README.md)列出的限制,对本页面同样适用,引用其中数字时应注意:
- 情感是朴素词表分类器,会误判反讽和技术性「the bug is…」句式;绝对计数要谨慎对待,跨分类的相对排序才是可靠信号——本页面 38.3% 的负面占比与全库 38.0% 基本一致,更应看的是它 2,367 条的体量排名;
- 分类器是关键词加权规则而非 LLM,Top 20 中混入的泛词命中条目(如 Zabbix、防火墙日志帖)即为此类假阳性。README 也指出把分类器换成 LLM 调用「只需十分钟改造
classify.mjs,schema 不变」; - 只采集英文语料(非英文 Reddit/SO 帖子被
kibana子串守卫丢弃);99-noise桶并非穷尽; - 数据为 2026-04-14 的最后刷新快照(INDEX.md 头部日期),页面所有数字只在该快照下成立;
- 复现前提:Node 22(仅用内置
fetch)、GitHub 全量拉取需要GH_TOKEN;分类与统计步骤是完全确定性、幂等的,重跑不会产生漂移。
小结
01-dashboard-authoring 这张统计页是 XERJ 语料库管线的一次「可审计切片」:2,367 条主分类条目来自五个公开来源,分类由 classify.mjs 中 30 条加权关键词规则决定,Top 20 与 Top 12 标签表由 stats.mjs 按热度确定性截断生成,负面计数来自双词表 1.5 倍阈值的情感判定。它的解读重点是三件事——lens/canvas/tsvb 主导的痛点结构、GitHub 高热度功能诉求(导出图片、面板级时间范围、Y 轴自适应)构成的需求信号、以及 4,598 行指针文件揭示的主/副分类交叉。再往下一层,这份统计经 themes/ 与 design-inputs.mjs 转化为设计简报和 feedback-citations.js 引用模块,直接落在 XERJ 控制台的面板上——从一条 Reddit 帖子到一个可运行面板,全链路每一步都能在仓库里找到对应文件。