Miller 入门:用类 awk 的方式处理 CSV、TSV、JSON 等名称索引数据的命令行瑞士军刀

原创2026-09-23 17:28:501,408 阅读
文章标签:CLI数据分析

Miller 入门:用类 awk 的方式处理 CSV、TSV、JSON 等名称索引数据的命令行瑞士军刀

本文是 Miller 官方文档《Introduction》的深度导读。Miller 是一个面向名称索引数据(name-indexed data)的命令行工具,可用于查询、整形和重格式化 CSV、TSV、JSON、JSON Lines、YAML、DCF 等格式的文件。读完本文,你将掌握 Miller 的定位与适用场景、基本命令结构(flags + verbs + 文件)、sort/head/cut 等动词与 put/filter DSL 编程语言两种操作范式,以及格式转换、数据处理和管道协作的核心用法。

Miller 核心操作示意图:CSV 到 JSON 的格式转换、过滤、排序与计算新列

Miller 是什么

Miller 是一个命令行工具,用于以各种格式查询、整形和重格式化数据文件,包括 CSV、TSV、JSON、JSON Lines、YAML 和 DCF。

项目自述将其定位为“like awk, sed, cut, join, and sort for name-indexed data”——也就是说,它像 awk、sed、cut、join、sort 一样工作,但面向的是带字段名(key)索引的结构化数据。你可以从 README.md 以及官方文档首页 docs/src/index.md 看到这一定位。

大背景(The big picture): 即使进入 21 世纪很久之后,我们的世界依然充满了 CSV 这类文本格式的数据。因此我们既需要能在 CSV 世界里“游刃有余”地处理数据的工具,也需要能“超越 CSV”、把数据抽取出来送入其他存储与处理系统的工具。Miller 正是为这两个目标而设计的。

从多个角度看,Miller 都“不止是一个工具”:

  • 格式转换(Format conversion): 你可以把 CSV 转成 JSON(反之亦然),也可以把数据横向或纵向“pretty-print”,让数据更易读。
  • 数据处理(Data manipulation): 只需敲几下键盘,就能删掉不关心的列——或者生成新的列。
  • 预处理/后处理与独立使用: 你可以用 Miller 清洗数据文件、整理成标准格式,为后续加载到数据库或无人值守的数据处理流水线做准备;也可以对数据库查询输出做后处理和汇总;还可以交互式地探索和分析数据。
  • 紧凑动词 vs 编程语言: 低击键量的场景下,直接使用 sort、head 这类动词;复杂逻辑则通过 put 动词中的编程语言语句表达。
  • 多领域适用: 数据分析、数据科学、软件工程、DevOps/系统管理、新闻业、科研等场景都有人在用 Miller。

命令结构与快速上手

一条 Miller 命令的基本轮廓是(详见 Miller command structure):

  1. 程序名 mlr;
  2. 控制输入/输出格式等行为的标志(flags),完整清单见 flags reference;
  3. 一个或多个动词(verbs)——如 cut、sort 等(见 verbs reference)——用 then 串联成链(见 then-chaining),用于变换数据;
  4. 零个或多个文件名;若没有文件名,则从标准输入读取(也可以用 --from / --mfrom 把文件名放到命令最前面,见 keystroke-savers)。

从文件读取:

mlr --icsv --opprint head -n 2 then sort -f shape example.csv

从标准输入读取(与 Unix 管道协作的典型姿势):

cat example.csv | mlr --icsv --opprint head -n 2 then sort -f shape

两种方式得到相同的输出:

color  shape    flag k index quantity rate
red    square   true 2 15    79.2778  0.0130
yellow triangle true 1 11    43.6498  9.8870

在上面的例子中,--icsv 声明输入是 CSV 格式,--opprint 声明输出是 PPRINT(对齐的表格)格式,head -n 2 取前两条记录,then 把动词串成链,sort -f shape 按 shape 字段排序。

退出码

命令结束后用 echo $? 查看的退出码含义如下(见 Exit codes):

  • 0:正常退出;
  • 1:遇到错误。此时 stderr 上应有帮助信息;
  • 2:Go 运行时发生 panic,会输出大量堆栈跟踪行。

从源码看命令如何被组织

Miller 的可执行文件入口在 cmd/mlr/main.go:它先处理 --cpuprofile、--traceprofile、--time 等全局选项,然后把真正的业务逻辑交给 entrypoint.Main()。整个“读记录 → 变换 → 写记录”的高层骨架位于 pkg/stream/stream.go:Stream 函数根据命令行标志实例化格式相关的 record-reader 与 record-writer,建立输入通道、输出通道和错误通道,让记录从读取器出发、穿过动词链(transformers)、到达写入器。这也解释了为什么 Miller 天然是流式(streaming)的:见 Streaming processing and memory usage。

动词(Verbs):紧凑的字段感知命令

低击键量的场景下,你可以这样写:

mlr --csv sort -f name input.csv
mlr --json head -n 1 myfile.json

这里的 sort、head 等被称为动词(verbs)。它们是大家熟悉的 sort、head 等系统命令的“同类物”,区别在于它们感知名称索引、多行的文件格式(如 CSV、TSV、JSON、YAML、DCF),并且可以按字段名引用数据。

动词是可选的:如果省略,Miller 会表现得像写了 cat 一样,这对纯格式转换非常方便,例如 mlr --c2j < input.csv。完整的动词清单见 List of verbs,常见的有 cut(删列)、sort(排序)、head/tail、group-by、stats1/stats2(统计)、join(连接)、count-distinct、histogram、top 等。例如按组求和:

mlr stats1 -a sum -f x -g a data/small

输出:

a=pan,x_sum=0.346791
a=eks,x_sum=1.140078
a=wye,x_sum=0.777891

动词用 Go 实现(源码位于 pkg/transformers/),运行稍快、击键更少、学习成本更低,但定制能力限于各动词自身的选项。

put 与 filter:Miller 编程语言(DSL)

除了紧凑动词,Miller 还内置了一门领域特定语言(DSL),通过 put 和 filter 两个动词使用。例如,用 put 根据已有字段计算新字段:

mlr --csv put '$rate = $units / $seconds' input.csv

$rate 表示“当前记录的 rate 字段”,$units、$seconds 同理——你可以用这种表达式简洁地表达自己的业务逻辑。

同样是用编程语言实现上面的按组求和:

mlr put -q '@x_sum[$a] += $x; end{emit @x_sum, "a"}' data/small

输出与 stats1 一致:

a=pan,x_sum=0.346791
a=eks,x_sum=1.140078
a=wye,x_sum=0.777891

与动词相比,DSL 的特点正好互补:你可以编写任意表达式(在 miller-programming-language 中了解入门,在 DSL Reference 中查阅完整语言参考),运行稍慢、击键更多、学习曲线更陡,但定制能力极强。DSL 支持用户自定义函数与子程序(user-defined functions)、begin/end 块、$*(当前记录全体字段的 map)与 @*(全部跨流变量 out-of-stream variables 的 map,见 DSL variables)、以及 emit/emitf/emitp 等输出语句(DSL output statements)。

Miller 的 DSL 是嵌入式的领域特定语言:Miller 可执行文件并没有内嵌 Python 或 Lua 来执行 put/filter 语句,而是自带一套语法与语义(对应 pkg/dsl/、pkg/parsing/ 与 pkg/bifs/ 目录下的实现)。

核心思想:各种文件格式都是“键值对列表”

你可能已经注意到,CSV、TSV、表格、JSON 等文件格式共享一个共同主题:它们本质上都是键值对(key-value pair)的列表。Miller 正是拥抱这一共同主题而设计的。

  • 记录(record): 一个有序的键值对列表。Miller 的基本流式操作就是:按输入格式从文件中一次读取一条记录,用你指定的一个或多个动词变换它,再按输出格式打印。在 glossary 中有完整术语表(record、field、key、value、streaming 等)。
  • 字段(field): 记录中的一个键值对。
  • 键(key)/ 值(value): 键是 map 中的字符串索引(也是记录中字段的名字),值是键所索引的东西。
  • 流式处理(streaming): 一条记录一条记录地处理,因此(a)输入还没读完就能产生输出,(b)内存占用通常有界,能处理大于系统内存的数据文件。大多数 Miller 操作是流式的;少数如 sort 需要先看到全部数据再输出,属于非流式。

支持的格式一览

Miller 面向“名称索引数据”,支持多种格式,既包括你熟悉的 CSV、TSV、JSON、JSON Lines、YAML、DCF,也包括一些面向键值对场景的专有格式(详见 file-formats):

格式 说明 一句话示例
CSV / CSV-lite 逗号分隔、带独立表头行;--csv 遵循 RFC-4180 a,b,c + 数据行
TSV / TSV-lite 同 CSV 但分隔符为制表符 同上,\t 分隔
JSON 对象数组;单层对象即一张表 [{"a":1,"b":2}]
JSON Lines 每行一个 JSON 对象,无最外层 [...] {"a":1,"b":2}
YAML 支持单文档或多文档(--- 分隔) a: 1
PPRINT 列对齐的表格输出 对齐排版
XTAB 纵向表格,适合列很多很宽的数据 key value 逐行
DKVP 分隔的键值对,x=1,y=2 形式,Miller 默认格式 a=1,b=2
DKVPX DKVP + CSV 式引号转义 "x,y"="a,b",z=3
NIDX 隐式数字索引,Unix 工具风格 the quick brown → 1=the,2=quick,...
DCF Debian 控制文件格式 Package: foo
recutils GNU recutils 记录格式 Name: Mr. Foo

这些格式的读写器分别实现在 pkg/input/ 与 pkg/output/ 目录下,例如 CSV 读写在 pkg/input/record_reader_csv.go 与 pkg/output/record_writer_csv.go,DKVP 读写在 pkg/input/record_reader_dkvp_nidx.go 与 pkg/output/record_writer_dkvp.go。

典型实战场景

1. 格式转换

纯格式转换是 Miller 最常用的场景之一。动词缺省为 cat,所以可以省略动词:

mlr --c2j cat example.csv

甚至可以更简:

mlr --c2j --from example.csv

--c2j 是“CSV 进、JSON 出”的击键省写(keystroke-saver)。类似地还有 --c2p(CSV 进、PPRINT 出)、--j2c、--j2p 等等,完整的“In\out”速查矩阵见 file-formats 的 keystroke-savers 一节,例如:

  • mlr --c2p head -n 2 example.csv:CSV 转成对齐表格;
  • mlr --icsv --ojsonl head -n 2 example.csv:CSV 转成 JSON Lines(每行一条记录,无最外层 [...])。

mlr help format-conversion-keystroke-saver-flags 也可以随时打印这份矩阵。格式转换时的输入输出标志非常灵活,甚至支持 ASV(ASCII 分隔值)、USV(Unicode 分隔值)以及压缩文件(见 Compressed data)。

2. 数据清洗与列操作

处理 CSV 时,动词 + 按名引用字段的能力让清洗工作变得很短。例如删掉不关心的列:

mlr --csv cut -f name,quantity input.csv

排序、取前几条:

mlr --c2p --from example.csv sort -nr index then head -n 3

--from 把文件名放到命令最前面,方便你在交互式命令行里反复“上箭头 + 追加动词”。多个输入文件用 --mfrom,以 -- 结束文件列表;也可以把文件名逐行写进一个文件,用 --files 传入:

mlr --c2p --mfrom data/*.csv -- sort -n index
mlr --c2p --files data/filenames.txt cat

更短的别名也随时可用:-c 等价于 --csv,-t 等价于 --tsv,-j 等价于 --json。

3. 日志与键值对数据

Miller 的默认格式是 DKVP(a=1,b=2,c=3)。日志场景非常契合这种格式——例如应用服务器日志里散落着 resource=/path/to/file,loadsec=0.45,ok=true 这样的行。用 grep、mlr --opprint group-like 等就能分析这类日志(详见 DKVP 一节)。仓库 data/ 目录下的 small、small2、het 等文件可作为练习数据。

4. 更简化的默认设置:.mlrrc

如果希望 Miller 的默认文件格式是 CSV,可以在 ~/.mlrrc 文件中单独写一行 --csv。之后 mlr cat example.csv 就等价于 mlr --csv cat example.csv。这只是一个个人默认值,mlr --opprint cat example.csv 仍会按你的显式标志输出 PPRINT 格式。详见 Customization。

结语与进一步阅读

Miller 的精髓可以概括为一句话:所有表格式数据都是键值对的列表,而 Miller 用一套紧凑动词加一门可编程 DSL,让你以 Unix 工具的方式操纵它们。它的“不止一个工具”定位——格式转换、数据操作、预处理/后处理、独立交互探索——使其在数据分析、DevOps、软件工程等场景中都能即插即用。

继续深入可以参考仓库中的以下资料:

登录后查看全文
miller