Miller 入门:用类 awk 的方式处理 CSV、TSV、JSON 等名称索引数据的命令行瑞士军刀
Miller 入门:用类 awk 的方式处理 CSV、TSV、JSON 等名称索引数据的命令行瑞士军刀
本文是 Miller 官方文档《Introduction》的深度导读。Miller 是一个面向名称索引数据(name-indexed data)的命令行工具,可用于查询、整形和重格式化 CSV、TSV、JSON、JSON Lines、YAML、DCF 等格式的文件。读完本文,你将掌握 Miller 的定位与适用场景、基本命令结构(flags + verbs + 文件)、
sort/head/cut等动词与put/filterDSL 编程语言两种操作范式,以及格式转换、数据处理和管道协作的核心用法。
Miller 是什么
Miller 是一个命令行工具,用于以各种格式查询、整形和重格式化数据文件,包括 CSV、TSV、JSON、JSON Lines、YAML 和 DCF。
项目自述将其定位为“like awk, sed, cut, join, and sort for name-indexed data”——也就是说,它像 awk、sed、cut、join、sort 一样工作,但面向的是带字段名(key)索引的结构化数据。你可以从 README.md 以及官方文档首页 docs/src/index.md 看到这一定位。
大背景(The big picture): 即使进入 21 世纪很久之后,我们的世界依然充满了 CSV 这类文本格式的数据。因此我们既需要能在 CSV 世界里“游刃有余”地处理数据的工具,也需要能“超越 CSV”、把数据抽取出来送入其他存储与处理系统的工具。Miller 正是为这两个目标而设计的。
从多个角度看,Miller 都“不止是一个工具”:
- 格式转换(Format conversion): 你可以把 CSV 转成 JSON(反之亦然),也可以把数据横向或纵向“pretty-print”,让数据更易读。
- 数据处理(Data manipulation): 只需敲几下键盘,就能删掉不关心的列——或者生成新的列。
- 预处理/后处理与独立使用: 你可以用 Miller 清洗数据文件、整理成标准格式,为后续加载到数据库或无人值守的数据处理流水线做准备;也可以对数据库查询输出做后处理和汇总;还可以交互式地探索和分析数据。
- 紧凑动词 vs 编程语言: 低击键量的场景下,直接使用
sort、head这类动词;复杂逻辑则通过put动词中的编程语言语句表达。 - 多领域适用: 数据分析、数据科学、软件工程、DevOps/系统管理、新闻业、科研等场景都有人在用 Miller。
命令结构与快速上手
一条 Miller 命令的基本轮廓是(详见 Miller command structure):
- 程序名
mlr; - 控制输入/输出格式等行为的标志(flags),完整清单见 flags reference;
- 一个或多个动词(verbs)——如
cut、sort等(见 verbs reference)——用then串联成链(见 then-chaining),用于变换数据; - 零个或多个文件名;若没有文件名,则从标准输入读取(也可以用
--from/--mfrom把文件名放到命令最前面,见 keystroke-savers)。
从文件读取:
mlr --icsv --opprint head -n 2 then sort -f shape example.csv
从标准输入读取(与 Unix 管道协作的典型姿势):
cat example.csv | mlr --icsv --opprint head -n 2 then sort -f shape
两种方式得到相同的输出:
color shape flag k index quantity rate
red square true 2 15 79.2778 0.0130
yellow triangle true 1 11 43.6498 9.8870
在上面的例子中,--icsv 声明输入是 CSV 格式,--opprint 声明输出是 PPRINT(对齐的表格)格式,head -n 2 取前两条记录,then 把动词串成链,sort -f shape 按 shape 字段排序。
退出码
命令结束后用 echo $? 查看的退出码含义如下(见 Exit codes):
0:正常退出;1:遇到错误。此时 stderr 上应有帮助信息;2:Go 运行时发生panic,会输出大量堆栈跟踪行。
从源码看命令如何被组织
Miller 的可执行文件入口在 cmd/mlr/main.go:它先处理 --cpuprofile、--traceprofile、--time 等全局选项,然后把真正的业务逻辑交给 entrypoint.Main()。整个“读记录 → 变换 → 写记录”的高层骨架位于 pkg/stream/stream.go:Stream 函数根据命令行标志实例化格式相关的 record-reader 与 record-writer,建立输入通道、输出通道和错误通道,让记录从读取器出发、穿过动词链(transformers)、到达写入器。这也解释了为什么 Miller 天然是流式(streaming)的:见 Streaming processing and memory usage。
动词(Verbs):紧凑的字段感知命令
低击键量的场景下,你可以这样写:
mlr --csv sort -f name input.csv
mlr --json head -n 1 myfile.json
这里的 sort、head 等被称为动词(verbs)。它们是大家熟悉的 sort、head 等系统命令的“同类物”,区别在于它们感知名称索引、多行的文件格式(如 CSV、TSV、JSON、YAML、DCF),并且可以按字段名引用数据。
动词是可选的:如果省略,Miller 会表现得像写了 cat 一样,这对纯格式转换非常方便,例如 mlr --c2j < input.csv。完整的动词清单见 List of verbs,常见的有 cut(删列)、sort(排序)、head/tail、group-by、stats1/stats2(统计)、join(连接)、count-distinct、histogram、top 等。例如按组求和:
mlr stats1 -a sum -f x -g a data/small
输出:
a=pan,x_sum=0.346791
a=eks,x_sum=1.140078
a=wye,x_sum=0.777891
动词用 Go 实现(源码位于 pkg/transformers/),运行稍快、击键更少、学习成本更低,但定制能力限于各动词自身的选项。
put 与 filter:Miller 编程语言(DSL)
除了紧凑动词,Miller 还内置了一门领域特定语言(DSL),通过 put 和 filter 两个动词使用。例如,用 put 根据已有字段计算新字段:
mlr --csv put '$rate = $units / $seconds' input.csv
$rate 表示“当前记录的 rate 字段”,$units、$seconds 同理——你可以用这种表达式简洁地表达自己的业务逻辑。
同样是用编程语言实现上面的按组求和:
mlr put -q '@x_sum[$a] += $x; end{emit @x_sum, "a"}' data/small
输出与 stats1 一致:
a=pan,x_sum=0.346791
a=eks,x_sum=1.140078
a=wye,x_sum=0.777891
与动词相比,DSL 的特点正好互补:你可以编写任意表达式(在 miller-programming-language 中了解入门,在 DSL Reference 中查阅完整语言参考),运行稍慢、击键更多、学习曲线更陡,但定制能力极强。DSL 支持用户自定义函数与子程序(user-defined functions)、begin/end 块、$*(当前记录全体字段的 map)与 @*(全部跨流变量 out-of-stream variables 的 map,见 DSL variables)、以及 emit/emitf/emitp 等输出语句(DSL output statements)。
Miller 的 DSL 是嵌入式的领域特定语言:Miller 可执行文件并没有内嵌 Python 或 Lua 来执行 put/filter 语句,而是自带一套语法与语义(对应 pkg/dsl/、pkg/parsing/ 与 pkg/bifs/ 目录下的实现)。
核心思想:各种文件格式都是“键值对列表”
你可能已经注意到,CSV、TSV、表格、JSON 等文件格式共享一个共同主题:它们本质上都是键值对(key-value pair)的列表。Miller 正是拥抱这一共同主题而设计的。
- 记录(record): 一个有序的键值对列表。Miller 的基本流式操作就是:按输入格式从文件中一次读取一条记录,用你指定的一个或多个动词变换它,再按输出格式打印。在 glossary 中有完整术语表(record、field、key、value、streaming 等)。
- 字段(field): 记录中的一个键值对。
- 键(key)/ 值(value): 键是 map 中的字符串索引(也是记录中字段的名字),值是键所索引的东西。
- 流式处理(streaming): 一条记录一条记录地处理,因此(a)输入还没读完就能产生输出,(b)内存占用通常有界,能处理大于系统内存的数据文件。大多数 Miller 操作是流式的;少数如
sort需要先看到全部数据再输出,属于非流式。
支持的格式一览
Miller 面向“名称索引数据”,支持多种格式,既包括你熟悉的 CSV、TSV、JSON、JSON Lines、YAML、DCF,也包括一些面向键值对场景的专有格式(详见 file-formats):
| 格式 | 说明 | 一句话示例 |
|---|---|---|
| CSV / CSV-lite | 逗号分隔、带独立表头行;--csv 遵循 RFC-4180 |
a,b,c + 数据行 |
| TSV / TSV-lite | 同 CSV 但分隔符为制表符 | 同上,\t 分隔 |
| JSON | 对象数组;单层对象即一张表 | [{"a":1,"b":2}] |
| JSON Lines | 每行一个 JSON 对象,无最外层 [...] |
{"a":1,"b":2} |
| YAML | 支持单文档或多文档(--- 分隔) |
a: 1 |
| PPRINT | 列对齐的表格输出 | 对齐排版 |
| XTAB | 纵向表格,适合列很多很宽的数据 | key value 逐行 |
| DKVP | 分隔的键值对,x=1,y=2 形式,Miller 默认格式 |
a=1,b=2 |
| DKVPX | DKVP + CSV 式引号转义 | "x,y"="a,b",z=3 |
| NIDX | 隐式数字索引,Unix 工具风格 | the quick brown → 1=the,2=quick,... |
| DCF | Debian 控制文件格式 | Package: foo |
| recutils | GNU recutils 记录格式 | Name: Mr. Foo |
这些格式的读写器分别实现在 pkg/input/ 与 pkg/output/ 目录下,例如 CSV 读写在 pkg/input/record_reader_csv.go 与 pkg/output/record_writer_csv.go,DKVP 读写在 pkg/input/record_reader_dkvp_nidx.go 与 pkg/output/record_writer_dkvp.go。
典型实战场景
1. 格式转换
纯格式转换是 Miller 最常用的场景之一。动词缺省为 cat,所以可以省略动词:
mlr --c2j cat example.csv
甚至可以更简:
mlr --c2j --from example.csv
--c2j 是“CSV 进、JSON 出”的击键省写(keystroke-saver)。类似地还有 --c2p(CSV 进、PPRINT 出)、--j2c、--j2p 等等,完整的“In\out”速查矩阵见 file-formats 的 keystroke-savers 一节,例如:
mlr --c2p head -n 2 example.csv:CSV 转成对齐表格;mlr --icsv --ojsonl head -n 2 example.csv:CSV 转成 JSON Lines(每行一条记录,无最外层[...])。
mlr help format-conversion-keystroke-saver-flags 也可以随时打印这份矩阵。格式转换时的输入输出标志非常灵活,甚至支持 ASV(ASCII 分隔值)、USV(Unicode 分隔值)以及压缩文件(见 Compressed data)。
2. 数据清洗与列操作
处理 CSV 时,动词 + 按名引用字段的能力让清洗工作变得很短。例如删掉不关心的列:
mlr --csv cut -f name,quantity input.csv
排序、取前几条:
mlr --c2p --from example.csv sort -nr index then head -n 3
--from 把文件名放到命令最前面,方便你在交互式命令行里反复“上箭头 + 追加动词”。多个输入文件用 --mfrom,以 -- 结束文件列表;也可以把文件名逐行写进一个文件,用 --files 传入:
mlr --c2p --mfrom data/*.csv -- sort -n index
mlr --c2p --files data/filenames.txt cat
更短的别名也随时可用:-c 等价于 --csv,-t 等价于 --tsv,-j 等价于 --json。
3. 日志与键值对数据
Miller 的默认格式是 DKVP(a=1,b=2,c=3)。日志场景非常契合这种格式——例如应用服务器日志里散落着 resource=/path/to/file,loadsec=0.45,ok=true 这样的行。用 grep、mlr --opprint group-like 等就能分析这类日志(详见 DKVP 一节)。仓库 data/ 目录下的 small、small2、het 等文件可作为练习数据。
4. 更简化的默认设置:.mlrrc
如果希望 Miller 的默认文件格式是 CSV,可以在 ~/.mlrrc 文件中单独写一行 --csv。之后 mlr cat example.csv 就等价于 mlr --csv cat example.csv。这只是一个个人默认值,mlr --opprint cat example.csv 仍会按你的显式标志输出 PPRINT 格式。详见 Customization。
结语与进一步阅读
Miller 的精髓可以概括为一句话:所有表格式数据都是键值对的列表,而 Miller 用一套紧凑动词加一门可编程 DSL,让你以 Unix 工具的方式操纵它们。它的“不止一个工具”定位——格式转换、数据操作、预处理/后处理、独立交互探索——使其在数据分析、DevOps、软件工程等场景中都能即插即用。
继续深入可以参考仓库中的以下资料:
- 10 分钟上手:10min
- 命令结构详解:reference-main-overview
- 全部标志:reference-main-flag-list
- 全部动词:reference-verbs
- 内置函数:reference-dsl-builtin-functions
- DSL 完整参考:reference-dsl
- 格式详解与转换矩阵:file-formats
- 术语表:glossary
- 交互式探索:repl
- 性能与流式内存模型:performance、streaming-and-memory
