Miller工具中多条件过滤与空格处理的技巧

Miller是一个强大的命令行工具，用于处理结构化数据（如CSV、JSON等）。本文将详细介绍如何在Miller中实现多条件数据过滤，以及处理数据中常见的前后空格问题。

多条件过滤的基本语法

在Miller中，我们可以使用filter命令配合逻辑运算符来实现多条件过滤。基本语法结构如下：

mlr --csv filter '条件表达式' input.csv > output.csv

单列多值过滤

如果需要筛选某列等于多个特定值的记录，可以使用逻辑或(||)运算符：

mlr --csv filter '$COLUMN1 == "TEST1" || $COLUMN1 == "TEST2"' input.csv

多列多条件组合

当需要组合多个列的条件时，可以使用逻辑与(&&)和逻辑或(||)运算符。但需要注意运算符优先级问题：

# 方式1：先或后与
mlr --csv filter '$COLUMN1 == "TEST1" || $COLUMN1 == "TEST2" || ($COLUMN3 == "TEST3" && $COLUMN4 == "TEST4")' input.csv

# 方式2：先与后或
mlr --csv filter '($COLUMN1 == "TEST1" || $COLUMN1 == "TEST2" || $COLUMN3 == "TEST3") && $COLUMN4 == "TEST4"' input.csv

这两种写法的过滤逻辑完全不同，第一种会返回：

1. COLUMN1等于TEST1的记录，或
2. COLUMN1等于TEST2的记录，或
3. COLUMN3等于TEST3且COLUMN4等于TEST4的记录

而第二种会返回：

1. COLUMN1等于TEST1或COLUMN2等于TEST2或COLUMN3等于TEST3的记录，且
2. 这些记录必须同时满足COLUMN4等于TEST4

处理数据中的空格问题

在实际数据处理中，经常会遇到字段值前后有空格的情况，这会导致精确匹配失败。例如：

COLUMN1,COLUMN2
TEST1 ,NOT
 TEST2,NOT

解决方案1：使用clean-whitespace命令

Miller提供了专门的命令来清理字段值中的前后空格：

mlr --csv clean-whitespace input.csv > cleaned.csv

处理后的数据就可以正常进行精确匹配过滤了。

解决方案2：使用模式匹配

如果不想预处理数据，也可以在过滤条件中使用模式匹配：

mlr --csv filter '$COLUMN1 =~ "TEST1.*"' input.csv

这会匹配所有以"TEST1"开头的值，包括后面有空格的情况。

特殊字符处理

当字段值中包含点号(.)等特殊字符时，在模式匹配中需要进行转义：

mlr --csv filter '$COLUMN1 =~ "TEST\.1.*"' input.csv

最佳实践建议

1. 优先使用clean-whitespace预处理数据，确保数据干净
2. 复杂的多条件组合时，使用括号明确优先级
3. 对于可能包含特殊字符的字段值，考虑使用模式匹配而非精确匹配
4. 在处理前先用少量样本数据测试过滤条件，确保逻辑正确

通过合理运用这些技巧，可以高效地使用Miller处理各种复杂的数据过滤需求。