数据处理的UNIX基础：管道、过滤器和重定向

本文基于ipeirotis/dealing_with_data项目中的UNIX基础知识教程，重点讲解数据处理中常用的UNIX命令：重定向、管道和过滤器。这些工具是数据处理和分析的基础，掌握它们能极大提高工作效率。

一、重定向操作

重定向是UNIX系统中将命令输出导向指定位置的重要机制。

1.1 基本重定向（>）

>操作符用于将命令输出重定向到文件，会覆盖目标文件原有内容。

# 获取当前位置信息并保存到文件
curl -s 'http://freegeoip.net/json/' > location.json

1.2 追加重定向（>>）

>>操作符用于将输出追加到文件末尾，不会覆盖原有内容。

# 追加天气数据到已有文件
curl "http://api.openweathermap.org/data/2.5/weather?..." >> alldata.txt

1.3 查看文件内容

使用cat命令查看文件内容：

cat location.json

带行号查看：

cat -n alldata.txt

二、管道操作

管道（|）允许将一个命令的输出作为另一个命令的输入，形成处理链。

2.1 基本管道使用

# 提取第二列并显示前3行
cut -f 2 sample.txt | head -3

三、常用过滤器

3.1 文件内容查看

cat：完整显示文件内容

cat sample.txt

head/tail：查看文件开头/结尾部分

head -n 5 sample.txt  # 前5行
tail -n 5 sample.txt  # 后5行

less（适合在终端使用）：交互式浏览大文件

3.2 列提取（cut）

提取指定列，默认以制表符分隔：

cut -f1,4 sample.txt  # 提取第1和第4列

指定分隔符：

cut -f2 -d' ' sample.txt  # 以空格分隔，提取第2列

3.3 排序（sort）

基本排序：

sort sample.txt

常用选项：

• -r：逆序排序
• -n：按数值排序
• -k n：按第n列排序
• -t：指定分隔符

sort -k 2 sample.txt  # 按第2列排序

3.4 去重（uniq）

去除连续重复行：

uniq sample.txt

统计重复次数：

uniq -c sample.txt

四、实战练习

4.1 餐厅数据处理

1. 提取餐厅名称（第2列"DBA"）并保存：

cut -d',' -f2 restaurants.csv > rest-names.txt

2. 查看最后10个餐厅名：

cut -d',' -f2 restaurants.csv | tail -10

3. 按餐厅名排序并保存：

sort -t',' -k2 restaurants.csv > sorted.csv

4. 统计餐厅名出现次数：

cut -d',' -f2 restaurants.csv | sort | uniq -c

五、总结

UNIX的管道和过滤器提供了强大的数据处理能力：

1. 重定向（>和>>）用于控制输出目标
2. 管道（|）连接多个命令形成处理流程
3. 过滤器（cut/sort/uniq等）各司其职完成特定任务

通过组合这些简单工具，可以构建复杂的数据处理流程，无需编写完整程序即可完成许多常见的数据处理任务。这种"组合式"编程是UNIX哲学的核心体现，也是数据科学家应该掌握的基本技能。