首页
/ 10分钟掌握Bash下载神器:curl与wget高级用法全解析

10分钟掌握Bash下载神器:curl与wget高级用法全解析

2026-02-04 05:08:51作者:晏闻田Solitary

你是否还在为命令行下载文件时的各种错误提示发愁?是否遇到过断点续传失败、限速下载不知如何设置、批量下载无从下手的情况?本文将系统解析Linux系统中最常用的两款命令行下载工具——curl和wget的核心功能与实战技巧,通过10个精选案例带你从入门到精通,让命令行下载效率提升10倍。读完本文你将掌握:断点续传实现方法、限速下载技巧、批量URL处理、HTTP请求调试、文件上传等实用技能。

工具基础对比与环境准备

curl和wget是Linux系统中两款功能强大的命令行下载工具,它们各有侧重:curl更擅长处理各类HTTP请求和数据传输,支持更多协议(HTTP/HTTPS/FTP/SCP等);wget则以递归下载和后台下载为主要优势,适合整站镜像和批量获取文件。

项目核心文档README.md中提供了完整的命令行技巧集合,本文将聚焦下载相关功能展开详解。建议在操作前通过以下命令确认工具已安装:

# 检查curl是否安装
curl --version

# 检查wget是否安装
wget --version

单文件下载基础操作

基础下载命令对比

curl和wget的最基本用法都是直接后跟URL:

# 使用curl下载文件(需指定输出文件)
curl -o example.html http://example.com

# 使用wget下载文件(自动使用URL中的文件名)
wget http://example.com

wget默认会将文件保存为URL中的文件名,而curl需要显式使用-o参数指定输出文件。项目文档README.md第1294行展示了wget的指定文件名用法:

wget -O filename "http://example.com"

指定下载目录

当需要将文件保存到特定目录时,可使用以下参数:

# curl指定目录
curl -o /path/to/directory/filename http://example.com

# wget指定目录(项目文档[README.md](https://gitcode.com/GitHub_Trending/ba/Bash-Oneliner/blob/f9619440da405fcee1ebabe219d3c0cc5c0ef0b6/README.md?utm_source=gitcode_repo_files)第1299行)
wget -P /path/to/directory "http://example.com"

高级下载功能实战

断点续传实现

网络不稳定时,断点续传功能可以节省大量时间:

# curl断点续传(需使用-C参数)
curl -C - -o large_file.zip http://example.com/large_file.zip

# wget断点续传(默认支持-c参数)
wget -c http://example.com/large_file.zip

限速下载设置

当需要限制下载速度以避免占用过多带宽时:

# curl限速(单位:字节/秒)
curl --limit-rate 100K -o large_file.zip http://example.com/large_file.zip

# wget限速(单位:字节/秒)
wget --limit-rate=100k http://example.com/large_file.zip

跟随重定向

许多网站会通过重定向提供资源,此时需要开启跟随重定向功能。项目文档README.md第1302-1304行展示了curl的重定向处理:

# Instruct curl to follow any redirect until it reaches the final destination:
curl -L google.com

wget默认会跟随重定向,如需禁用可使用--max-redirect=0参数。

批量下载与镜像功能

基础批量下载

当需要下载多个URL时,可将URL列表保存到文件,然后使用以下方法:

# curl从文件读取URL列表(每行一个URL)
xargs -n 1 curl -O < urls.txt

# wget从文件读取URL列表
wget -i urls.txt

高级递归下载

wget在递归下载整个网站或特定类型文件方面有独特优势。项目文档README.md第1259行展示了wget的高级递归下载用法:

wget -r -l1 -H -t1 -nd -N -np -A mp3 -e robots=off http://example.com

该命令各参数含义:

  • -r:递归下载
  • -l1:递归深度为1(只下载当前页面链接)
  • -H:允许跨越主机
  • -t1:尝试次数1次
  • -nd:不创建目录结构
  • -N:只下载比本地新的文件
  • -np:不追溯至父目录
  • -A mp3:只下载mp3文件
  • -e robots=off:忽略robots.txt限制(项目文档README.md第1269行说明)

文件上传功能

curl不仅能下载文件,还支持多种协议的文件上传。项目文档README.md第1275行展示了通过transfer.sh服务上传文件的方法:

curl --upload-file ./filename.txt https://transfer.sh/filename.txt

上传后会返回一个下载链接,可使用以下命令下载(项目文档README.md第1279行):

curl https://transfer.sh/tG8rM/filename.txt -o filename.txt

高级HTTP请求功能

自定义请求头

在调试API或需要模拟特定浏览器时,可自定义User-Agent等请求头:

# 设置User-Agent
curl -A "Mozilla/5.0" http://example.com

# 设置Referer
curl -e "http://example.com" http://example.com/api

HTTP状态码检查

项目文档README.md第2625行展示了如何使用curl获取HTTP状态码:

curl -s -o /dev/null -w "%{http_code}" https://www.google.com

类似地,可以获取重定向URL(项目文档README.md第2630行):

curl -s -o /dev/null -w "%{redirect_url}" https://bit.ly/34EFwWC

请求时间测量

优化网络请求时,测量响应时间非常重要。项目文档README.md第2620行提供了完整的时间测量命令:

curl -v -o /dev/null -s -w 'Total: %{time_total}s\n' google.com

实用场景组合技巧

后台下载管理

长时间下载任务适合放到后台执行:

# wget后台下载(-b参数)
wget -b http://example.com/large_file.zip

# 查看后台下载日志
tail -f wget-log

命令行阅读文档

项目文档README.md第1245-1254行提供了通过curl将Markdown文档转换为不同格式阅读的技巧:

# 转换为man手册格式阅读
curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc -f markdown -t man | man -l -

# 通过w3m浏览器阅读HTML格式
curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc | w3m -T text/html

IP地址快速查询

当需要知道公网IP时,可使用项目文档README.md第2475行的命令:

curl http://checkip.amazonaws.com

常见问题解决方案

SSL证书问题处理

访问HTTPS网站时如遇证书错误,可临时使用以下参数绕过(仅用于测试环境):

# curl绕过SSL验证
curl -k https://example.com

# wget绕过SSL验证
wget --no-check-certificate https://example.com

下载速度慢的优化

除了限速功能外,还可通过以下参数优化下载速度:

# 使用多连接下载(curl)
curl -Z http://example.com/large_file.zip

# 使用多连接下载(wget)
wget -c -t 0 -w 2 --limit-rate=200k http://example.com/large_file.zip

总结与进阶学习

curl和wget作为命令行下载工具,各自拥有丰富的功能和参数。本文介绍的只是项目文档README.md中涵盖的部分下载相关功能。要深入掌握这些工具,建议:

  1. 查阅官方文档:man curlman wget
  2. 探索项目完整文档README.md中的其他章节
  3. 尝试组合使用管道和其他命令行工具,如grepawkxargs

通过灵活运用这些命令行工具,你可以极大提高日常工作效率,轻松应对各种下载场景。

提示:更多Bash命令行技巧可查阅项目核心文档README.md,其中包含数据处理、系统维护等多方面的实用命令。

登录后查看全文
热门项目推荐
相关项目推荐