10分钟掌握Bash下载神器:curl与wget高级用法全解析
你是否还在为命令行下载文件时的各种错误提示发愁?是否遇到过断点续传失败、限速下载不知如何设置、批量下载无从下手的情况?本文将系统解析Linux系统中最常用的两款命令行下载工具——curl和wget的核心功能与实战技巧,通过10个精选案例带你从入门到精通,让命令行下载效率提升10倍。读完本文你将掌握:断点续传实现方法、限速下载技巧、批量URL处理、HTTP请求调试、文件上传等实用技能。
工具基础对比与环境准备
curl和wget是Linux系统中两款功能强大的命令行下载工具,它们各有侧重:curl更擅长处理各类HTTP请求和数据传输,支持更多协议(HTTP/HTTPS/FTP/SCP等);wget则以递归下载和后台下载为主要优势,适合整站镜像和批量获取文件。
项目核心文档README.md中提供了完整的命令行技巧集合,本文将聚焦下载相关功能展开详解。建议在操作前通过以下命令确认工具已安装:
# 检查curl是否安装
curl --version
# 检查wget是否安装
wget --version
单文件下载基础操作
基础下载命令对比
curl和wget的最基本用法都是直接后跟URL:
# 使用curl下载文件(需指定输出文件)
curl -o example.html http://example.com
# 使用wget下载文件(自动使用URL中的文件名)
wget http://example.com
wget默认会将文件保存为URL中的文件名,而curl需要显式使用-o参数指定输出文件。项目文档README.md第1294行展示了wget的指定文件名用法:
wget -O filename "http://example.com"
指定下载目录
当需要将文件保存到特定目录时,可使用以下参数:
# curl指定目录
curl -o /path/to/directory/filename http://example.com
# wget指定目录(项目文档[README.md](https://gitcode.com/GitHub_Trending/ba/Bash-Oneliner/blob/f9619440da405fcee1ebabe219d3c0cc5c0ef0b6/README.md?utm_source=gitcode_repo_files)第1299行)
wget -P /path/to/directory "http://example.com"
高级下载功能实战
断点续传实现
网络不稳定时,断点续传功能可以节省大量时间:
# curl断点续传(需使用-C参数)
curl -C - -o large_file.zip http://example.com/large_file.zip
# wget断点续传(默认支持-c参数)
wget -c http://example.com/large_file.zip
限速下载设置
当需要限制下载速度以避免占用过多带宽时:
# curl限速(单位:字节/秒)
curl --limit-rate 100K -o large_file.zip http://example.com/large_file.zip
# wget限速(单位:字节/秒)
wget --limit-rate=100k http://example.com/large_file.zip
跟随重定向
许多网站会通过重定向提供资源,此时需要开启跟随重定向功能。项目文档README.md第1302-1304行展示了curl的重定向处理:
# Instruct curl to follow any redirect until it reaches the final destination:
curl -L google.com
wget默认会跟随重定向,如需禁用可使用--max-redirect=0参数。
批量下载与镜像功能
基础批量下载
当需要下载多个URL时,可将URL列表保存到文件,然后使用以下方法:
# curl从文件读取URL列表(每行一个URL)
xargs -n 1 curl -O < urls.txt
# wget从文件读取URL列表
wget -i urls.txt
高级递归下载
wget在递归下载整个网站或特定类型文件方面有独特优势。项目文档README.md第1259行展示了wget的高级递归下载用法:
wget -r -l1 -H -t1 -nd -N -np -A mp3 -e robots=off http://example.com
该命令各参数含义:
-r:递归下载-l1:递归深度为1(只下载当前页面链接)-H:允许跨越主机-t1:尝试次数1次-nd:不创建目录结构-N:只下载比本地新的文件-np:不追溯至父目录-A mp3:只下载mp3文件-e robots=off:忽略robots.txt限制(项目文档README.md第1269行说明)
文件上传功能
curl不仅能下载文件,还支持多种协议的文件上传。项目文档README.md第1275行展示了通过transfer.sh服务上传文件的方法:
curl --upload-file ./filename.txt https://transfer.sh/filename.txt
上传后会返回一个下载链接,可使用以下命令下载(项目文档README.md第1279行):
curl https://transfer.sh/tG8rM/filename.txt -o filename.txt
高级HTTP请求功能
自定义请求头
在调试API或需要模拟特定浏览器时,可自定义User-Agent等请求头:
# 设置User-Agent
curl -A "Mozilla/5.0" http://example.com
# 设置Referer
curl -e "http://example.com" http://example.com/api
HTTP状态码检查
项目文档README.md第2625行展示了如何使用curl获取HTTP状态码:
curl -s -o /dev/null -w "%{http_code}" https://www.google.com
类似地,可以获取重定向URL(项目文档README.md第2630行):
curl -s -o /dev/null -w "%{redirect_url}" https://bit.ly/34EFwWC
请求时间测量
优化网络请求时,测量响应时间非常重要。项目文档README.md第2620行提供了完整的时间测量命令:
curl -v -o /dev/null -s -w 'Total: %{time_total}s\n' google.com
实用场景组合技巧
后台下载管理
长时间下载任务适合放到后台执行:
# wget后台下载(-b参数)
wget -b http://example.com/large_file.zip
# 查看后台下载日志
tail -f wget-log
命令行阅读文档
项目文档README.md第1245-1254行提供了通过curl将Markdown文档转换为不同格式阅读的技巧:
# 转换为man手册格式阅读
curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc -f markdown -t man | man -l -
# 通过w3m浏览器阅读HTML格式
curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc | w3m -T text/html
IP地址快速查询
当需要知道公网IP时,可使用项目文档README.md第2475行的命令:
curl http://checkip.amazonaws.com
常见问题解决方案
SSL证书问题处理
访问HTTPS网站时如遇证书错误,可临时使用以下参数绕过(仅用于测试环境):
# curl绕过SSL验证
curl -k https://example.com
# wget绕过SSL验证
wget --no-check-certificate https://example.com
下载速度慢的优化
除了限速功能外,还可通过以下参数优化下载速度:
# 使用多连接下载(curl)
curl -Z http://example.com/large_file.zip
# 使用多连接下载(wget)
wget -c -t 0 -w 2 --limit-rate=200k http://example.com/large_file.zip
总结与进阶学习
curl和wget作为命令行下载工具,各自拥有丰富的功能和参数。本文介绍的只是项目文档README.md中涵盖的部分下载相关功能。要深入掌握这些工具,建议:
- 查阅官方文档:
man curl和man wget - 探索项目完整文档README.md中的其他章节
- 尝试组合使用管道和其他命令行工具,如
grep、awk和xargs
通过灵活运用这些命令行工具,你可以极大提高日常工作效率,轻松应对各种下载场景。
提示:更多Bash命令行技巧可查阅项目核心文档README.md,其中包含数据处理、系统维护等多方面的实用命令。
Kimi-K2.5Kimi K2.5 是一款开源的原生多模态智能体模型,它在 Kimi-K2-Base 的基础上,通过对约 15 万亿混合视觉和文本 tokens 进行持续预训练构建而成。该模型将视觉与语言理解、高级智能体能力、即时模式与思考模式,以及对话式与智能体范式无缝融合。Python00
GLM-4.7-FlashGLM-4.7-Flash 是一款 30B-A3B MoE 模型。作为 30B 级别中的佼佼者,GLM-4.7-Flash 为追求性能与效率平衡的轻量化部署提供了全新选择。Jinja00
VLOOKVLOOK™ 是优雅好用的 Typora/Markdown 主题包和增强插件。 VLOOK™ is an elegant and practical THEME PACKAGE × ENHANCEMENT PLUGIN for Typora/Markdown.Less00
PaddleOCR-VL-1.5PaddleOCR-VL-1.5 是 PaddleOCR-VL 的新一代进阶模型,在 OmniDocBench v1.5 上实现了 94.5% 的全新 state-of-the-art 准确率。 为了严格评估模型在真实物理畸变下的鲁棒性——包括扫描伪影、倾斜、扭曲、屏幕拍摄和光照变化——我们提出了 Real5-OmniDocBench 基准测试集。实验结果表明,该增强模型在新构建的基准测试集上达到了 SOTA 性能。此外,我们通过整合印章识别和文本检测识别(text spotting)任务扩展了模型的能力,同时保持 0.9B 的超紧凑 VLM 规模,具备高效率特性。Python00
KuiklyUI基于KMP技术的高性能、全平台开发框架,具备统一代码库、极致易用性和动态灵活性。 Provide a high-performance, full-platform development framework with unified codebase, ultimate ease of use, and dynamic flexibility. 注意:本仓库为Github仓库镜像,PR或Issue请移步至Github发起,感谢支持!Kotlin07
compass-metrics-modelMetrics model project for the OSS CompassPython00