Hoarder项目视频下载功能配置指南

Hoarder作为一款优秀的内容抓取工具，其视频下载功能在实际使用中需要特别注意配置方式。本文将详细介绍如何正确启用在线视频下载功能，并解析相关配置参数的技术细节。

功能背景

Hoarder的视频抓取功能基于yt-dlp实现，这是一个强大的视频下载工具，能够处理包括多个视频平台在内的内容。默认情况下，该功能处于禁用状态，需要手动开启。

核心配置参数

系统提供了三个关键环境变量控制视频下载行为：

1. 视频下载开关
   通过CRAWLER_VIDEO_DOWNLOAD参数控制，设置为true时启用视频下载功能。这是基础开关，必须首先开启。

2. 文件大小限制
   CRAWLER_VIDEO_DOWNLOAD_MAX_SIZE参数以MB为单位设置最大下载尺寸。默认50MB，设置为-1可禁用限制。系统会根据此值自动选择适当的视频质量。

3. 超时设置
   CRAWLER_VIDEO_DOWNLOAD_TIMEOUT_SEC定义下载超时时间（秒），默认600秒（10分钟）。对于大文件或慢速连接可适当增加。

配置建议

对于Docker部署环境，建议通过以下方式配置：

1. 在docker-compose.yml的环境变量部分添加：

   environment:
     - CRAWLER_VIDEO_DOWNLOAD=true
     - CRAWLER_VIDEO_DOWNLOAD_MAX_SIZE=100
   

2. 或者通过.env文件配置：

   CRAWLER_VIDEO_DOWNLOAD=true
   CRAWLER_VIDEO_DOWNLOAD_MAX_SIZE=100
   CRAWLER_VIDEO_DOWNLOAD_TIMEOUT_SEC=1200
   

常见问题排查

1. 功能未生效
   检查日志中是否出现"video download disabled"提示，确认环境变量已正确加载。

2. 下载中断
   适当增加超时时间和最大文件尺寸限制，特别是对于高清视频。

3. 质量选择
   系统会根据设置的大小限制自动选择质量，如需更高画质可增大MAX_SIZE值。

技术原理

Hoarder的视频下载功能实际上是通过调用yt-dlp命令行工具实现的。当启用下载功能后，系统会：

1. 解析视频页面URL
2. 调用yt-dlp获取可用格式列表
3. 根据配置的大小限制选择最合适的格式
4. 执行下载并保存到存储系统

最佳实践

1. 对于测试环境，建议先设置较小的MAX_SIZE值验证功能
2. 生产环境中，根据存储空间和网络带宽合理设置参数
3. 定期检查日志中的下载耗时，优化超时设置
4. 考虑使用缓存机制减少重复下载

通过合理配置这些参数，用户可以充分利用Hoarder强大的视频抓取能力，构建高效的内容归档系统。