hf-mirror-cli：加速Huggingface模型下载的不二之选

项目介绍

hf-mirror-cli 是一款专门为解决Huggingface模型下载速度慢问题而设计的工具。由于Huggingface的仓库地址位于海外，国内用户下载dataset和model时经常遇到速度缓慢的困扰。hf-mirror-cli利用国内镜像，大幅提升下载速度，让用户能够快速获取所需的模型资源。

项目技术分析

hf-mirror-cli采用了以下技术特点和架构设计：

• 环境检测：自动检测网络、磁盘和镜像地址是否可用，确保下载过程顺利进行。
• 网络容错：遇到网络异常时，自动重试下载，最多重试3次。
• 并发下载：支持并发执行下载任务，默认最大并发数为10，有效提高下载效率。
• 断点续传：即使下载中断，也能够从上次中断的位置继续下载，节省时间。
• 国内镜像支持：默认使用https://hf-mirror.com/作为镜像地址，并提供自定义镜像的选项。
• 官方兼容：完全兼容huggingface-cli的用法，用户无需改变使用习惯。
• 免环境配置：打包后的可执行文件内置了运行环境，无需配置Python环境和安装依赖。

项目及技术应用场景

hf-mirror-cli适用于以下场景：

• 科研人员：需要快速获取Huggingface平台上的预训练模型进行学术研究。
• 开发者：开发基于NLP或CV的AI应用，需要频繁下载不同模型进行测试。
• 教育工作者：在教学过程中，需要演示Huggingface模型的使用和应用。
• 个人用户：对Huggingface平台上的模型感兴趣，希望体验和了解其功能和性能。

项目特点

以下是hf-mirror-cli的一些显著特点：

• 高效率：通过国内镜像，下载速度大大提升，节省用户宝贵时间。
• 易用性：兼容huggingface-cli的用法，用户无需学习新的命令。
• 稳定性：网络异常时自动重试，断点续传功能确保下载任务不会因中断而失败。
• 灵活性：支持自定义镜像地址，满足不同用户的需求。

使用教程

第一种使用方法

安装hf-mirror-cli：

pip install hf-cli

直接使用：

hf-cli Intel/dynamic_tinybert

或者：

hf-cli --model-id Intel/dynamic_tinybert

遇到需要授权的模型：

hf-cli google/gemma-2b-it --token 你的Access_Token --username 你的用户名

默认使用的国内镜像地址

默认的国内镜像地址为https://hf-mirror.com/，如果需要自定义，可以通过设置环境变量HF_ENDPOINT="镜像地址"来更改。

常见问题

如果遇到“严重告警：状态码401,模型model_id：google/gemma-2b-it未授权访问或模型ID不存在”的报错，可能是模型ID输入错误或需要提供用户名和Access Token。此时，需要使用以下命令：

hf-mirror-cli google/gemma-2b-it --token 你的Access_Token --username 你的用户名

下载效果

使用hf-mirror-cli下载模型的实际效果如下：

综上所述，hf-mirror-cli是一个高效、易用且稳定的工具，它能够帮助用户快速、便捷地获取Huggingface平台上的模型，是科研人员、开发者和个人用户的理想选择。