【AI之路】cmd命令行通过Huggingface镜像站快速下载模型文件的方法

前言

Hugging Face Hub 是分享机器学习模型、演示、数据集和指标的首选之地。 huggingface_hub 库可以轻松下载Huggingface上有用的模型和数据集元数据。
但大模型文件通常较大，国内下载太慢，那有没有高效便捷的方法？

这个当然必须有！

一、huggingface-cli 是什么？

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

首先安装依赖

pip install -U huggingface_hub

二、使用步骤

1. 设置环境变量加个速

hf-mirror.com是 huggingface.co镜像，国内下不下来的模型，通过这个就可以轻松下载。先使用如下命令给Windows临时设置一下环境变量，cmd窗口直接运行如下命令：

set HF_ENDPOINT=https://hf-mirror.com

运行以上命令后，即从镜像网站下载，速度可以提升好几个档位。

2. 下载示例

这里以下载Index-TTS 的模型文件为例

同时下载多个文件，具体命令如下：

huggingface-cli download IndexTeam/Index-TTS bigvgan_discriminator.pth bigvgan_generator.pth bpe.model dvae.pth gpt.pth unigram_12000.vocab --local-dir checkpoints

参数示意：
--local-dir checkpoints 指定下载文件保存的本地目录，这里指定为名为 checkpoints 的文件夹。
--resume-download 选项允许如果下载中断了能够继续下载。不过使用了镜像库，很快就下完了，这个参数就不用加了。

3. 完整运行结果

(base) C:\Users\Administrator>set HF_ENDPOINT=https://hf-mirror.com

(base) C:\Users\Administrator>huggingface-cli download IndexTeam/Index-TTS bigvgan_discriminator.pth bigvgan_generator.pth bpe.model dvae.pth gpt.pth unigram_12000.vocab --local-dir checkpoints
Fetching 6 files:   0%|                                                                          | 0/6