从 Hugging Face 国内镜像下载模型
概要
从 Hugging Face 国内镜像下载模型。
流程
1.安装依赖
pip install -U huggingface_hub
2.设置环境变量
linux系统
export HF_ENDPOINT=https://hf-mirror.com
建议将上述命令写入 ~/.bashrc文件中,并执行以下命令:
source ~/.bashrc
3.批量下载模型
使用 huggingface-cli download 命令批量下载模型,指定 --local-dir 参数保存到本地目录。命令如下:
huggingface-cli download model1 --local-dir ./models/model1
4.批量下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext
参数解析
- huggingface-cli Hugging Face 提供的命令行工具,用于与 Hugging Face Hub 交互。
- download 指定要执行的操作是下载资源。
- –repo-type dataset 指定下载的资源类型为数据集(dataset)。
- –resume-download 支持断点续传,如果下载中断,可以从上次中断处继续下载。 wikitext 要下载的数据集的名称(ID),这里是 wikitext 数据集。
- –local-dir wikitext 指定下载的数据集将保存到本地的 wikitext 目录中。
命令作用
- 从 Hugging Face Hub 下载 wikitext 数据集。
- 下载的数据集将保存到本地的 wikitext 目录中。
- 如果下载中断,可以使用 --resume-download 选项从断点处继续下载。
2万+




被折叠的 条评论
为什么被折叠?



