====== Model Download Sites ======
训练和部署大语言模型需要模型权重文件。以下是当前主流的模型下载站点,各有侧重。
===== Hugging Face =====
[[https://huggingface.co/|Hugging Face]] 是目前最大的 AI 模型托管平台,涵盖 LLM、Diffusion、Embedding、多模态等各种模型类型。
**特点:**
* 超过 100 万个公开模型、数据集、Demo(Spaces)
* 统一调用接口:''transformers''、''diffusers''、[[https://huggingface.co/docs/safetensors|safetensors]]
* 几乎所有主流模型都会发布到 Hugging Face
* 提供 Inference API 和 Endpoints 用于在线推理
* 国内镜像站:[[https://hf-mirror.com/|HF Mirror]]
**代表性模型:**
^ 模型 ^ 地址 ^
| LLaMA 3 | [[https://huggingface.co/meta-llama|meta-llama]] |
| Qwen 2.5 | [[https://huggingface.co/Qwen|Qwen]] |
| DeepSeek | [[https://huggingface.co/deepseek-ai|deepseek-ai]] |
| Mistral | [[https://huggingface.co/mistralai|mistralai]] |
| Gemma | [[https://huggingface.co/google|google]] |
**下载方式:**
# 安装 huggingface-cli
pip install huggingface-hub
# 下载整个模型
huggingface-cli download meta-llama/Llama-3.1-8B --local-dir ./llama3-8b
# 仅下载 safetensors 权重文件
huggingface-cli download meta-llama/Llama-3.1-8B --include "*.safetensors"
# 通过镜像下载(国内)
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download Qwen/Qwen2.5-7B --local-dir ./qwen2.5-7b
===== Ollama =====
[[https://ollama.com/|Ollama]] 是一个本地运行 LLM 的工具,内置模型库可直接拉取使用,不需要手动下载权重文件。
**特点:**
* 自动处理量化(GGUF 格式),节省磁盘空间
* 一行命令即可运行模型
* 模型库(Library)包含大量开源模型([[https://github.com/ollama/ollama|Ollama GitHub]])
* 支持自定义 Modelfile 创建个性化模型
* 提供 OpenAI 兼容 API
**使用方式:**
# 拉取并运行模型
ollama pull llama3.1:8b
ollama run llama3.1:8b
# 常用模型
ollama pull qwen2.5:7b # 阿里通义千问
ollama pull deepseek-r1:7b # 深度求索
ollama pull mistral # Mistral
ollama pull gemma2:9b # Google Gemma
# 查看本地已下载的模型
ollama list
# 以 API 方式使用(后台运行)
ollama serve
# 接口位于 http://localhost:11434/v1
Ollama 的优势在于省去了环境配置和权重大小管理的麻烦,适合快速试用和本地部署。
===== ModelScope(魔搭社区)=====
[[https://modelscope.cn/|ModelScope 魔搭社区]] 由阿里云推出,是国内最大的模型托管平台,对国内用户友好。
**特点:**
* 国内直连,下载速度快,无需代理
* 涵盖 LLM、CV、NLP、语音等各类模型
* 与阿里云 ACK、PAI 等平台深度集成
* 提供在线 Notebook 环境用于模型推理
**使用方式:**
pip install modelscope
# 下载模型
from modelscope import snapshot_download
snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./models')
# 命令行下载
modelscope download --model qwen/Qwen2.5-7B-Instruct --local_dir ./qwen
对于国内用户,ModelScope 是 Hugging Face 的最佳替代方案,绝大多数中文模型(Qwen、DeepSeek、ChatGLM 等)都会同步发布到魔搭。
===== CivitAI =====
[[https://civitai.com/|CivitAI]] 最早以 Stable Diffusion 模型著称,现在也支持 LLM 模型的发布。
**特点:**
* 社区驱动,用户评论和画廊功能完善
* 早期主要是 Diffusion 模型(SD 1.5、SDXL、Flux)
* LLM 支持较新,模型数量不如 Hugging Face
* 适合需要搜索引擎按类别浏览模型的场景
===== GitHub Releases =====
许多开源项目的原始权重通过 GitHub Releases 发布:
* **LLaMA** — Meta 通过 GitHub 发布原始权重,需申请访问:[[https://github.com/meta-llama/llama|meta-llama/llama]]
* **Qwen** — 阿里在 GitHub 发布模型和代码:[[https://github.com/QwenLM/Qwen|QwenLM/Qwen]]
* **DeepSeek** — 深度求索在 GitHub 发布权重:[[https://github.com/deepseek-ai/DeepSeek-R1|deepseek-ai/DeepSeek-R1]]
* **Phi** — 微软通过 Hugging Face 发布:[[https://huggingface.co/microsoft|microsoft]]
GitHub Releases 通常提供原始的完整精度权重,文件较大(7B 模型约 15GB),下载后用脚本转换为 Hugging Face 格式。
# 通过 git lfs 下载
git lfs install
git clone https://huggingface.co/meta-llama/Llama-3.1-8B
# 或使用 gh CLI 下载 Release 附件
gh release download v1.0 --repo owner/repo
===== 其他平台 =====
* [[https://replicate.com/|Replicate]]:在线推理平台,主要提供 API 服务,部分模型支持导出权重
* [[https://www.together.ai/|Together AI]]:云端推理和微调平台,提供 API 访问
* [[https://www.aliyun.com/product/bigdata/learn|阿里云 PAI]]:阿里云的机器学习平台,与 ModelScope 集成
===== 总结 =====
^ 平台 ^ 适用场景 ^
| Hugging Face | 全品类模型,社区最活跃,国内可用 hf-mirror 加速 |
| Ollama | 本地快速运行 LLM,一行命令即可 |
| ModelScope | 国内首选,中文模型多,无需代理 |
| CivitAI | Diffusion 模型为主,社区画廊丰富 |
| GitHub | 原始权重发布,适合开发场景 |
选择哪个平台取决于你的场景:国内用户首选 ModelScope,快速体验用 Ollama,需要最新最全的模型去 Hugging Face。