老赵写字的地方

Model Download Sites

训练和部署大语言模型需要模型权重文件。以下是当前主流的模型下载站点,各有侧重。

Hugging Face

Hugging Face 是目前最大的 AI 模型托管平台,涵盖 LLM、Diffusion、Embedding、多模态等各种模型类型。

特点:

  • 超过 100 万个公开模型、数据集、Demo(Spaces)
  • 统一调用接口:transformers、diffusers、safetensors
  • 几乎所有主流模型都会发布到 Hugging Face
  • 提供 Inference API 和 Endpoints 用于在线推理
  • 国内镜像站:HF Mirror

代表性模型:

模型 地址
LLaMA 3 meta-llama
Qwen 2.5 Qwen
DeepSeek deepseek-ai
Mistral mistralai
Gemma google

下载方式:

# 安装 huggingface-cli
pip install huggingface-hub
 
# 下载整个模型
huggingface-cli download meta-llama/Llama-3.1-8B --local-dir ./llama3-8b
 
# 仅下载 safetensors 权重文件
huggingface-cli download meta-llama/Llama-3.1-8B --include "*.safetensors"
 
# 通过镜像下载(国内)
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download Qwen/Qwen2.5-7B --local-dir ./qwen2.5-7b

Ollama

Ollama 是一个本地运行 LLM 的工具,内置模型库可直接拉取使用,不需要手动下载权重文件。

特点:

  • 自动处理量化(GGUF 格式),节省磁盘空间
  • 一行命令即可运行模型
  • 模型库(Library)包含大量开源模型(Ollama GitHub)
  • 支持自定义 Modelfile 创建个性化模型
  • 提供 OpenAI 兼容 API

使用方式:

# 拉取并运行模型
ollama pull llama3.1:8b
ollama run llama3.1:8b
 
# 常用模型
ollama pull qwen2.5:7b       # 阿里通义千问
ollama pull deepseek-r1:7b   # 深度求索
ollama pull mistral          # Mistral
ollama pull gemma2:9b        # Google Gemma
 
# 查看本地已下载的模型
ollama list
 
# 以 API 方式使用(后台运行)
ollama serve
# 接口位于 http://localhost:11434/v1

Ollama 的优势在于省去了环境配置和权重大小管理的麻烦,适合快速试用和本地部署。

ModelScope(魔搭社区)

ModelScope 魔搭社区 由阿里云推出,是国内最大的模型托管平台,对国内用户友好。

特点:

  • 国内直连,下载速度快,无需代理
  • 涵盖 LLM、CV、NLP、语音等各类模型
  • 与阿里云 ACK、PAI 等平台深度集成
  • 提供在线 Notebook 环境用于模型推理

使用方式:

pip install modelscope
 
# 下载模型
from modelscope import snapshot_download
snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./models')
# 命令行下载
modelscope download --model qwen/Qwen2.5-7B-Instruct --local_dir ./qwen

对于国内用户,ModelScope 是 Hugging Face 的最佳替代方案,绝大多数中文模型(Qwen、DeepSeek、ChatGLM 等)都会同步发布到魔搭。

CivitAI

CivitAI 最早以 Stable Diffusion 模型著称,现在也支持 LLM 模型的发布。

特点:

  • 社区驱动,用户评论和画廊功能完善
  • 早期主要是 Diffusion 模型(SD 1.5、SDXL、Flux)
  • LLM 支持较新,模型数量不如 Hugging Face
  • 适合需要搜索引擎按类别浏览模型的场景

GitHub Releases

许多开源项目的原始权重通过 GitHub Releases 发布:

GitHub Releases 通常提供原始的完整精度权重,文件较大(7B 模型约 15GB),下载后用脚本转换为 Hugging Face 格式。

# 通过 git lfs 下载
git lfs install
git clone https://huggingface.co/meta-llama/Llama-3.1-8B
 
# 或使用 gh CLI 下载 Release 附件
gh release download v1.0 --repo owner/repo

其他平台

  • Replicate:在线推理平台,主要提供 API 服务,部分模型支持导出权重
  • Together AI:云端推理和微调平台,提供 API 访问
  • 阿里云 PAI:阿里云的机器学习平台,与 ModelScope 集成

总结

平台 适用场景
Hugging Face 全品类模型,社区最活跃,国内可用 hf-mirror 加速
Ollama 本地快速运行 LLM,一行命令即可
ModelScope 国内首选,中文模型多,无需代理
CivitAI Diffusion 模型为主,社区画廊丰富
GitHub 原始权重发布,适合开发场景

选择哪个平台取决于你的场景:国内用户首选 ModelScope,快速体验用 Ollama,需要最新最全的模型去 Hugging Face。

zh/large_language_model/model_download_sites.txt · 最后更改: 由 dsbot