====== Model Download Sites ====== 训练和部署大语言模型需要模型权重文件。以下是当前主流的模型下载站点,各有侧重。 ===== Hugging Face ===== [[https://huggingface.co/|Hugging Face]] 是目前最大的 AI 模型托管平台,涵盖 LLM、Diffusion、Embedding、多模态等各种模型类型。 **特点:** * 超过 100 万个公开模型、数据集、Demo(Spaces) * 统一调用接口:''transformers''、''diffusers''、[[https://huggingface.co/docs/safetensors|safetensors]] * 几乎所有主流模型都会发布到 Hugging Face * 提供 Inference API 和 Endpoints 用于在线推理 * 国内镜像站:[[https://hf-mirror.com/|HF Mirror]] **代表性模型:** ^ 模型 ^ 地址 ^ | LLaMA 3 | [[https://huggingface.co/meta-llama|meta-llama]] | | Qwen 2.5 | [[https://huggingface.co/Qwen|Qwen]] | | DeepSeek | [[https://huggingface.co/deepseek-ai|deepseek-ai]] | | Mistral | [[https://huggingface.co/mistralai|mistralai]] | | Gemma | [[https://huggingface.co/google|google]] | **下载方式:** # 安装 huggingface-cli pip install huggingface-hub # 下载整个模型 huggingface-cli download meta-llama/Llama-3.1-8B --local-dir ./llama3-8b # 仅下载 safetensors 权重文件 huggingface-cli download meta-llama/Llama-3.1-8B --include "*.safetensors" # 通过镜像下载(国内) export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download Qwen/Qwen2.5-7B --local-dir ./qwen2.5-7b ===== Ollama ===== [[https://ollama.com/|Ollama]] 是一个本地运行 LLM 的工具,内置模型库可直接拉取使用,不需要手动下载权重文件。 **特点:** * 自动处理量化(GGUF 格式),节省磁盘空间 * 一行命令即可运行模型 * 模型库(Library)包含大量开源模型([[https://github.com/ollama/ollama|Ollama GitHub]]) * 支持自定义 Modelfile 创建个性化模型 * 提供 OpenAI 兼容 API **使用方式:** # 拉取并运行模型 ollama pull llama3.1:8b ollama run llama3.1:8b # 常用模型 ollama pull qwen2.5:7b # 阿里通义千问 ollama pull deepseek-r1:7b # 深度求索 ollama pull mistral # Mistral ollama pull gemma2:9b # Google Gemma # 查看本地已下载的模型 ollama list # 以 API 方式使用(后台运行) ollama serve # 接口位于 http://localhost:11434/v1 Ollama 的优势在于省去了环境配置和权重大小管理的麻烦,适合快速试用和本地部署。 ===== ModelScope(魔搭社区)===== [[https://modelscope.cn/|ModelScope 魔搭社区]] 由阿里云推出,是国内最大的模型托管平台,对国内用户友好。 **特点:** * 国内直连,下载速度快,无需代理 * 涵盖 LLM、CV、NLP、语音等各类模型 * 与阿里云 ACK、PAI 等平台深度集成 * 提供在线 Notebook 环境用于模型推理 **使用方式:** pip install modelscope # 下载模型 from modelscope import snapshot_download snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./models') # 命令行下载 modelscope download --model qwen/Qwen2.5-7B-Instruct --local_dir ./qwen 对于国内用户,ModelScope 是 Hugging Face 的最佳替代方案,绝大多数中文模型(Qwen、DeepSeek、ChatGLM 等)都会同步发布到魔搭。 ===== CivitAI ===== [[https://civitai.com/|CivitAI]] 最早以 Stable Diffusion 模型著称,现在也支持 LLM 模型的发布。 **特点:** * 社区驱动,用户评论和画廊功能完善 * 早期主要是 Diffusion 模型(SD 1.5、SDXL、Flux) * LLM 支持较新,模型数量不如 Hugging Face * 适合需要搜索引擎按类别浏览模型的场景 ===== GitHub Releases ===== 许多开源项目的原始权重通过 GitHub Releases 发布: * **LLaMA** — Meta 通过 GitHub 发布原始权重,需申请访问:[[https://github.com/meta-llama/llama|meta-llama/llama]] * **Qwen** — 阿里在 GitHub 发布模型和代码:[[https://github.com/QwenLM/Qwen|QwenLM/Qwen]] * **DeepSeek** — 深度求索在 GitHub 发布权重:[[https://github.com/deepseek-ai/DeepSeek-R1|deepseek-ai/DeepSeek-R1]] * **Phi** — 微软通过 Hugging Face 发布:[[https://huggingface.co/microsoft|microsoft]] GitHub Releases 通常提供原始的完整精度权重,文件较大(7B 模型约 15GB),下载后用脚本转换为 Hugging Face 格式。 # 通过 git lfs 下载 git lfs install git clone https://huggingface.co/meta-llama/Llama-3.1-8B # 或使用 gh CLI 下载 Release 附件 gh release download v1.0 --repo owner/repo ===== 其他平台 ===== * [[https://replicate.com/|Replicate]]:在线推理平台,主要提供 API 服务,部分模型支持导出权重 * [[https://www.together.ai/|Together AI]]:云端推理和微调平台,提供 API 访问 * [[https://www.aliyun.com/product/bigdata/learn|阿里云 PAI]]:阿里云的机器学习平台,与 ModelScope 集成 ===== 总结 ===== ^ 平台 ^ 适用场景 ^ | Hugging Face | 全品类模型,社区最活跃,国内可用 hf-mirror 加速 | | Ollama | 本地快速运行 LLM,一行命令即可 | | ModelScope | 国内首选,中文模型多,无需代理 | | CivitAI | Diffusion 模型为主,社区画廊丰富 | | GitHub | 原始权重发布,适合开发场景 | 选择哪个平台取决于你的场景:国内用户首选 ModelScope,快速体验用 Ollama,需要最新最全的模型去 Hugging Face。