大语言模型（Large Language Model，LLM）是一类基于海量文本数据训练的深度学习模型，核心架构是 Transformer¹⁾

2017 年 Google 发表的 Attention Is All You Need²⁾ 提出了 Transformer 架构，核心创新是 Self-Attention 机制——让模型在处理每个词时能「关注」输入序列中的所有其他词，而不是像 RNN 那样逐步传递。

Transformer 的组成：

• 多头自注意力（Multi-Head Self-Attention）：并行计算多组注意力权重，捕获不同粒度的依赖关系
• 前馈网络（Feed-Forward Network）：对注意力输出做非线性变换
• 层归一化（Layer Normalization）：稳定训练过程³⁾
• 位置编码（Positional Encoding）：为模型提供 token 位置信息

原始 Transformer 是 Encoder-Decoder 结构，但当今的 LLM 主要分为三类架构：

• Encoder-only（如 BERT⁴⁾）：双向注意力，适合理解类任务（分类、实体识别）
• Decoder-only（如 GPT⁵⁾、LLaMA⁶⁾）：因果注意力（只能看左侧），适合生成类任务
• Encoder-Decoder（如 T5⁷⁾）：结合两者，适合翻译、摘要等序列转换任务

当前大多数主流 LLM（GPT-4、Claude、LLaMA、Qwen、DeepSeek 等）采用 Decoder-only 架构。

LLM 的训练通常分三个阶段⁸⁾：

预训练是 LLM 最耗资源的阶段。以 LLaMA 65B 为例，在 2048 张 A100 GPU 上训练了 21 天¹⁰⁾。训练数据通常涵盖网页、书籍、学术论文、代码等，经过过滤、去重、分词等处理。

预训练目标函数是 自回归语言建模——给定前文预测下一个词。这个简单的目标在足够的数据和参数规模下，能产生强大的语言理解和生成能力。

预训练模型只会「续写文本」，不会「回答问题」。SFT 用人工标注的指令-回答数据让模型学会遵循指令。典型数据集包括 OpenAssistant¹¹⁾、ShareGPT、Dolly¹²⁾ 等。

RLHF 分为三步¹³⁾：

1. 收集人类对模型输出的偏好比较数据
2. 训练一个奖励模型（Reward Model）来预测人类偏好¹⁴⁾
3. 用 PPO 算法微调 LLM，使其输出获得更高的奖励分数

RLHF 的替代方案包括 DPO（Direct Preference Optimization）¹⁵⁾，直接使用偏好对优化模型，不需要单独训练奖励模型。

LLM 生成文本时使用自回归解码——逐个 token 生成，每次将已生成的内容作为输入预测下一个 token。常用的解码策略：

• 贪心解码：每次选概率最高的 token，输出确定但缺乏多样性
• Top-k 采样：从概率最高的 k 个 token 中采样¹⁶⁾
• Top-p（Nucleus）采样：从累积概率达到 p 的最小 token 集合中采样¹⁷⁾
• 温度（Temperature）：控制概率分布的平滑程度，温度越高输出越随机

Scaling Laws¹⁸⁾ 揭示了模型性能与三个因素之间的幂律关系：参数量、数据量、计算量。增加任意一个都能提升性能。但 Chinchilla 定律¹⁹⁾ 进一步指出，大多数模型的数据量不足——对给定的计算预算，最优的模型和数据配比是模型增大同时按比例增加数据。

当模型规模超过某个阈值时，会涌现出小模型不具备的能力²⁰⁾：

• 上下文学习（In-Context Learning）：仅通过 Prompt 中的示例就能执行任务，无需更新参数
• 思维链推理（Chain-of-Thought）：生成中间推理步骤来解答复杂问题²¹⁾
• 指令遵循（Instruction Following）：理解和执行复杂的多步指令
• 代码生成：编写和调试程序²²⁾

• 幻觉（Hallucination）³⁰⁾：模型生成看似合理但事实上错误的内容
• 上下文窗口限制：模型能处理的输入长度有限，虽然后续模型（Claude、Gemini）已支持百万 token
• 训练成本：训练一次大模型需要数百万美元的电力和硬件成本
• 安全与对齐：确保模型行为符合人类价值观³¹⁾
• 评估困难：缺乏全面可信的评估基准³²⁾