旧经新练:Transformer篇
Transformer 是 modern LLM 的基石。面试不问”它长什么样”,问的是”为什么这样设计”——每个组件的存在理由、取舍和 trade-off。
一、为什么需要 Transformer?
核心问题
RNN/LSTM 处理序列数据有两个致命缺陷:
- 无法并行:必须按时间步依次计算,训练慢
- 长距离依赖丢失:信息经过很多步传递后,早期信息被稀释
Transformer 的核心思想:完全依赖注意力机制,无需循环或卷积,一次性并行处理整个序列,任意两个位置之间直接建立依赖关系。
与 RNN/CNN 的对比
| 特性 | Transformer | RNN/LSTM | CNN |
|---|---|---|---|
| 并行性 | 完全并行 | 序列处理 | 局部并行 |
| 长距离依赖 | 直接建模 |
逐步传递 |
有限感受野 |
| 训练速度 | 快 | 慢 | 中等 |
| 内存消耗 | 中等 | 低 |
二、Self-Attention:核心机制
核心思想
给定一个序列,让每个位置都能”看到”所有其他位置,并根据相关性加权聚合信息。
Q / K / V 三元组
- Query(查询):当前位置”想找什么”
- Key(键):每个位置”有什么”
- Value(值):每个位置的实际内容
类比:像数据库检索——Query 是搜索关键词,Key 是索引,Value 是返回的结果。
为什么除以 ?
点积
代码实现
1 | import torch |
三、Multi-Head Attention:为什么”多头”
核心思想
将 Q / K / V 分别投影到
其中
为什么有效?
不同头学习不同的关注模式——有的头关注语法关系(主谓一致),有的头关注语义关联(猫→老鼠),有的头关注局部上下文。相当于”多个视角同时理解”。
代码实现
1 | class MultiHeadAttention(nn.Module): |
四、位置编码:Transformer 的”顺序感知”
为什么需要?
Self-Attention 是对称的——交换输入顺序,输出只是对应交换,模型本身无法感知序列顺序。必须显式注入位置信息。
正弦位置编码(原始论文)
特点:
- 相对位置敏感:
可以表示为 的线性函数,模型能学习相对位置 - 长度可扩展:可以处理比训练时更长的序列
- 确定性:不需要学习,直接计算
代码实现
1 | class PositionalEncoding(nn.Module): |
其他位置编码变体
| 类型 | 代表 | 特点 |
|---|---|---|
| 可学习位置编码 | BERT | 简单但长度不可扩展 |
| RoPE(旋转位置编码) | LLaMA | 相对位置编码,通过旋转矩阵实现 |
| ALiBi | Falcon | 线性偏置,长度可扩展 |
| 相对位置编码 | T5 | 直接建模相对距离 |
五、Encoder-Decoder 架构
Encoder
每层包含两个子层:
- Multi-Head Self-Attention:捕捉序列内全局依赖
- Position-wise FFN:对每个位置独立做非线性变换
每层之后都有 残差连接 + LayerNorm:
Decoder
每层包含三个子层:
- Masked Multi-Head Self-Attention:防止看到未来信息(自回归生成)
- Cross-Attention:Q 来自 Decoder,K/V 来自 Encoder 输出
- FFN:同 Encoder
Masked Attention 的作用
自回归生成时,位置
1 | # 生成下三角 mask |
架构对比
| 组件 | Encoder | Decoder |
|---|---|---|
| Self-Attention | ✅ 全可见 | ✅ Masked(只看过去) |
| Cross-Attention | ❌ | ✅ Q=Decoder, K/V=Encoder |
| FFN | ✅ | ✅ |
| 残差 + LayerNorm | ✅ 每层后 | ✅ 每层后 |
六、Transformer 的变体与现代演进
从 Encoder-Decoder 到纯 Decoder
| 架构 | 代表模型 | 适用场景 |
|---|---|---|
| Encoder-Decoder | 原始 Transformer, T5 | 翻译、摘要(seq2seq) |
| 纯 Encoder | BERT | 理解类任务(分类、NER) |
| 纯 Decoder | GPT 系列, LLaMA | 生成类任务(对话、续写) |
现代 LLM 中的改进
- Pre-LN:LayerNorm 放在子层输入而非输出,训练更稳定
- GELU / SwiGLU:替代 ReLU,激活函数更平滑
- RoPE:替代正弦位置编码,相对位置建模更好
- Flash Attention:利用 GPU 内存层次优化
注意力计算 - MoE(混合专家):不同 token 路由到不同 FFN 专家,提升效率
七、面试问答预演
| 问题 | 回答要点 |
|---|---|
| 为什么 Transformer 比 RNN 适合长文本? | RNN 逐步传递信息,长距离依赖容易丢失;Transformer 任意两个词之间直接建立依赖,路径长度 |
| 为什么用多头而不是单头大维度? | 多头让模型在不同子空间学习不同模式(语法/语义/局部/全局),单头大维度没有这种”分视角”能力 |
| 位置编码为什么选正弦函数? | 正弦函数具有周期性, |
| Self-Attention 的复杂度? | 时间 |
| Decoder 为什么需要 Masked Attention? | 自回归生成时,训练阶段 teacher forcing 会同时看到所有目标 token。不加 mask 模型会”作弊”直接看到答案 |
| Cross-Attention 和 Self-Attention 的区别? | Self-Attention 的 Q/K/V 都来自同一输入;Cross-Attention 的 Q 来自 Decoder,K/V 来自 Encoder 输出,用于跨模态/跨序列信息融合 |
| 残差连接解决了什么问题? | 缓解梯度消失,让信息可以直接流过深层网络。 |
| LayerNorm 放在哪?Pre-LN vs Post-LN? | 原始论文是 Post-LN(子层输出后);现代模型多用 Pre-LN(子层输入前),训练更稳定,深层网络不易发散 |
以上均为个人真实理解。每个组件都能讲清楚”为什么需要它、怎么工作的、有什么 trade-off”。
- Title: 旧经新练:Transformer篇
- Author: Ginkgo
- Created at : 2026-04-25 00:00:00
- Updated at : 2026-04-26 21:32:47
- Link: https://g1nkgo7.github.io/2026/04/25/旧经新练-Transformer篇/
- License: This work is licensed under CC BY-NC-SA 4.0.
Comments