旧经新练:Transformer篇

旧经新练:Transformer篇

Ginkgo True love prevails.

Transformer 是 modern LLM 的基石。面试不问”它长什么样”,问的是”为什么这样设计”——每个组件的存在理由、取舍和 trade-off。


一、为什么需要 Transformer?

核心问题

RNN/LSTM 处理序列数据有两个致命缺陷:

  1. 无法并行:必须按时间步依次计算,训练慢
  2. 长距离依赖丢失:信息经过很多步传递后,早期信息被稀释

Transformer 的核心思想:完全依赖注意力机制,无需循环或卷积,一次性并行处理整个序列,任意两个位置之间直接建立依赖关系。

与 RNN/CNN 的对比

特性 Transformer RNN/LSTM CNN
并行性 完全并行 序列处理 局部并行
长距离依赖 直接建模 逐步传递 有限感受野
训练速度 快 慢 中等
内存消耗 较高 中等 低

二、Self-Attention:核心机制

核心思想

给定一个序列,让每个位置都能”看到”所有其他位置,并根据相关性加权聚合信息。

Q / K / V 三元组

  • Query(查询):当前位置”想找什么”
  • Key(键):每个位置”有什么”
  • Value(值):每个位置的实际内容

类比:像数据库检索——Query 是搜索关键词,Key 是索引,Value 是返回的结果。

为什么除以 ?

点积 的维度是 ,如果不缩放,当 很大时点积值会很大,softmax 后梯度接近 0(梯度消失)。除以 是经验性的缩放因子,让点积的方差稳定在 1 左右。

代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import torch
import torch.nn.functional as F
import math

def scaled_dot_product_attention(Q, K, V, mask=None):
d_k = Q.size(-1)
# 计算注意力分数: [batch, heads, seq_len, seq_len]
scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k)
# mask: 用于 Decoder 的 masked attention
if mask is not None:
scores = scores.masked_fill(mask == 0, -1e9)
# softmax 归一化
weights = F.softmax(scores, dim=-1)
# 加权求和
return torch.matmul(weights, V)

三、Multi-Head Attention:为什么”多头”

核心思想

将 Q / K / V 分别投影到 个子空间,在每个子空间独立计算注意力,最后拼接。

其中

为什么有效?

不同头学习不同的关注模式——有的头关注语法关系(主谓一致),有的头关注语义关联(猫→老鼠),有的头关注局部上下文。相当于”多个视角同时理解”。

代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
class MultiHeadAttention(nn.Module):
def __init__(self, d_model, num_heads):
super().__init__()
assert d_model % num_heads == 0
self.d_model = d_model
self.num_heads = num_heads
self.d_k = d_model // num_heads

self.W_q = nn.Linear(d_model, d_model)
self.W_k = nn.Linear(d_model, d_model)
self.W_v = nn.Linear(d_model, d_model)
self.W_o = nn.Linear(d_model, d_model)

def forward(self, Q, K, V, mask=None):
batch_size = Q.size(0)

# 线性投影并 split 成多头: [batch, seq_len, d_model] -> [batch, heads, seq_len, d_k]
Q = self.W_q(Q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
K = self.W_k(K).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
V = self.W_v(V).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)

# 注意力计算
scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k)
if mask is not None:
scores = scores.masked_fill(mask == 0, -1e9)
weights = F.softmax(scores, dim=-1)
out = torch.matmul(weights, V)

# 拼接多头: [batch, heads, seq_len, d_k] -> [batch, seq_len, d_model]
out = out.transpose(1, 2).contiguous().view(batch_size, -1, self.d_model)
return self.W_o(out)

四、位置编码:Transformer 的”顺序感知”

为什么需要?

Self-Attention 是对称的——交换输入顺序,输出只是对应交换,模型本身无法感知序列顺序。必须显式注入位置信息。

正弦位置编码(原始论文)

特点:

  • 相对位置敏感: 可以表示为 的线性函数,模型能学习相对位置
  • 长度可扩展:可以处理比训练时更长的序列
  • 确定性:不需要学习,直接计算

代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
class PositionalEncoding(nn.Module):
def __init__(self, d_model, max_len=5000):
super().__init__()
position = torch.arange(max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
pe = torch.zeros(max_len, d_model)
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
pe = pe.unsqueeze(0) # [1, max_len, d_model]
self.register_buffer('pe', pe)

def forward(self, x):
# x: [batch, seq_len, d_model]
return x + self.pe[:, :x.size(1)]

其他位置编码变体

类型 代表 特点
可学习位置编码 BERT 简单但长度不可扩展
RoPE(旋转位置编码) LLaMA 相对位置编码,通过旋转矩阵实现
ALiBi Falcon 线性偏置,长度可扩展
相对位置编码 T5 直接建模相对距离

五、Encoder-Decoder 架构

Encoder

每层包含两个子层:

  1. Multi-Head Self-Attention:捕捉序列内全局依赖
  2. Position-wise FFN:对每个位置独立做非线性变换

每层之后都有 残差连接 + LayerNorm:

Decoder

每层包含三个子层:

  1. Masked Multi-Head Self-Attention:防止看到未来信息(自回归生成)
  2. Cross-Attention:Q 来自 Decoder,K/V 来自 Encoder 输出
  3. FFN:同 Encoder

Masked Attention 的作用

自回归生成时,位置 只能看到位置 。通过 mask 将未来位置的注意力分数设为 ,softmax 后权重为 0。

1
2
3
4
# 生成下三角 mask
def subsequent_mask(size):
mask = torch.tril(torch.ones(size, size))
return mask # 上三角为 0,softmax 时这些位置权重为 0

架构对比

组件 Encoder Decoder
Self-Attention ✅ 全可见 ✅ Masked(只看过去)
Cross-Attention ❌ ✅ Q=Decoder, K/V=Encoder
FFN ✅ ✅
残差 + LayerNorm ✅ 每层后 ✅ 每层后

六、Transformer 的变体与现代演进

从 Encoder-Decoder 到纯 Decoder

架构 代表模型 适用场景
Encoder-Decoder 原始 Transformer, T5 翻译、摘要(seq2seq)
纯 Encoder BERT 理解类任务(分类、NER)
纯 Decoder GPT 系列, LLaMA 生成类任务(对话、续写)

现代 LLM 中的改进

  • Pre-LN:LayerNorm 放在子层输入而非输出,训练更稳定
  • GELU / SwiGLU:替代 ReLU,激活函数更平滑
  • RoPE:替代正弦位置编码,相对位置建模更好
  • Flash Attention:利用 GPU 内存层次优化 注意力计算
  • MoE(混合专家):不同 token 路由到不同 FFN 专家,提升效率

七、面试问答预演

问题 回答要点
为什么 Transformer 比 RNN 适合长文本? RNN 逐步传递信息,长距离依赖容易丢失;Transformer 任意两个词之间直接建立依赖,路径长度
为什么用多头而不是单头大维度? 多头让模型在不同子空间学习不同模式(语法/语义/局部/全局),单头大维度没有这种”分视角”能力
位置编码为什么选正弦函数? 正弦函数具有周期性, 可表示为 的线性函数(模型能学相对位置),且可扩展到未见过的序列长度
Self-Attention 的复杂度? 时间,空间 。 是序列长度, 是维度。长序列是瓶颈,衍生出 Flash Attention、Linear Attention 等优化
Decoder 为什么需要 Masked Attention? 自回归生成时,训练阶段 teacher forcing 会同时看到所有目标 token。不加 mask 模型会”作弊”直接看到答案
Cross-Attention 和 Self-Attention 的区别? Self-Attention 的 Q/K/V 都来自同一输入;Cross-Attention 的 Q 来自 Decoder,K/V 来自 Encoder 输出,用于跨模态/跨序列信息融合
残差连接解决了什么问题? 缓解梯度消失,让信息可以直接流过深层网络。 保证即使子层权重接近 0,信息也不会丢失
LayerNorm 放在哪?Pre-LN vs Post-LN? 原始论文是 Post-LN(子层输出后);现代模型多用 Pre-LN(子层输入前),训练更稳定,深层网络不易发散

以上均为个人真实理解。每个组件都能讲清楚”为什么需要它、怎么工作的、有什么 trade-off”。

  • Title: 旧经新练:Transformer篇
  • Author: Ginkgo
  • Created at : 2026-04-25 00:00:00
  • Updated at : 2026-04-26 21:32:47
  • Link: https://g1nkgo7.github.io/2026/04/25/旧经新练-Transformer篇/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments