旧经新练:微调篇
微调的本质不是”喂数据”,而是”设计一个让模型学得会、学得准的数据分布”。数据质量决定上限,微调方式只是逼近这个上限的手段。
一、主流微调方式对比
核心问题Q
全量微调成本高、易灾难性遗忘。如何在有限算力下让模型学到新能力?
三种主流方式
| 方式 | 原理 | 参数量 | 适用场景 |
|---|---|---|---|
| SFT(监督微调) | 全量/部分参数更新,用指令数据继续训练 | 全部或大比例 | 需要模型深度改变行为(对话风格、领域知识) |
| LoRA | 在 Attention 的 W_q / W_v 旁路加低秩矩阵 |
0.1%~1% | 快速适配新任务,显存受限 |
| P-tuning / Prefix-tuning | 在输入序列前加可学习的 prompt tokens,冻结模型参数 | 极少(prompt 维度) | 轻量适配,多任务共享底座 |
// Adapter?
// 还可以,最好每个给出代码例子
LoRA 核心公式
其中
为什么有效? 研究证明大模型在微调时参数变化存在于低秩子空间中——模型”真正需要改的方向”很少。
选型建议
1 | 算力充足 + 需要深度改变 → SFT |
二、微调数据构建:12 个关键原则
① 数据质量 > 数据数量
别一上来就追求”几十万条”。
- 标注要准确、一致
- 输入输出要逻辑自洽
- 避免噪声(错标、重复、乱码)
经验法则:1k 条高质量数据 > 10k 条垃圾数据
② 明确任务定义
你要让模型学的到底是什么?
- 分类?(情感分析、意图识别)
- 抽取?(实体/关系,如 CasRel)
- 生成?(问答、对话、摘要)
- 改写?(润色、翻译、风格转换)
任务边界不清 → 数据风格混乱 → 模型直接学废。
③ 训练格式 = 推理格式
这是最常见的坑。
训练时如果是:
1 | 输入:请总结这段话 |
推理时也必须保持相同格式:
1 | 请总结:xxx |
对于 LLM 微调(instruction tuning)尤其重要——格式不一致会导致模型不知道该怎么响应。
④ 覆盖真实分布
很多人用”实验室数据”训练,上线直接翻车。
要覆盖:
- 简单样本(baseline)
- 边界样本(模糊、歧义)
- 错误输入(拼写错误、口语化表达)
- 长尾情况(低频但关键的场景)
关键词:distribution match(分布一致性)
⑤ 类别平衡
适用于分类、抽取等任务:
- 避免 90% 都是同一类,否则模型学会”全预测某一类”
- 解决方法:过采样 / 欠采样 / 数据增强 / loss 加权
⑥ 样本多样性
如果数据全是:
1 | 问:你好 |
模型会学成”模板机器”。
需要增加:
- 表达多样性(同义改写:”帮我总结一下” / “概括一下这段” / “这段说了啥”)
- 风格多样(正式 / 口语 / 专业术语)
- 结构变化(不同长度的输入、不同复杂度的输出)
⑦ 难例(Hard Examples)非常重要
模型真正提升靠的不是简单样本,而是:
- 模型容易错的样本
- 边界模糊的样本
- 干扰强的样本
实战技巧:先训练 baseline → 跑一批数据 → 收集错例 → 加回训练集(hard negative mining)
⑧ 标注规范
多人标注时必须有:
- 清晰的规则文档
- 示例 + 反例
- 冲突处理策略
否则同一条数据不同人标不同标签 → 模型直接混乱。
⑨ 数据去重 & 泄漏控制
两个关键风险:
(1)训练集 vs 测试集泄漏
- 不能出现重复或高度相似样本
- 否则评估结果虚高,上线效果差
(2)数据重复
- 重复样本让模型”记忆”而不是”学习”
⑩ 数据规模与任务匹配
| 任务 | 数据量建议 |
|---|---|
| 简单分类 | 1k ~ 10k |
| 抽取(NER/RE) | 5k ~ 50k |
| 指令微调(LLM) | 5k ~ 100k+ |
| 对话模型 | 50k ~ 百万级 |
⑪ 数据增强(但别乱用)
常见方法:
- 同义替换
- 回译(中→英→中)
- 模板生成
- LLM 合成数据
⚠️ 增强数据 ≠ 真实数据,比例过高会污染分布。
⑫ 和模型能力匹配
别让小模型做它做不到的事:
- 极复杂推理
- 多跳 reasoning
- 超长上下文依赖
结果:模型学不会,还会发散。
三、面试问答预演
| 问题 | 回答要点 |
|---|---|
| LoRA 为什么有效? | 大模型微调时参数变化存在于低秩子空间中,真正需要改的方向很少。用低秩矩阵 |
| LoRA 的 |
|
| SFT 和 DPO/RLHF 的区别? | SFT 是监督学习(有标准答案),DPO/RLHF 是对齐人类偏好(没有唯一正确答案,需要奖励信号)。SFT 先让模型”会说”,DPO/RLHF 让模型”说得好” |
| 微调时数据量多少够? | 取决于任务复杂度。简单分类 1k 条可能够了,指令微调建议 5k+。质量永远比数量重要 |
| 怎么判断微调过拟合了? | 训练 loss 持续下降但验证 loss 上升;或者模型开始”背答案”——训练集准确率 99%,验证集 60% |
| 微调后模型能力退化(灾难性遗忘)怎么办? | 用 LoRA 等参数高效方法可以缓解;SFT 时降低学习率、加入原始预训练数据混合训练、使用 rehearsal 策略 |
以上均为个人真实实践总结。每个原则都能结合具体项目讲清楚”踩过什么坑、怎么解决的”。
- Title: 旧经新练:微调篇
- Author: Ginkgo
- Created at : 2026-04-25 00:00:00
- Updated at : 2026-04-26 21:32:52
- Link: https://g1nkgo7.github.io/2026/04/25/旧经新练-微调篇/
- License: This work is licensed under CC BY-NC-SA 4.0.
Comments