旧经新练:微调篇

旧经新练:微调篇

Ginkgo True love prevails.

微调的本质不是”喂数据”,而是”设计一个让模型学得会、学得准的数据分布”。数据质量决定上限,微调方式只是逼近这个上限的手段。


一、主流微调方式对比

核心问题Q

全量微调成本高、易灾难性遗忘。如何在有限算力下让模型学到新能力?

三种主流方式

方式 原理 参数量 适用场景
SFT(监督微调) 全量/部分参数更新,用指令数据继续训练 全部或大比例 需要模型深度改变行为(对话风格、领域知识)
LoRA 在 Attention 的 W_q / W_v 旁路加低秩矩阵,只训练 0.1%~1% 快速适配新任务,显存受限
P-tuning / Prefix-tuning 在输入序列前加可学习的 prompt tokens,冻结模型参数 极少(prompt 维度) 轻量适配,多任务共享底座

// Adapter?
// 还可以,最好每个给出代码例子

LoRA 核心公式

其中 ,,(通常 )。

为什么有效? 研究证明大模型在微调时参数变化存在于低秩子空间中——模型”真正需要改的方向”很少。

选型建议

1
2
3
4
算力充足 + 需要深度改变 → SFT
显存受限 + 快速验证 → LoRA
多任务共享底座 → P-tuning / Prefix-tuning
需要对齐人类偏好 → RLHF / DPO

二、微调数据构建:12 个关键原则

① 数据质量 > 数据数量

别一上来就追求”几十万条”。

  • 标注要准确、一致
  • 输入输出要逻辑自洽
  • 避免噪声(错标、重复、乱码)

经验法则:1k 条高质量数据 > 10k 条垃圾数据


② 明确任务定义

你要让模型学的到底是什么?

  • 分类?(情感分析、意图识别)
  • 抽取?(实体/关系,如 CasRel)
  • 生成?(问答、对话、摘要)
  • 改写?(润色、翻译、风格转换)

任务边界不清 → 数据风格混乱 → 模型直接学废。


③ 训练格式 = 推理格式

这是最常见的坑。

训练时如果是:

1
2
输入:请总结这段话
输出:xxx总结

推理时也必须保持相同格式:

1
请总结:xxx

对于 LLM 微调(instruction tuning)尤其重要——格式不一致会导致模型不知道该怎么响应。


④ 覆盖真实分布

很多人用”实验室数据”训练,上线直接翻车。

要覆盖:

  • 简单样本(baseline)
  • 边界样本(模糊、歧义)
  • 错误输入(拼写错误、口语化表达)
  • 长尾情况(低频但关键的场景)

关键词:distribution match(分布一致性)


⑤ 类别平衡

适用于分类、抽取等任务:

  • 避免 90% 都是同一类,否则模型学会”全预测某一类”
  • 解决方法:过采样 / 欠采样 / 数据增强 / loss 加权

⑥ 样本多样性

如果数据全是:

1
2
问:你好
答:你好!

模型会学成”模板机器”。

需要增加:

  • 表达多样性(同义改写:”帮我总结一下” / “概括一下这段” / “这段说了啥”)
  • 风格多样(正式 / 口语 / 专业术语)
  • 结构变化(不同长度的输入、不同复杂度的输出)

⑦ 难例(Hard Examples)非常重要

模型真正提升靠的不是简单样本,而是:

  • 模型容易错的样本
  • 边界模糊的样本
  • 干扰强的样本

实战技巧:先训练 baseline → 跑一批数据 → 收集错例 → 加回训练集(hard negative mining)


⑧ 标注规范

多人标注时必须有:

  • 清晰的规则文档
  • 示例 + 反例
  • 冲突处理策略

否则同一条数据不同人标不同标签 → 模型直接混乱。


⑨ 数据去重 & 泄漏控制

两个关键风险:

(1)训练集 vs 测试集泄漏

  • 不能出现重复或高度相似样本
  • 否则评估结果虚高,上线效果差

(2)数据重复

  • 重复样本让模型”记忆”而不是”学习”

⑩ 数据规模与任务匹配

任务 数据量建议
简单分类 1k ~ 10k
抽取(NER/RE) 5k ~ 50k
指令微调(LLM) 5k ~ 100k+
对话模型 50k ~ 百万级

⑪ 数据增强(但别乱用)

常见方法:

  • 同义替换
  • 回译(中→英→中)
  • 模板生成
  • LLM 合成数据

⚠️ 增强数据 ≠ 真实数据,比例过高会污染分布。


⑫ 和模型能力匹配

别让小模型做它做不到的事:

  • 极复杂推理
  • 多跳 reasoning
  • 超长上下文依赖

结果:模型学不会,还会发散。


三、面试问答预演

问题 回答要点
LoRA 为什么有效? 大模型微调时参数变化存在于低秩子空间中,真正需要改的方向很少。用低秩矩阵 近似 ,参数量降 100~1000 倍,效果接近全量微调
LoRA 的 怎么选? 是常用起点;复杂任务可以 。 太大容易过拟合,太小表达能力不够。需要实验调
SFT 和 DPO/RLHF 的区别? SFT 是监督学习(有标准答案),DPO/RLHF 是对齐人类偏好(没有唯一正确答案,需要奖励信号)。SFT 先让模型”会说”,DPO/RLHF 让模型”说得好”
微调时数据量多少够? 取决于任务复杂度。简单分类 1k 条可能够了,指令微调建议 5k+。质量永远比数量重要
怎么判断微调过拟合了? 训练 loss 持续下降但验证 loss 上升;或者模型开始”背答案”——训练集准确率 99%,验证集 60%
微调后模型能力退化(灾难性遗忘)怎么办? 用 LoRA 等参数高效方法可以缓解;SFT 时降低学习率、加入原始预训练数据混合训练、使用 rehearsal 策略

以上均为个人真实实践总结。每个原则都能结合具体项目讲清楚”踩过什么坑、怎么解决的”。

  • Title: 旧经新练:微调篇
  • Author: Ginkgo
  • Created at : 2026-04-25 00:00:00
  • Updated at : 2026-04-26 21:32:52
  • Link: https://g1nkgo7.github.io/2026/04/25/旧经新练-微调篇/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments