微调

微调是什么

微调（Fine-tuning）是指在预训练好的大模型基础上，用特定领域的数据继续训练，让模型在特定任务、风格或知识上表现更稳定。

预训练模型已经具备广泛的通用能力（语言理解、逻辑推理、知识记忆）。微调的作用是「定向强化」：比如让模型更懂法律文书的行文规范、更熟悉某个品牌的产品知识、更稳定地按你的风格写作。

为什么需要微调

提示词可以解决很多问题，但有三类场景提示词很难完全覆盖：

1. 领域知识：模型训练数据之外的私有知识（内部文档、产品手册），提示词塞不下也说不清。
2. 稳定风格：要求每次输出都符合特定格式、语气、结构，靠提示词约束不如靠训练固化。
3. 专业能力：特定任务（如代码补全、医疗文本结构化）需要模型对该领域有更深的「手感」。

提示词像「临时指令」，微调像「长期培训」：前者零成本但依赖每次输入，后者一次投入、长期受益。

微调的常见方法

• 全参数微调：调整模型全部权重，效果最好但成本高（需要大量算力与数据），一般只用于大机构。
• LoRA 等轻量方法：冻结原模型，只训练一小部分参数（低秩适配）。成本大幅降低，效果接近全参数微调，是目前个人与中小团队的主流选择。
• 适配器（Adapter）：在模型层间插入小型网络训练，参数更少，可组合。

LoRA 类方法还有「可组合、可切换」的好处：同一底座模型挂不同 LoRA，可以快速切换风格，这也是 AI 绘画里 LoRA 大行其道的原因。

微调的适用判断

建议微调：

• 有稳定、高质量的数据集（几百到几千条）。
• 任务需要持续稳定地符合特定规范。
• 通用模型 + 提示词已到瓶颈，且高频使用。

不建议（先用提示词/检索增强）：

• 数据量小、质量参差——微调会被噪声数据带偏。
• 任务是低频的通用需求——提示词成本低得多。
• 知识类需求——检索增强生成（RAG）在「查资料回答」场景更合适，微调是「记住行为」，RAG 是「查询知识」。

常见误区

• 「微调能塞入新知识」：微调擅长改变行为与风格，塞知识的效果不稳定，知识场景优先 RAG。
• 「数据越多越好」：质量 > 数量。几百条高质量数据的效果，常优于几千条脏数据。
• 「微调后模型会变强」：微调是「定向优化」，可能提升领域表现，也可能牺牲部分通用能力，需要评估。

小结

微调是把通用模型变成「领域专才」的手段，LoRA 让它的成本降到个人可及。判断是否要微调，看三个条件：有稳定数据、有长期稳定需求、提示词已到瓶颈。三者满足再投入，否则提示词与 RAG 是性价比更高的选择。具体方法与成本以你使用的模型平台为准。