模型微调

什么是模型微调

模型微调（Fine-tuning）是指在已经预训练好的大模型基础上，用特定领域的数据继续训练，让模型的行为、风格与知识向目标任务靠拢。预训练让模型拥有通用语言能力，微调则把这种能力「定向」到你的业务上。

为什么要微调

提示工程（Prompt）能解决一部分适配问题，但存在天花板：

• 提示词长度有限，无法承载领域全部知识；
• 提示效果不稳定，换输入可能失效；
• 某些任务（如特定格式、特定语气、领域术语）仅靠提示难以稳定达标。

微调把领域知识写进模型权重，回答更稳定、更专业，且不占用推理时的提示长度。

常用微调方法

• 全参数微调（Full Fine-tuning）：更新模型全部权重，效果好但算力成本高；
• LoRA（低秩适配）：只训练少量新增参数，成本低、效果好，是当前最主流的方式；
• QLoRA：量化 + LoRA，单卡也能微调大模型；
• 指令微调（SFT）：用「指令-回答」数据训练，让模型学会按指令行事。

微调流程

1. 数据准备：收集领域数据，清洗、标注、构造「输入-期望输出」对；
2. 数据划分：训练集 / 验证集 / 测试集；
3. 选择基座与方式：选合适的开源基座模型与微调方法（LoRA 优先）；
4. 训练与评估：训练中持续用验证集评估，防止过拟合；
5. 部署：合并/导出模型，接入推理服务；
6. 迭代：收集线上反馈，补充数据再微调。

微调 vs 提示工程：怎么选

维度	提示工程	模型微调
成本	低，快速	高，需要数据与算力
稳定性	中等	高
领域深度	浅层适配	深度定制
迭代速度	分钟级	小时-天级

建议：先用提示工程验证业务价值，稳定跑通后再用微调固化能力。

典型应用

• 行业术语与格式（法律文书、医疗报告、代码规范）；
• 品牌风格输出（客服话术、营销文案语气）；
• 私有知识整合（企业知识库问答）。

常见陷阱

• 数据质量问题：脏数据、重复数据会直接伤害模型；
• 过拟合：训练集小或重复多，模型记住样本而非学会能力；
• 灾难性遗忘：过度微调可能丢失通用能力，需要混合通用数据训练。

总结

模型微调是让大模型从「通用」走向「专用」的关键手段：领域数据 + 合适方法（LoRA 优先）+ 严谨评估，就能得到稳定可靠的企业级模型能力。对预算有限的团队，先提示后微调是最高效的路径。

延伸阅读：本站 AI 百科「提示工程」「少样本学习」词条；教程「文心大模型怎么用」中介绍了 API 接入。