迁移学习

迁移学习是什么

迁移学习（Transfer Learning）是机器学习中的一种方法论：把模型在一个任务（通常是数据量大的通用任务）上学到的知识，迁移应用到另一个相关任务（通常是数据少的具体任务）上。最典型的形态就是"预训练 + 微调"——先用海量数据训练一个通用模型，再用小规模业务数据做针对性调整，让它快速适配特定场景。它是当前深度学习和大模型落地的核心范式。

为什么需要迁移学习

训练一个高质量的深度学习模型通常需要海量标注数据，而现实业务往往数据有限：医疗影像、小众语言、行业术语场景很难凑齐百万级数据。迁移学习解决了这个问题——通用模型已经学会了语言/视觉的基础规律（语法、形状、纹理），你只需要在"它的能力"基础上用少量数据教会它业务差异即可，数据需求从"百万级"降到"千级"。

实现方式

常见的迁移学习做法包括：

• 预训练 + 微调：加载在通用数据上训练好的模型（如 ImageNet 视觉模型、大语言模型），冻结部分参数，用业务数据继续训练——这是最常见的方式。
• 特征提取：把预训练模型当作"特征提取器"，只替换最后的分类/输出层，训练成本更低。
• 提示学习与 In-Context Learning：大模型时代的新形态——不修改参数，通过示例提示让模型"现学现用"完成任务。

与大模型的关系

大语言模型的开发与落地高度依赖迁移学习：预训练阶段在海量文本上学习通用知识，微调阶段用指令数据对齐人类偏好（RLHF 也属于这一类），再到各行各业用垂直数据做领域适配。可以说，没有迁移学习，就没有今天"一个模型打天下 + 快速行业适配"的 AI 落地格局。