Hugging Face 开源的高效微调库,LoRA 等方法用少量参数让大模型适配新任务。
Project story
PEFT(Parameter-Efficient Fine-Tuning)是 Hugging Face 官方的高效微调库:通过 LoRA、IA3、AdaLoRA 等方法只训练少量额外参数,即可把大模型适配到具体任务,显存与存储开销仅为全量微调的一小部分。
与 Transformers 深度集成,微调产物以 adapter 形式保存、可叠加复用,生态成熟,是开源模型微调的事实标准组件。
适合场景:领域大模型适配、低成本微调、多任务共用基座模型。
上手方式:pip install peft,用 LoraConfig 包装模型后照常训练。