MoE

MoE 是什么

MoE 的全称是 Mixture of Experts（混合专家），是一种深度学习模型架构。它的核心思路是：不把全部参数都用于每次推理，而是训练多个"专家"子网络，由路由机制根据输入只激活其中一小部分专家。

这就像一个大公司不是所有员工都参与每个项目，而是根据项目类型抽调对口的小团队。MoE 让模型在保持超大规模参数的同时，实际计算量只与激活的专家数量相关。

为什么用 MoE

• 推理成本更低：参数量大但激活量小，推理速度更快、显存占用更省
• 容量更大：总参数量可以远超稠密模型，知识覆盖面更广
• 训练效率高：不同专家可并行训练，分散计算压力

常见的 MoE 模型

• Mistral 8x7B：8 个 7B 专家，每次激活 2 个，效果接近 70B 稠密模型
• DeepSeek-MoE：国内开源代表，稀疏激活大幅降低成本
• Mixtral 8x22B：更大规模的专家组合
• 部分大厂旗舰模型内部也采用 MoE 或混合结构

局限与权衡

MoE 不是没有代价：显存中仍需加载全部专家参数（只是计算时部分激活），路由机制可能让某些专家过载，分布式训练复杂度也更高。对个人用户来说，本地部署 MoE 模型仍需足够大的显存。

一句话总结

MoE 用"每次只激活部分专家"的方式，把大模型的能力与推理成本解耦——这是当前开源社区在"小显存跑大模型"方向上的主流解法。