清华开源轻量级大模型MiniLM-3B，性能媲美7B级闭源模型

清华大学KEG实验室今日在Hugging Face及GitHub上正式开源了全新轻量级大语言模型MiniLM-3B。该模型参数量仅为3B，却通过创新的残差压缩注意力机制与高质量数据清洗策略，在MMLU、GSM8K等主流评测集上得分全面超越当前主流的7B级闭源模型。MiniLM-3B支持在消费级显卡（如RTX 3090）上进行本地极速推理与微调，极大降低了端侧AI部署的硬件门槛。开源社区反响热烈，上线6小时内下载量已突破5万次。