## MMLU是什么
MMLU（Massive Multitask Language Understanding）是覆盖 57 个学科的大规模多任务语言理解基准，用于评估模型跨领域知识的掌握程度，是大模型能力评测最常用的基准之一。
## 核心功能
- **多学科覆盖**：涵盖 57 个学科领域，从人文到理工全面覆盖； - **大规模任务集**：包含数万道测试题目，评估模型的广度与深度； - **零样本与少样本评估**：支持多种测试模式，对比模型在不同提示策略下的表现； - **标准答案评估**：基于明确答案的标准化打分，结果客观可比。
## 适用人群
MMLU 适合：大模型开发者（能力评测）、研究者（跨领域评估）、选型团队（对比决策）、高校实验室（学术研究）、评测工程师（基准使用）、教育科技（知识评估），以及需要评估模型知识广度的团队。
## 使用体验
「跨领域知识一测便知」是核心体验：57 学科覆盖知识广度，数万题目规模充分，零样本少样本灵活对比。标准化打分客观可比，是衡量模型通用知识水平的行业标准基准。
## 总结
MMLU 是大模型评测
📬 不错过下一款好工具
每周二、周五各一期，随时退订
这是你的产品？认领并提升曝光 →
## 常见问题
**MMLU 免费吗？** 以发布方公开资源为准，通常开源可用。
**覆盖哪些学科？** 涵盖人文、社科、理工等 57 个学科。
**如何解读得分？** 得分反映模型跨学科知识掌握程度。
## 快速上手
1. 获取 MMLU 数据集；2. 配置模型；3. 选择测试模式；4. 运行评估；5. 对比学科得分。
## 使用技巧
**学科细看**：按学科对比定位强弱项；**模式一致**：跨模型对比保持同模式；**结合业务**：与业务场景基准结合评估。
## 进阶提示
建议把「基准→评测→分学科→对比→选型」固化为知识能力评估流程，MMLU 做通用评估，细分学科定位强弱，结合业务场景补充验证。
**补充说明**：MMLU 得分与模型的训练数据覆盖高度相关，评估时建议结合时效性因素解读；对垂直领域需求，MMLU 作为基线再叠加领域基准更合理。
## 适用场景补充
知识评估、模型对比、学术研究、基准测试、选型参考等场景均适用。
## 使用建议
评估前建议先明确业务需要的知识领域，按学科维度对比模型强弱项；跨模型对比时保持测试模式一致，确保结果可比较。
## 一句话总结
57学科多任务理解基准，大模型知识广度标准测试。
