MMLU 与 CMMLU 哪个重要？大模型知识评测基准对比

两个最常被引用的知识基准

打开任何大模型的发布文档，几乎都能看到 MMLU 和 CMMLU 两个分数。MMLU（大规模多任务语言理解）是英文知识评测的行业标准，覆盖 57 个学科；CMMLU 是专为中文设计的多学科综合基准，覆盖 67 个主题。两者共同构成「模型懂多少知识」的度量衡。

MMLU：英文知识高考

MMLU 包含 57 个学科的 14000+ 道选择题，从人文社科到理工医学。它的特点：

• 行业标准：OpenAI、Google、Meta 等发布的模型都以 MMLU 作为能力标杆；
• 跨领域可比：学科覆盖面广，总分可横向比较不同模型；
• 英文为主：题型与知识体系面向英文世界。

CMMLU：中文知识高考

CMMLU 专为评估大模型中文综合能力设计，覆盖 67 个主题：

• 中文专属：题目直接以中文出题，考察中文语义理解与知识；
• 本土知识：包含中国文化、历史、政策等英文基准覆盖不到的内容；
• 逻辑推理：除知识储备外，考察中文语境下的逻辑推理。

四个维度逐项对比

1. 语言侧重

MMLU 面向英文，CMMLU 面向中文。中文模型在 CMMLU 上通常明显优于 MMLU，这正是「模型是否真的懂中文」的体现。

2. 学科覆盖

MMLU 57 学科、CMMLU 67 主题，覆盖面相近；CMMLU 多了中文特有知识维度。

3. 榜单应用

MMLU 用于全球模型横向对比，CMMLU 用于评估模型的中文落地表现。国内厂商发布模型时两者都会公布。

4. 局限

两者都是选择题型，偏知识记忆；都存在训练数据污染风险；都不直接反映推理、创作与真实对话体验。

结论与使用建议

• 不是二选一，而是都要看：一个看英文底子，一个看中文能力；
• 面向中文用户：以 CMMLU 为主，参考 MMLU 判断英文能力；
• 面向全球用户：以 MMLU 为主，补充 CMMLU 看中文表现；
• 结合其他评测：配合推理（GSM8K）、代码（HumanEval）、真人投票（LMArena）与中文任务（C-Eval、SuperCLUE）综合判断。

常见问题

Q：模型两个分数差很多正常吗？
A：正常。英文模型 MMLU 高、CMMLU 低；中文模型反之，这反映训练数据与能力的语言偏向。

Q：哪个分数更能代表模型好坏？
A：都不能单独代表。基准分数是能力下限的参考，实际体验以场景测试为准。

Q：看模型评测还需要注意什么？
A：注意评测版本、是否开卷、是否含污染题、模型权重是否公开，防止「刷分」误导。