MMLU 是覆盖 57 个学科的大规模多任务语言理解基准，是衡量大模型跨领域知识水平最常用的「考试」。本文讲清它的结构、意义、局限与分数怎么看。
学习内容
配套工具：MMLU MMLU是覆盖57个学科的大规模多任务语言理解基准，用于评估模型跨领域知识掌握程度。MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）是衡量大模型跨领域知识水平的经典基准。它包含 57 个学科的超过 14000 道选择题，覆盖人文、社科、理工、医学、法律、数学等多个领域，被业内称为「大模型的高考」。几乎所有主流模型发布时都会公布 MMLU 分数作为能力证明。
模型在 MMLU 上的表现，代表它「记住并运用了多少领域知识」。
MMLU 也有明显局限，需要和其他评测配合：
因此业界普遍用「MMLU + 推理基准（GSM8K 等）+ 代码基准（HumanEval 等）+ 真人投票（LMArena）」组合评估。
Q：MMLU 满分是多少？
A：满分 100%，目前最强模型已超过 90%，接近人类专家水平。
Q：MMLU 能评测中文能力吗？
A：主要面向英文，中文能力建议看 C-Eval、CMMLU 等中文基准。
Q：开源模型在 MMLU 上表现如何？
A：头部开源模型已逼近闭源模型，具体分数可查 Open LLM Leaderboard。
MMLU 是了解大模型知识水平的入门基准：覆盖面广、对比方便，但也要知道它的局限。读懂 MMLU，再配合推理、代码、中文与真人体验评测，你就能对模型能力有立体判断。
延伸阅读：本站 AI 百科「大模型评测基准」；教程「C-Eval 是什么」。
继续学习
AGI（通用人工智能）是所有 AI 公司的终极目标。本文讲清 AGI 与当前 AI 的区别、发展阶段与争议。
C-Eval 是面向中文基础模型的评估套件，涵盖 52 个学科、13948 道题目，是国内大模型评测最常引用的中文基准。本文介绍它的构成、榜单与中文评测的要点。
微调让通用大模型适配特定业务。本文讲清微调原理、方法与 RAG 的取舍。
NotebookLM 是谷歌推出的 AI 笔记助手，能把你的私有文档变成可交互的知识库，还能一键生成对话式播客。本文从创建笔记本、上传资料、提问与生成音频概览四个步骤，带你快速上手。
RAG（检索增强生成）解决大模型知识过时与幻觉问题。本文讲清原理、流程和适用场景。
temperature（温度）与 top-p 是控制 AI 输出随机性与多样性的两个核心参数。本文用通俗例子讲清原理，并给出不同场景的调参建议。
