OpenCompass 与 FlagEval 哪个好用？大模型评测平台对比

两大国产评测体系

国内大模型评测有两大代表性平台：OpenCompass 由上海人工智能实验室推出，是开源的大模型评测体系；FlagEval（天秤） 由智源研究院推出，基于「能力-任务-指标」框架提供评测服务。两者都是衡量国产大模型能力的重要参考。

OpenCompass：开源一站式评测

OpenCompass 的核心标签是「开源 + 一站式」：

• 开源体系：代码、评测基准、数据集开放，可本地部署；
• 语言与多模态：支持语言模型与多模态模型评估；
• 基准社区：聚合主流评测基准，提供统一接口；
• 排行榜服务：维护公开榜单，可查看模型横向表现。

适合需要深度定制、自建评测流水线的团队。

FlagEval：平台化评测服务

FlagEval（天秤）的核心标签是「框架 + 服务」：

• 能力-任务-指标框架：结构化拆解模型能力维度；
• 多模态评测：覆盖语言、视觉等多模态能力；
• 自动化评估：平台化服务，免去自建环境；
• 智源生态：与智源模型、算力生态联动。

适合希望直接使用现成评测服务、快速获得结果的研究者与开发者。

四个维度逐项对比

1. 开源与可控

OpenCompass 开源可自部署，适合定制评测集与私有模型；FlagEval 以平台服务为主，开箱即用。

2. 评测框架

两者都覆盖语言与多模态；FlagEval 强调「能力-任务-指标」结构化框架，OpenCompass 强调基准聚合与可扩展。

3. 使用门槛

FlagEval 平台化，上手快；OpenCompass 需要一定工程能力，适合技术团队。

4. 适用场景

• 研究机构/自建评测 → OpenCompass；
• 快速出评测报告/非技术团队 → FlagEval。

结论与选择建议

想「拿来即用」选 FlagEval，想「深度掌控」选 OpenCompass。多数团队可以先用 FlagEval 看结论，再按需用 OpenCompass 定制私有评测；两者与 C-Eval、CMMLU 等基准互补使用，评测结论更立体。

常见问题

Q：两者免费吗？
A：OpenCompass 开源免费；FlagEval 平台服务以官方政策为准，通常提供免费评测入口。

Q：能评测我自己的模型吗？
A：可以。OpenCompass 本地部署可评测私有模型；FlagEval 按平台流程提交。

Q：评测结果能互相比吗？
A：使用相同基准与配置的结果可比，不同配置下需谨慎对比。