PromptFoo 使用教程：大模型应用评测框架

PromptFoo 是什么

PromptFoo 是开源的大语言模型应用评测框架：通过自动化测试与多维度指标，帮助开发者评估提示词效果与模型表现。它是「LLM 应用的质量门禁」——上线前自动化验证提示词与模型组合。

它的价值在于「评测工程化」：把提示词与模型的选择从「感觉」变成「数据」——定义测试用例、跑自动化评估、对比指标，决策有据可依。

怎么注册与使用

第一步安装：按文档安装 PromptFoo，初始化项目。

第二步配置用例：定义测试用例、提示词与评测维度。

第三步运行评测：运行自动化测试，评估提示词与模型表现。

第四步对比优化：对比不同配置的指标，优化提示词与选型。

主要功能

自动化测试：提示词与模型的批量自动化评测。

多维度指标：质量、相关性、成本等指标评估。

对比分析：不同配置的横向对比。

回归保护：变更前后的效果回归测试。

收费方式

PromptFoo 开源免费；云服务版按订阅收费。开发者从开源版起步，团队规模化再评估云服务。

适用场景

• 提示词优化：用数据驱动提示词迭代。
• 模型选型：对比不同模型的效果与成本。
• 上线把关：发布前自动化评测质量。
• 回归测试：提示词与配置变更的回归保护。

常见问题

需要懂测试吗？ 需要基础测试概念，框架降低了编写与运行门槛。

适合个人开发者吗？ 适合，开源版免费，小项目即可引入。

能测哪些模型？ 支持主流模型 API 与本地模型，具体以文档为准。

总结

PromptFoo 的价值在于「把 LLM 应用的质量变成可评测的数据」：自动化测试、多维指标与对比分析，提示词与选型决策更可靠。它的正确用法是「先定指标、再跑评测」：定义清晰的评测维度，用自动化测试持续优化。建议从一个小型提示词项目开始，体验「配置→运行→对比」流程，评估它在你 AI 应用质量保障中的价值。