Scale Spellbook 使用教程：LLM 评测与优化平台指南

Scale Spellbook 是什么

Scale Spellbook 是 Scale AI 推出的大语言模型应用评测与优化平台：为大模型应用团队提供标准化评测框架、可视化分析与回归测试——你可以把不同模型、提示词、检索配置放在同一批评测数据集上对比，量化"哪个模型/哪版提示词效果更好"，把提示词迭代从"凭感觉"变成"可测量"的工程过程。适合对模型效果有严格要求的团队。

怎么用 Scale Spellbook

第一步：创建评测数据集
在 Spellbook 里建立评测用例集：真实业务输入与期望输出（或评分标准），作为模型效果的"考试题"。

第二步：配置对比实验
把要对比的模型、提示词版本、RAG 配置加入实验：同一批数据、同一条评判标准下做对照。

第三步：运行评测
批量运行评测，查看准确率、质量、安全等维度的打分；可视化报表直接看出哪个配置最优。

第四步：回归测试
把评测固化为回归测试：每次改提示词或换模型后重跑，防止"修了这里坏了那里"。

第五步：迭代上线
按评测结果迭代提示词与模型选择，稳定后接入生产；生产表现继续回流评测。

主要功能

• 标准化评测：统一评测框架与数据集
• 多模型对比：模型/提示词/RAG 配置对照
• 可视化分析：质量与安全维度报表
• 回归测试：变更后防退化
• 生产监控：线上效果持续追踪

适用场景

• LLM 应用团队：模型选型与效果量化
• 提示词工程：多版本迭代与验证
• RAG 优化：检索配置效果对比
• 质量保障：上线前评测与回归

收费方式

Scale 企业级产品，按团队与用量订阅，具体以官网（scale.com）当前公示为准。

常见问题

Q：适合小团队吗？ A：Spellbook 面向有一定模型应用规模的团队，企业级定位；小团队可从模型厂商自带评测工具起步。
Q：能评测哪些模型？ A：支持主流大模型与自定义模型接入，具体清单以平台当前说明为准。