实验追踪与评估工具记录训练实验的指标、参数和产物，并对上线后的模型做漂移监控。选型看能否与现有训练框架集成、是否支持团队协作、数据是否可自托管。这类工具的价值在于让对比实验可复现，避免凭印象判断哪个版本更好。
共收录 16 个工具
LangSmith 是由 LangChain 团队打造的 LLM 应用全生命周期开发平台，提供追踪、评测与提示词优化功能，助力开发者高效调试和监控大模型应用。
Scale Spellbook 是一款专为大语言模型应用设计的评测与优化平台，提供标准化评测框架与可视化分析，帮助团队量化模型效果并加速提示词迭代。
PromptFoo 是一款开源的大语言模型应用评测框架，通过自动化测试与多维度指标量化，帮助开发者高效评估提示词效果与模型表现。
Aim 是一款专为机器学习工程师设计的开源实验追踪工具，提供高性能元数据记录与实时可视化，帮助用户高效管理和对比海量模型训练实验。
LangFuse 是一款专为大型语言模型应用设计的开源可观测性平台，提供全链路追踪、成本监控与 Prompt 管理，帮助团队高效调试和优化 AI 应用性能。
百度智能云千帆是一站式企业级大模型开发平台，集成模型服务、Prompt工程与Agent编排，助力企业高效构建定制化AI原生应用。
Comet ML 是一款面向机器学习全生命周期的实验管理与协作平台，通过自动化追踪与可视化分析解决模型开发中的可复现性与协作难题，助力团队标准化 MLOps 流
PaddlePaddle（飞桨）是百度自主研发的产业级开源深度学习平台，提供从核心框架到端到端开发套件的全栈工具体系，助力开发者高效实现AI应用的产业化落地。
PromptLayer 是一款专为开发者打造的提示词工程管理平台，通过版本控制、性能监控与 A/B 测试，将非结构化提示词转化为可度量、易管理的工程资产。
DVC是一款专为机器学习项目设计的开源数据版本控制工具，通过将元数据与Git结合，实现大型数据集、代码与模型的同步版本管理，确保ML实验的可复现性。
ClearML 是一款开源的 MLOps 平台，旨在简化机器学习从实验到生产的全流程管理，提供端到端的自动化流水线与实验追踪支持。
ML实验追踪平台
开源ML生命周期平台
智谱推出的企业级AI智能体开发平台
AI产品评估
Evidently AI 是一个开源的 AI 评估与可观测性框架，帮助 AI 团队测试大语言模型并持续监控 AI 应用、RAG 系统和多智能体工作流的线上表现。
