实验追踪与评估工具记录训练实验的指标、参数和产物,并对上线后的模型做漂移监控。选型看能否与现有训练框架集成、是否支持团队协作、数据是否可自托管。这类工具的价值在于让对比实验可复现,避免凭印象判断哪个版本更好。
共收录 30 个工具
秒悟Meoo是阿里ATH事业群推出的对话式AI开发工具,用自然语言描述需求即可生成前后端完整的网站、H5或小程序,适合没有编程基础的个人和中小团队快速上线应用。
巨日禄是面向创作者的AI动漫视频生成平台,支持文本到分镜、绘图及配音合成全流程自动化。
LangSmith 是由 LangChain 团队打造的 LLM 应用全生命周期开发平台,提供追踪、评测与提示词优化功能,助力开发者高效调试和监控大模型应用。
Scale Spellbook 是一款专为大语言模型应用设计的评测与优化平台,提供标准化评测框架与可视化分析,帮助团队量化模型效果并加速提示词迭代。
OpenCompass是由上海人工智能实验室推出的开源大模型评测体系,提供一站式语言与多模态模型评估、基准社区及排行榜服务,助力开发者高效衡量模型性能。
Baseten 是一款专为机器学习工程师打造的高性能模型部署与推理平台,通过开源框架标准化打包模型,提供低延迟、高吞吐量的企业级 AI 基础设施服务。
PromptFoo 是一款开源的大语言模型应用评测框架,通过自动化测试与多维度指标量化,帮助开发者高效评估提示词效果与模型表现。
Aim 是一款专为机器学习工程师设计的开源实验追踪工具,提供高性能元数据记录与实时可视化,帮助用户高效管理和对比海量模型训练实验。
响指HaiSnap是一个面向职场与学习场景的AI智能体平台,用自然语言驱动多步任务执行,交付PPT、代码、报告等成品。
LangFuse 是一款专为大型语言模型应用设计的开源可观测性平台,提供全链路追踪、成本监控与 Prompt 管理,帮助团队高效调试和优化 AI 应用性能。
百度智能云千帆是一站式企业级大模型开发平台,集成模型服务、Prompt工程与Agent编排,助力企业高效构建定制化AI原生应用。
Comet ML 是一款面向机器学习全生命周期的实验管理与协作平台,通过自动化追踪与可视化分析解决模型开发中的可复现性与协作难题,助力团队标准化 MLOps 流
PaddlePaddle(飞桨)是百度自主研发的产业级开源深度学习平台,提供从核心框架到端到端开发套件的全栈工具体系,助力开发者高效实现AI应用的产业化落地。
PromptLayer 是一款专为开发者打造的提示词工程管理平台,通过版本控制、性能监控与 A/B 测试,将非结构化提示词转化为可度量、易管理的工程资产。
DVC是一款专为机器学习项目设计的开源数据版本控制工具,通过将元数据与Git结合,实现大型数据集、代码与模型的同步版本管理,确保ML实验的可复现性。
ClearML 是一款开源的 MLOps 平台,旨在简化机器学习从实验到生产的全流程管理,提供端到端的自动化流水线与实验追踪支持。
LLM网关和监控
ML实验追踪平台
开源ML生命周期平台
Scale AI 是一家面向 AI 实验室、政府机构和大型企业的数据与评估服务商,提供高质量训练数据、模型评测和全栈 AI 系统,帮助组织构建可靠的 AI 应用
智谱推出的企业级AI智能体开发平台
TensorFlow可视化
阿里云百炼是面向开发者与企业的一站式大模型开发与应用构建平台,提供多模态模型调用、智能体搭建及全链路工具支持。
文状元是一款面向体制内与企事业单位的 AI 公文写作工具,覆盖通知、请示、总结、讲话稿等正式材料场景,适合经常写工作材料的人用来起稿、润色和排版。