StableLM 是 Stability AI 持续开发的开源语言模型系列,代码和模型说明托管在 GitHub 仓库中,模型权重发布在 Hugging Face 上。整个系列包含多个版本:2023 年 4 月发布的首批 StableLM-Alpha 模型(3B 和 7B 参数)、同年 8 月推出的改进版 Alpha v2、9 月发布的 StableLM-3B-4E1T,以及基于 Vicuna-13B 做 RLHF 微调的对话模型 StableVicuna。仓库会持续更新新的模型检查点。
没有这类开源模型时,想在自己的产品或研究里用上大语言模型,路子基本只有两条:要么调用闭源 API,按 token 付费且数据要出域,要么自己从零预训练,算力成本高到大多数团队承受不起。StableLM 这类开放权重的模型把中间这条路打通了。你可以拿到完整的模型权重,在自己的硬件上跑推理,也可以针对下游任务做微调
📬 不错过下一款好工具
每周二、周五各一期,随时退订
这是你的产品?认领并提升曝光 →
最适合用 StableLM 的是有机器学习工程能力、需要自主可控模型的开发者和研究团队,比如要在 3B 到 7B 这个量级上做领域微调、做模型行为研究、或者搭建私有部署的对话服务。StableLM-3B-4E1T 在 2023 年 9 月时是 3B 参数量级开源模型里的领先者,还能跟不少同期的 7B 模型打平甚至超过自家的 StableLM-Base-Alpha-7B-v2,对算力有限但又想要不错效果的场景很实际。反过来,如果你只是想要一个开箱即用、不用操心底座和部署的聊天助手,StableLM 会让你觉得麻烦,它给的是权重和训练配置,剩下的推理环境、微调流程、提示词格式都得自己搭。另外 StableVicuna 的增量权重采用 CC BY-NC-SA-4.0 协议,不能商用,商业项目要留意这个限制。
实际使用流程大致是这样的:先从 Hugging Face 下载所需的模型权重,官方提供了一个 notebook 帮助在 GPU 资源有限的情况下跑推理。如果用的是 StableLM-Tuned-Alpha 这类对话微调模型,输入需要按 <|SYSTEM|>...<|USER|>...<|ASSISTANT|> 的格式组织提示词,模型会基于这个结构生成回复。想微调的话,仓库里提供了完整的 YAML 超参数配置文件,比如 stablelm-3b-4e1t.yml,里面记录了预训练用的全部设置,可以据此设计自己的微调方案。StableLM-3B-4E1T 的架构是类似 LLaMA 的 decoder-only transformer,旋转位置编码只应用在前 25% 的注意力头维度上以提升吞吐量,归一化用的是带可学习偏置的 LayerNorm 而非 RMSNorm,分词器来自 GPT-NeoX。这些细节对做二次开发的人来说都有文档可查。
StableLM 的模型权重免费开放。StableLM-3B-4E1T 和 StableLM-Alpha 基座模型采用 CC BY-SA-4.0 协议,StableVicuna 的增量权重采用 CC BY-NC-SA-4.0 协议(仅限非商业用途)。GitHub 仓库本身免费访问,模型通过 Hugging Face 下载,不需要付费订阅。
选 StableLM 的理由很具体:你需要 3B 到 13B 量级的开放权重模型,要在自己的硬件上部署或微调,并且团队有能力处理从权重到可用服务之间的工程工作。如果你要的是直接对话的成品、不想管模型部署,或者需要远超 13B 参数规模的模型能力,那 StableLM 不在合适范围内,该看的是托管型大模型服务或更大参数量的模型系列。
模型权重免费开放,基座模型采用 CC BY-SA-4.0 协议,StableVicuna 增量权重采用 CC BY-NC-SA-4.0 协议(非商业用途)。托管平台自身的费用以官网当前公示为准。
Aim 是一款 AI 训练模型工具,面向需要构建或优化机器学习模型的开发者与研究人员。
复旦大学团队研发的开源对话式大型语言模型,具备多轮对话、逻辑推理与代码生成能力,支持中英双语交互,旨在降低大模型研发门槛,推动通用人工智能技术探索。
悟道是北京智源研究院推出的超大规模语言模型,面向需要中英文文本与图像联合处理能力的研究者和开发者。
OpenBMB是由清华团队发起的大规模预训练语言模型开源库,提供从训练到部署的全流程工具链,降低大模型研发门槛。
Lamini AI 是一款专为开发者设计的低代码大语言模型定制引擎,通过简化API与自动化基础设施管理,助力企业低门槛、高效率地完成领域专属模型的微调与部署。
腾讯混元大模型是腾讯推出的多功能AI引擎,提供对话、视觉生成及代码辅助能力,面向开发者与企业用户实现业务智能化升级。