北京智源研究院(BAAI)在2021年6月发布了悟道2.0版本,这是该机构继1.0之后推出的超大规模智能模型系统。它属于AI训练模型类别,核心能力集中在语言理解与生成上。
在没有这类大规模预训练模型之前,处理中英文混合的图文任务往往需要分别搭建不同的流水线。比如你要让一个系统同时读懂中文网页截图和英文技术文档,团队得为每种语言和模态单独收集数据、设计网络结构并反复调参。这不仅消耗大量算力,还导致不同模块之间的知识无法共享,最终拼凑出来的系统在跨语言推理时经常出错。代价是项目周期被拉长,人力成本居高不下。悟道的出现把中英文文本和图像放进了同一个训练框架里,用统一的参数空间去消化这些异构信息。它在九项公开基准测试中的成绩超过了当时已有的先进水平,意味着开发者可以直接调用它的表征能力来完成下游任务,而不必从零开始训练基础特征提取器。对于需要快速验证想法的研究团队来说,省去了重复造轮子的时间。
做自然语言处理或计算机视觉研究的团队用起来会比较顺手,尤其是那些日常要同时处理中文和英文语料的人。如果你的工作流只需要单一语言的纯文本分类,或者你希望精细控制每个注意力头的权重分配,用它反而显得笨重。不在它支持的平台上的用户也会觉得麻烦。这类轻量需求就别指望它了。
整个运行过程依赖一套名为FastMoE的开源混合专家机制。输入内容进入系统后,预测任务会被拆分成若干子任务,每个子任务对应一个专门训练过的专家模型。接着门控网络会根据当前输入的特征判断应该咨询哪一个或哪几个专家。比如你输入的是一段英文提问,门控就会把请求路由到擅长英文生成的那个预测模型上,让它输出对应的回答。如果输入换成中文图片描述,系统则自动切换到处理中文图形数据的专家。各个专家可以并行运作,最终结果由门控模型组合得出。这套架构让模型在面对4.9TB的训练数据时能够灵活调度资源。具体来看,这批数据包含1.2TB中文文本、2.5TB中文图形以及1.2TB英文文本。模型正是靠这些多模态素材学会了在不同语言和视觉信号之间建立联系。
获取途径需要前往北京智源研究院的官方页面查看,使用前通常需要完成注册流程。具体的调用额度与收费标准以官网当前公示为准。
📬 不错过下一款好工具
每周二、周五各一期,随时退订
这是你的产品?认领并提升曝光 →
当你的项目必须同时覆盖中英文且涉及图文混合理解时,这个模型是一个可以直接拿来用的底座。但如果任务仅限于单语种短文本匹配,或者对推理延迟有极严苛的实时性要求,你应该去寻找体量更小、专门为单一场景裁剪过的工具。
需要前往北京智源研究院官方页面注册账号后获取访问权限。具体的费用方案与可用额度以官网当前公示为准。
阿里巴巴达摩院推出的十万亿参数跨模态预训练大模型,提供强大的图文联合理解、生成及知识表征等智能服务。
Aim 是一款 AI 训练模型工具,面向需要构建或优化机器学习模型的开发者与研究人员。
序列猴子是出门问问推出的一款超大规模语言模型及AI工作流编排自动化平台,支持长序列与多模态处理,帮助用户高效串联各类模型,实现复杂任务的无缝衔接与自动化流转。
字节跳动推出的AI大模型家族,通过火山引擎提供通用语言、音视频生成及多模态处理服务,面向企业与开发者构建智能化应用。
Cherry Studio 是一款开源的 AI 客户端助手,面向需要同时调用多个大模型、管理本地知识库以及进行图文创作的个人用户与开发者。
Seedance 是字节跳动 Seed 团队推出的多模态 AI 视频生成模型,支持文本、图像、音频、视频混合输入,一次生成带音轨的高清短片,面向广告、电商、影视