PaLM 2

PaLM 2 是 Google 的下一代大语言模型，由 Google 团队在 2023 年 I/O 大会上正式公布预览版，用来接替 2022 年 4 月亮相的初代 PaLM。初代模型用了超过 5400 亿个训练参数，这一代则把重心放在多语言、推理和编码三块能力的改进上。它属于 AI 训练模型这一类别，面向的是想把语言处理能力做进自己产品里的开发者和企业，而不是直接给普通用户的聊天应用。

没有这类基础模型的时候，团队要自己解决一连串麻烦事。想让产品支持多语言，就得为每种语言分别准备语料、调模型、做评测，小语种几乎顾不过来。想让应用会写代码或做数学推理，要么自己收集科学论文和源代码做训练，要么干脆放弃这块功能。这些工作的算力开销和数据门槛，大多数团队扛不住。PaLM 2 把这些问题前置解决掉了：它的训练数据覆盖 100 多种语言，连成语、诗歌、谜语这类带文化背景的细微文本也能处理和翻译，还通过了精通级别的高级语言能力考试；数据集里混入了科学论文和含数学表达式的网页，逻辑、常识推理和数学能力因此得到加强；预训练用了大量公开源代码，Python、JavaScript 这类主流语言自不必说，连 Prolog、Fortran、Verilog 这种偏门的专用语言也能生成。开发者拿到的不是一个单点工具，而是一个可以微调的语言底座。

最需要它的是做国际化产品的团队，一套模型覆盖多种语言，省去逐语言建设的成本；做代码辅助、文档摘要、对话功能开发的团队也合适，这些正是它被训练来承担的任务。反过来，如果你只是个人用户想找个开箱即用的聊天工具，它并不直接面向你，普通消费者接触到的是 Google 基于它做出来的应用。对模型内部结构、训练过程要求完全透明可控的研究型团队，用它也会觉得隔着一层，因为能拿到的是模型能力和微调接口，而不是整个系统的细节。这类需求得另找出路。

实际用起来，路径是围绕微调和部署展开的。先从四个规格里挑一个：Gecko、Otter、Bison、Unicorn，从小到大排列。Gecko 最轻，能在移动设备上工作，速度快到离线状态下也能支撑设备端的交互式应用；需要更强能力就往上选更大的版本。选定规格后，把自己的任务数据喂进去做微调，让它适配具体场景。比如你要做一个多语言客服，就用客服对话语料调它；要做代码审查工具，就用代码相关的数据调它。调好的模型嵌进产品，用户输入文本，模型完成理解、推理或生成，输出结果。Google 自己也把这类能力接进了 Docs、Gmail 等 Workspace 应用，走的同样是底层模型加场景微调的路子。