流式输出

流式输出是什么

流式输出（Streaming）是大语言模型应用的一项核心技术：模型按 token 逐字生成，服务器边生成边把内容推给客户端，用户看到的是"打字机"式逐字出现，而不是等待全部生成完再一次性显示。

你打开 ChatGPT、Kimi、豆包等任何对话应用看到的逐字浮现，都是流式输出。

为什么需要流式

• 感知更快：首字延迟（TTFT）通常不到 1 秒，不用干等全文
• 体验自然：像真人逐字说话，缓解等待焦虑
• 可提前中断：发现方向不对，立刻停止节省 token
• 长文可控：几十秒的长回答无需等完才看到

技术原理

• 服务端用 SSE（Server-Sent Events）或 WebSocket 持续推送 token
• 前端逐段拼接渲染，markdown 实时解析
• 停止生成（Stop）时服务端发结束信号，应用收尾

对开发者的意义

• 实现难度不高但体验差距明显：非流式会显得"卡"
• 需处理半截内容的状态：打字中、完成、被中断
• 流式与搜索增强、工具调用等结合时，事件顺序设计更复杂

一句话总结

流式输出是 AI 对话应用体验的默认标准：它把"等待全文"变成"边生成边看"，是几乎每款 AI 产品都会用到的工程能力。