KV Cache

KV Cache 是什么

KV Cache（键值缓存）是 Transformer 大模型推理时的核心优化技术。生成文本时，模型每生成一个新词元都要重新计算注意力；KV Cache 把已生成词元算出的 Key、Value 缓存起来，新词元只计算自己的部分，避免整段重复计算，显著降低延迟、提升吞吐。

为什么重要

自回归生成是「逐个词元」进行的，若不缓存，生成第 N 个词元时前 N-1 个词元的注意力要全部重算——计算量随序列长度平方增长。KV Cache 让增量推理成为主流，是大模型服务成本与速度的关键变量。

关键权衡

• 收益：推理速度大幅提升，长对话、长文档场景体验明显更好
• 代价：缓存占用显存，长上下文 + 大并发下显存压力大（这是 KV Cache 显存优化的动因）
• 优化方向：KV 压缩（量化、剪枝）、GQA/MQA 多头共享、PagedAttention 显存管理、前缀缓存（Prompt Caching）

相关概念

• 前缀缓存：多轮对话共享系统提示词，缓存可复用
• 上下文长度：越长 KV 占用越大，与显存直接相关
• 推理引擎：vLLM、TensorRT-LLM 等都围绕 KV 管理做优化

KV Cache 是理解大模型推理成本、并发能力与长上下文支持不可绕开的技术概念。