注意力机制

什么是注意力机制

注意力机制（Attention Mechanism）是让模型在处理序列时，动态决定"该重点关注哪些部分"的机制。它给序列中每个位置分配一个权重：相关的信息权重高、无关的信息权重低，从而在长文本中抓住关键内容。

为什么重要

注意力机制是 Transformer 架构的基石，而 Transformer 是当前所有主流大语言模型的基础。它解决了早期模型"记不住长距离依赖"的问题：无论两个词在句子里隔多远，注意力都能直接建立联系，这也是大模型能理解长文、多轮对话与复杂指令的根本原因。

核心概念

• 自注意力（Self-Attention）：序列内各位置相互计算相关性，理解上下文关系。
• 多头注意力（Multi-Head Attention）：多组注意力并行，从不同角度捕捉关系。
• 缩放点积注意力：注意力计算的具体实现，控制权重分布稳定。

常见误解

• 注意力不是"看懂"：它提供相关性权重，是理解能力的基础组件之一，不直接等于语义理解。
• 计算成本高：注意力随序列长度平方增长，这是上下文窗口有上限的原因之一。

小结

注意力机制是理解大模型原理绕不开的概念：它让模型能"关注该关注的"，是 Transformer 架构的核心创新。理解它有助于明白为什么大模型擅长长文与复杂任务，也能解释上下文窗口的成本约束。