什么是稀疏注意力？长文本为什么能算得动

注意力机制是如今大模型处理文本的核心，但它有个麻烦：文本长度翻倍，计算量会以更快的速度上涨。长文本之所以一度「算不动」，卡点就在这里。稀疏注意力要做的，是只计算一部分词之间的关联，把成本降下来。

一句话说清：并非每两个词都要互相看

标准注意力要求每个词都和所有其他词计算关联。稀疏注意力的思路是：只算其中一部分关联，因为大部分词之间的关系其实很弱，省掉这些弱关联，损失很小。要理解它，得先回到大语言模型的注意力机制：它在每个位置都会衡量「我该关注哪些其他位置」。

标准注意力的代价在哪

注意力计算有一个特点：序列长度翻倍，计算量增长会远超一倍，接近平方增长。为什么接近平方？因为每个位置都要和序列里其他每个位置各算一次关联，长度 N 的序列，两两组合大约是 N 乘 N 的量级。一段 1 万 token 的文本，标准注意力要算的量远大于 1 千 token 时的十倍。这正是长上下文最贵的环节——瓶颈是「每个词看所有词」这一步太烧算力，并非存储放不下。

几种常见的「稀疏」方式

只看邻近：每个词只关注附近的词，适合局部依赖强的文本。

滑动窗口：像一个固定大小的窗口扫过去，窗口内互相看，窗口之间不直接看。

跳跃连接：隔一段看一次，兼顾远处信息，又不全量计算。

全局节点：少数几个位置（如段首或特殊标记）和所有位置相连，用来传递全局信息。

现实中的模型很少只用单一稀疏方式，常把滑动窗口、跳跃连接、全局节点组合起来，在「算得动」和「看得全」之间找平衡。一些架构还会分层：浅层用局部窗口抓细节，深层用全局节点抓整体，兼顾效率与效果。

它换来了什么

这三项提升来自同一个根源：算的量少了，同样的硬件就能处理更长的输入。

代价是什么：可能漏掉远距离关联

稀疏注意力的代价和效果是一体两面：只算一部分，就可能错过「隔很远但相关」的信息。比如一篇长文的开头埋了伏笔，结尾才揭晓，稀疏方式若没让这两个位置互相看，就可能抓不住这层关联。此外，要让稀疏结构在硬件上真正跑得快，工程难度不低，需要专门优化，否则理论省算力、实际未必快。

效果还因任务而异：对全局关联敏感的题目（如长文逻辑梳理、多步推理），稀疏可能掉效果；对局部信息就够用的任务（如分词、局部改写），稀疏几乎无感。

失效最明显的场景，是需要跨大段回看的长文任务：长文档逐段比对、整本书问答、长代码仓库调试，这些任务里远距离关联就是答案本身，稀疏漏掉的概率更高。此时完整注意力或更强的长上下文方案更稳妥。

长文本能力为什么还要实测

速查：判断长文本能力，看这三条

• 能装下，不等于记得准：上下文容量和准确率是两回事
• 把关键信息放在长文的不同位置再提问，看它能否都抓到
• 多步推理类长任务，重点验证首尾关联是否丢

这解释了为什么「支持百万字上下文」越来越常见——是模型用了更聪明的算法来降低成本，并非真的把每个字都仔细看了。类似的「长序列处理」在别的 AI 任务里同样存在：语音合成里，文本前端要先把长文本切分、注音；视频生成里，视频延展要一段接一段把长片子续出来。它们处理长序列的方式各有不同，但都在「完整处理」与「算得动」之间做取舍。所以长文本能力仍要实测：能装下，不等于记得准。