稀疏注意力的「稀疏」是怎么决定的？

大模型注意力的稀疏，指的是每个位置不再与所有历史位置计算关联，只挑选一部分重点对象。决定挑哪些、按什么规则挑，就是稀疏策略要回答的问题，它直接关系到长上下文的计算量能不能降下来、降下来之后质量保不保得住。

先回顾：稠密注意力在看什么

标准注意力让每个位置与全部历史位置两两搭配，信息覆盖最全，代价是计算量随长度平方增长。长上下文场景下，这笔开销会成为主要瓶颈，机器先扛不住。

稀疏化的动机很直接：并非所有搭配都有价值，很多位置之间本就无关。把无效搭配砍掉，把算力留给真正相关的少数位置，是用覆盖率换速度的典型交易。

交易成立的前提是「无关的确实无关」。在闲聊、摘要这类内容相对均匀的输入上，砍掉大部分搭配损失很小；在需要前后呼应的长文里，比如开头埋的伏笔到结尾才揭晓，远距离搭配恰恰最关键，一刀切的稀疏容易在这里丢分。判断输入属于哪一类，看内容是否强依赖前后呼应，是就要对稀疏比例更保守。

稀疏策略的几种选法

按位置结构选，比如固定窗口加全局锚点，近处看细、远处看粗；按内容相似度选，用低代价指标先筛出可能相关的候选；按学习出来的模式选，让模型在训练中自己学会忽略谁。

三类做法可以叠加。常见组合是结构打底、相似度筛选、学习模式兜底，兼顾确定性与灵活性，单一策略很难在所有场景都吃得开。判断一个方案偏哪一类，看它描述保留规则的语言就够：说窗口、说层级的偏结构派，说相似度、说评分的偏内容派，两者并提的才是混合设计。

谁来决定保留哪些位置

固定策略由规则决定，实现简单、行为可预期，但对任务的适配靠先验，遇到分布外场景容易失灵；动态策略按内容决定，贴合当前输入，代价是筛选本身也要计算。

这里有个隐性约束：筛选必须比被省下的计算便宜，否则省了注意力却赔进检索成本，整体不降反升。策略再精巧，算不过这笔账就是纸上谈兵。实践里还有一个隐性坑：筛选用的指标本身在高维下算得不准，筛出来的「相关」并不真相关，指标便宜但无效，同样白忙一场。

稀疏要付出的代价

代价是近似。砍掉的搭配里可能恰好有关键信息，稀疏注意力用覆盖率换速度，质量边界要实测才能确认，理论上说得通不等于实践中可用。

实践中通常按任务验证：在长文检索、长文摘要等场景对比稀疏与稠密的结果差异，差距可接受再上线。测试时别只用一种长文，检索型、摘要型、问答型各测一轮，稀疏的失效场景往往藏在其中某一类里。在 DeepSeek、腾讯元宝等模型的长上下文技术资料中，这类取舍都有体现。想了解相关手段，可以读长上下文的显存、位置插值和FlashAttention。

速查表：

• 为什么稀疏？砍掉低价值搭配，压平方级开销
• 怎么挑位置？结构规则、内容相似、学习模式，可叠加
• 代价是什么？覆盖率换速度，质量边界靠实测
• 隐性约束？筛选成本必须低于省下的计算

关于稀疏注意力再多问三句

• 稀疏之后效果一定差吗？：不一定，砍掉的多为低权重搭配，设计合理时质量损失可以很小，有些场景甚至更稳。
• 稀疏策略是固定的吗？：固定策略行为可预期，动态策略贴合输入，主流方案常两者叠加，按场景调配比。
• 用户怎么感知稀疏注意力？：间接感知，长文档请求更快、更省资源，但机制本身对用户完全不可见。