大海捞针是怎么测的？埋点检索，从原理到落地

在一篇几十万字的长文里埋一句无关紧要的话，再让模型把它找出来，这就是大海捞针测试的基本玩法。它专门回答一个问题：号称支持超长上下文的 AI 大模型，是真读得进长文，还是只是参数上写着好看。

针是怎么埋进去的

先准备一篇足够长的「 haystack 」：常见做法是拿一批互不相关的文档拼接成几十万字的语料，避免内容本身提供线索。再准备「针」：一句与文章主题完全无关、但信息完整的话，比如「魔法词是紫罗兰」。埋针讲究位置采样：不能只埋开头结尾，要按「文档深度」网格化布点——从全文开头到结尾按百分比取若干个位置，同一深度可重复埋多次取稳定结果。每埋一根针，就生成一道独立的测试题，整套材料的输入是语料加针，输出是带位置标记的题目集。

模型要捞什么、怎么算对

提问方式是关键细节。合格的问法不会把答案原句复述给模型，而是问「文中提到的魔法词是什么」，逼模型真去检索。判定标准要收紧：回答必须命中埋点信息本身，抄错字、答出针附近的干扰内容都算错，否则分数会被放水。判对判错可以脚本自动比对，也可以用裁判模型辅助，后者需要先做裁判模型校准，否则容易把「沾边」当「命中」。

深度图和长度轴的读法

完整的大海捞针结果通常画成一张网格图：横轴是上下文总长度，纵轴是针埋的位置深度，每个格子填命中率。读法有三条。看整图颜色：全绿说明该长度下检索稳定，出现白色或浅色条带就是能力洼地。看深度规律：很多模型在开头结尾表现好、中段掉链子，这叫中间塌陷。看长度拐点：同一模型在十万字全绿，四十万字开始发白，说明标称长度与可靠长度之间有距离。读这类图要和指标口径配合，波动范围怎么看可参考评测方差与置信区间。

三条读法各自盯着图上的一个方向。

捞针测试速查表

• 语料：拼接无关文档，避免主题线索
• 埋针：按深度网格布点，覆盖首中尾
• 提问：不泄露答案，逼真检索
• 判分：命中信息本身才算对，沾边不算

捞针测的是什么能力

它测的是长上下文里的精准检索，这是许多下游任务的地基：审一份厚标书找关键条款、通读几百页资料做摘要、在长对话里记住早前的约束，底层都靠这个能力。但它测不到全部：跨段落的信息整合、长文逻辑一致性、读后的推理归纳，捞针一概不涉及，别把它当成对长文能力的完整评价。真要考察模型在自己的长文档上的表现，参照自建评测的思路拿真实文档出题更贴近实战。捞针的对战化变体、以及它在多轮环境里的延伸，可结合Agent 评测的环境一起设计；成绩横向对比时，还要留意对战类指标与客观题指标的口径差异。

落到实操，一次像样的捞针测试并不昂贵：拼接公开长文当语料，按深度网格埋几十根针，脚本批量提问并比对答案，半天就能跑完一轮。真正的门槛在后续解读：同一模型在不同语料、不同提问措辞下的成绩会有出入，别拿一次结果下定论，至少换两套语料交叉验证。另外，捞针成绩对提示词里「请仔细阅读全文」这类引导语也敏感，提示词要固定并写进报告，否则成绩之间没有可比性。

关于大海捞针再多问三句

• 埋一根针测一次就够了？：不够，同一深度至少埋多根取命中比例，单点结果受运气影响太大。
• 针太简单会不会测不出差距？：会，可以把针改成需要简单转述或组合的信息，让「找到」和「答对」之间多一步加工。
• 捞针全绿就代表长文能力强吗？：只代表检索这一环扎实，摘要连贯性和跨段推理要靠别的题目补测。