视频问答的上下文是怎么组织的？

把一段视频丢给 AI 问「视频里他做了什么」，答案要靠上下文的组织：帧、语音、字幕三路信息怎么对齐、怎么存取，决定它答得对不对。

视频问答的输入组织：帧、字幕、音频

视频对模型来说是三路信号。视觉路按抽帧策略取代表帧，每帧编码成图特征；音频路转录成带时间戳的文字；字幕路如果有内嵌或外挂字幕，直接抽文本。三路信息各自进来，最后要在时间轴上会师：第 12 秒的画面、第 12 秒的语音、第 12 秒的字幕，指向同一段内容。

对齐的价值在于互补：画面看不出动机，语音补充；语音有口误，画面佐证。豆包、Kimi 的视频理解功能都做了三路对齐，只是帧率策略和上下文预算不同。

上下文怎么存：时间轴上的记忆

长视频没法一口气读完，上下文按时间分块存：每块包含一段时间内的帧特征、转写文本、摘要，块与块之间用滚动摘要衔接。回答问题时先定位相关时间段，再把那几块的细节调进注意力范围，像查一本书先翻目录再读章节。

定位的精度取决于块的粒度：块太大定位粗、细节糊；块太小块数多、检索慢。海螺AI 处理长视频时用两级索引——粗粒度摘要定位到分钟，细粒度特征定位到秒——平衡了这两头。

多轮问答还有上下文继承问题：第一个问题定位到某段时间段后，追问「那他后来呢」要能顺着时间轴往后找，而不是重新全片检索。实现上是把上一轮命中的时间段作为本轮的检索起点附近加权，让对话有连续性。这也是为什么视频问答里连续追问的效果通常好于每次都从零问，锚点会累积。

换话题时主动说一句「换个片段」，能打断继承、避免答非所问的串味。

长视频的取舍：关键片段检索

一小时的直播回放问一个问题，逐块读完太奢侈，实际做法是检索式：先用问题匹配各块摘要，选出最相关的几个片段细读，其余略过。这一步的质量决定答案上限——检索漏了关键片段，后面读得再细也是错答。所以长视频问答的准确率瓶颈常常不在模型，在检索。

组织方式与邻近任务共享骨架：图文怎么编序列，见图文交织输入是怎么排的；多张图怎么建立关联，见多图理解是怎么关联的；帧数预算怎么省，看图像理解的分辨率瓶颈在哪；音频路先要干净，见语音降噪是怎么分离人声的。

类比与失效：像边看剧边答题但记忆有限

你陪朋友看剧顺便答题，眼睛看画面、耳朵抓对白，脑子里留个梗概。失效点在于人知道什么重要什么可丢，模型的取舍标准来自任务模板：没预料到的问题方向，相关细节可能早在分块摘要时被压缩掉了，答不上不是没看，是没留。

带走一个判断：问长视频前先在问题里给出时间线索或关键词，等于帮它把检索范围缩小，答案质量立刻不一样。

视频提问自查清单

• 问题里有没有时间点或人名等检索锚点；
• 视频有没有可用音轨或字幕；
• 要问的细节是画面级还是剧情级；
• 超长视频是否先要求输出分段摘要。

一句话：三路信息对齐了，视频才从一堆帧变成可问答的内容。

关于视频问答再多问三句

• 它能看到每一帧吗？：看不到，抽帧策略决定了它看的是代表帧，快速闪过的细节大概率漏掉。
• 为什么问人物关系它常答错？：关系要跨长时间段综合，分块摘要压缩掉了伏笔细节，先让它输出人物出场时间线再问会好很多。
• 静音视频影响大吗？：影响明显，少了一路信息，有字幕尚可补救，两者皆无就只能靠画面推理。