视频理解的采样密度是怎么定的？

把一段十分钟的视频交给通义千问、Kimi 这类模型总结，它并不逐帧看完，而是按一定密度抽帧来看。采样密度决定了模型眼中的视频长什么样：抽得太稀，关键瞬间直接漏掉；抽得太密，消耗和耗时翻着倍往上涨。这个密度是怎么定下来的，值得拆开看。

抽帧是怎么进行的

常见做法是均匀抽帧：按固定间隔取画面，比如每秒一帧或每两秒一帧，再把选中的帧编码成 token 送进模型。间隔多长，就是采样密度。有的系统还会做关键帧筛选，先找画面变化剧烈的位置多抽几帧，静止段落少抽，让有限的额度花在信息多的地方。

抽帧之后通常还有压缩环节，画面几乎一样的相邻帧会被合并或丢弃。所以产品页上写的「支持长视频」，背后是抽帧加压缩两级瘦身的结果。

帧的表示方式也影响密度需求。有的模型把每帧编码得很省，同样预算能装下更多帧；有的模型每帧信息量大，几帧就用掉大量 token。所以不同产品之间不能直接比「每秒抽几帧」，要看同样一段视频各自装进了多少有效信息。

密度高低各换来什么

密度高的好处直接：动作细节、屏幕上的文字、一闪而过的画面都容易被捕捉，细节类任务的准确率上升。代价同样直接，帧多则 token 多，算得慢、花得多，超长视频还可能顶到上下文上限，后面的内容干脆装不下。

密度低则相反，整体梗概照样能抓住，代价是细节丢失。可带走的判断：问「这支视频大概讲了什么」，低密度足够；问「第几分钟的画面里字幕写了什么」，低密度基本必错。

密度和成本怎么权衡

token 消耗随帧数近似线性增长，密度翻一倍，账单和耗时大体也翻一倍。平台通常给出默认密度，那是面向大众任务的折中值；调用接口的应用可以自己调参，按任务价值决定这笔开销花不花。与其无脑拉满，不如先在低密度下跑一遍，发现细节不够再对关键片段单独加密。

还有一个隐性变量：上下文容量。密度拉满时，一段长视频的 token 可能顶爆上下文，系统要么报错要么静默截断，后面的内容压根没进模型。这就是为什么有时提高密度反而答得更差——前面塞得太满，把关键片段挤出了窗口。分段处理是正解，每段独立送入，别赌窗口装得下。

这个思路和图像侧的计费逻辑一脉相承，细节见图像 token 数是怎么影响费用的；识别音频时给专名开小灶的办法，看热词是怎么加进语音识别的；两条技术路线的底层分野，在原生多模态和外挂视觉有什么区别里说得更透。

不同任务该取什么档位

经验档位可以这样分：内容审核、梗概总结这类粗粒度任务，低密度够用；教学视频、产品演示里读图表和文字，中密度起步；动作分析、找一闪而过的镜头，高密度加关键帧筛选。素材本身也影响选择，监控画面信息稀疏，密度可以放低；快剪混剪类视频信息密集，密度就得上去。

采样密度选择速查

• 看梗概：低密度，省钱省时。
• 读细节：中高密度，重点片段加密。
• 超长视频：分段处理，别硬塞上下文。

末句：先粗看再精看，密度花在刀刃上。

关于采样密度再多问三句

• 密度能动态调整吗？：部分系统支持按画面变化自动加密，静态场景自动放稀，具体看各家实现。
• 抽掉的帧还能找回来吗？：不能，模型只见过被抽中的帧，漏掉的信息对它来说不存在。
• 音频也受密度影响吗？：音频是连续信号，另有自己的采样率，与画面抽帧是两套独立的机制。