多模态大模型读一份带图的长文档时，用的并非「先看完文字再看图」，而是图文交织输入：图块按原位置插进文本序列，一起进模型。排法有讲究。
交织输入是什么：一段文本里嵌几张图
交织输入的原料是图文混排的文档：教程里步骤之间夹截图，论文里段落之间夹图表。系统把每张图切成若干图块，每个图块变成一个「视觉块」，按原文位置插到文字序列里，模型读的时候视觉与文字信息交替出现，图与上下文的对应关系天然对齐。
这样排的好处是理解不需要「记忆搬运」：图就待在它被提到的地方，模型读到「如上图所示」时，上图的信息就在附近，注意力直接够得着。
排列的讲究：图和文字的相对位置
位置是交织输入的第一要素。同一张图插在提及它的句子前后，回答准确率明显高于插在文档末尾，因为注意力覆盖范围有限，隔太远信息就淡了。图块内部还有排布：切几块、按什么顺序拼，决定了模型能不能看清图里的局部细节。
上下文预算是硬约束：一张高清图可能占几百个位置额度，十几张图就吃掉一大截。智谱清言、腾讯元宝处理多图文档时会动态分配预算，重点图多给块数，次要图压低分辨率。
| 排列要素 | 怎么做 | 依据 |
|---|---|---|
| 图的位置 | 紧跟提及它的句子，别拖到文档末尾 | 注意力覆盖范围有限，隔远信息就淡 |
| 图块的切分 | 按重要程度决定切几块、怎么拼 | 块数决定模型能否看清局部细节 |
| 上下文预算 | 按图的重要性动态分配额度 | 一张高清图可能占几百个位置额度 |
长文档怎么切：分块与编码
上百页的图文 PDF 不能整本塞进去，切分策略决定效果。常见做法是按章节切块，每块内部保持图文相对位置，块与块之间带上前文摘要做衔接；跨块的图挂在主块一侧，避免孤图没有上下文。切得不好，图和说明文字分了家，模型就开始瞎猜。
图块数量和块大小的分配也有一套常规做法：整图先给一个全局低清视图，让模型知道图大概长什么样；再按图的重要程度补切块。被文字反复提及的图给足块数，纯装饰性的小图给一份全局视图就够。切分的另一个原则是按语义边界切，图表类图片按坐标轴和数据系列分块，截图类按界面区域分块，比机械的田字格切法更能保住局部含义。
切完自查一遍：每块抽出来单独能看懂，才叫切对了。
交织排布与文档结构识别环环相扣：栏怎么分决定图挂哪块，见版面分析是怎么分栏的；文档里的表格转成结构再交织，见表格识别是怎么恢复结构的；多张图之间的关联机制，看多图理解是怎么关联的；把视频当帧序列交织组织，则见视频问答的上下文是怎么组织的。
类比与失效：像边看图边读书但页码乱
你读带插图的手册时，眼睛在图和字之间来回跳，图永远翻开着放在旁边。失效点在于人的工作记忆会主动记图，模型只认序列位置：图一旦插错位置，它不会怀疑排版，只会顺着错误位置理解，输出一本正经的误读。
带走一个判断：给多模态模型喂文档，图放对位置比图更清晰更见效，位置错了高清也是白高清。
同一份文档换模型重试时，保持图的插入位置一致，两次结果之间才有可比性。
交织输入速查表
- 图紧跟提及它的句子；
- 重点图给足块数，次要图压缩；
- 长文档按章节切块并带摘要衔接；
- 孤图必挂说明，否则模型瞎猜。
一句话：位置即语义，插对地方等于说对了一半。
聊聊图文交织输入的常见疑问
- 图放在开头还是结尾好？：两者都不理想，紧跟首次提及处效果最稳，隔远了注意力够不着。
- 截图里的文字要单独 OCR 吗？：多数模型自己能读，但小字图建议补充文字版，分辨率瓶颈那篇讲过原因。
- 图越多效果越差吗？：预算内不差，超了预算模型开始「略读」，重点图要精不要多。
