ConsiStory是NVIDIA Research与特拉维夫大学联合推出的训练无关（training-free）主体一致性文本到图像生成框架。它解决了当前AI图像生成模型的一个关键痛点：用不同提示词生成多张图片时，无法保持同一主体的外观一致。ConsiStory不需要任何微调或个性化训练，仅需约10秒即可在H100 GPU上生成一张图像，比此前最优方法快约20倍。该项目已被计算机图形学顶级会议SIGGRAPH 2024正式接收。
技术原理
ConsiStory通过两个核心机制实现主体一致性：主体驱动共享注意力（Subject-Driven Shared Attention, SDSA）和基于对应关系的特征注入（Feature Injection）。SDSA扩展了U-Net解码器中的自注意力层，使当前图像的Query可以访问同一批次其他图像中主体的Key信息（受主体掩码约束）。特征注入则在不同图像间建立像素级对应关系并混合特征，进一步精细匹配主体身份。同时，通过SDSA的Dropout和混合非一致性采样特征来增加布局多样性。
性能对比
论文对比了IP-Adapter、Textual Inversion（TI）和DB-LoRA等方法。ConsiStory在主体一致性和文本对齐两个维度上均取得最优表现。自动化评估显示ConsiStory达到了主体一致性和文本相似性的最佳平衡点。用户研究也证实参与者在主体一致性和文本相似性方面明显偏好ConsiStory的生成结果。
多主体与扩展能力
ConsiStory天然支持多主体场景——可在同一批次中生成包含多个一致主体的图像集。此外还支持与ControlNet集成实现姿态控制下的一致性角色生成，以及基于编辑友好反演（edit-friendly inversion）的训练无关个性化功能——仅需2张真实图片即可建立个性化锚点。
开源与可获取性
项目代码开源于GitHub（github.com/NVlabs/consistory），论文可在arXiv获取。作为NVIDIA官方研究项目，代码质量和技术文档有保障。但需注意该框架针对SDXL设计，运行需要一定GPU算力（推荐H100级别）。
常见问题
ConsiStory是商业产品吗？ 不是，这是NVIDIA Research的学术研究项目，代码开源，主要用于学术研究。
需要训练吗？ 不需要。ConsiStory是一种训练无关方法，直接使用预训练的SDXL模型。
生成一张图像需要多长时间？ 在H100上约10秒/张，比此前方法快约20倍。
是否支持Stable Diffusion的其他版本？ 论文以SDXL为基础设计，对其他版本的适用性需参考官方代码仓库。
是否支持中文提示词？ 底层的SDXL模型主要面向英文提示词优化。
