词向量的加减游戏为什么成立？语义的算术

大模型圈流传最广的一个演示：国王减去男人加上女人，约等于女王。词向量之间居然能做算术，听起来像魔术。本文拆解这套加减法为什么成立、边界在哪，以及它对使用大模型有什么实际意义。

先看游戏规则

拿三个词的向量做一次向量运算，得到一个新向量，再去整个词表里找余弦相似度最高的词，结果常常就是预期那个。经典例子是「国王减男人加女人约等于女王」，同类还有「巴黎减法国加意大利约等于罗马」。运算本身没有任何特殊设计，就是普通的向量加减加相似度检索，神奇之处全在向量本身怎么训练出来的。

算术成立的原因：方向承载关系

词向量的训练目标之一是让共现模式相近的词落得相近。语料里，「国王」和「男人」的差距，与「女王」和「女人」的差距，几乎是同一种模式：性别维度上差一截。这个「差一截」在向量空间里就是一段方向——从男人指向国王的那段位移，约等于从女人指向女王的那段位移。加减法做的就是把这段位移平移：从女人出发，沿着男人到国王的方向走同样远的距离，落点自然靠近女王。

打个比方，这像地图上的相对位移：从 A 城到 B 城的方向和距离，常常和从 C 城到 D 城的方向距离接近，因为两对城共享同一种地理关系。比喻到这——回到机制本身，向量空间里的方向之所以能承载语义关系，靠的是训练时共现统计的反复打磨，不是地图，胜似地图。

为什么不总是准

算术只是近似。语义关系并不总是线性的一段位移：反义词、程度差别、文化专有搭配，都可能在向量空间里被揉成一团。低频词的向量训练不充分，落点飘得更远。多义词只有一份静态向量时更是灾难——这也是早期词向量方法的固有边界。为什么同一个词在不同句子里向量不同那篇讲的动态表征，正是对「一词一份向量」的修正；到大模型时代，静态加减法更多是科普演示，真实语义理解发生在上下文相关的动态表示里。

失准不是随机发生的，三类来源各有各的原因。

词向量速查表

• 加减成立的前提：语义关系在向量空间里近似一段位移
• 相似度用余弦，检索在全表范围进行
• 高频词、清晰对仗关系效果好，低频词与微妙关系常失准
• 大模型时代它是理解工具，不是可靠工程手段

它留下的实际价值

抛开表演性质，这套算术留下了两个真东西。一是可解释的直觉：语义被摆进了几何空间，远近、方向都有了意义，后面所有基于向量的检索、聚类、推荐都建立在这个认知上。二是调试手段：语义搜索、文档去重、意图分类这些任务，底层都是向量相似度，理解了加减为什么成立，就理解了为什么搜「苹果公司」不会返回水果。你在 Kimi、豆包里用到的文档问答、以图搜图，底层跑的也是同一套相似度。知识是怎么存进参数里的那篇讲的分布式表征，是向量空间的底层成因；模型输出的概率分布则是向量的下游去处——向量算完关系，分布决定选词。

词向量算术快问快答三则

• 加减结果一定落在词表里吗？：不一定，算出来的向量可能落在两个词中间，只是相似度最高的那个恰好常常是对的，做演示时被挑出来的也是成功案例。
• 为什么有的例子怎么算都不对？：关系不成对仗、词频悬殊或一词多义，都会让位移对不上，这类失败案例和研究中的成功案例一样多。
• 现在的大模型还跑这套加减吗？：不跑了，它用的是上下文相关的动态表示，语义关系不再依赖一段固定位移，静态加减只留在演示与启蒙里。

带走一个判断：加减法是向量空间的导游图，能帮你建立直觉，别把它当成度量工具。