模型输出的概率分布长什么样？前几名的排位

大模型每写一个字之前，都会先在整本词表上打一遍分，输出一条概率分布——几万个数，加起来等于一。这条分布的形状，直接决定了下一个字是稳稳落地还是出人意料。本文拆解分布的常见形态与它如何被参数改写。

一次输出长什么样

生成第 N 个字时，模型为词表里每个候选打一个原始分，经归一化后变成概率。进来的上文表示与输出层权重，发生的是点积打分加 softmax 归一化，出去的是一条几万项的分布曲线。典型形态是头部尖、尾巴长：头名候选常占两三成概率，前几名合计过半，剩余上万个候选瓜分不到一半。这条曲线就是模型「心里」的排序，头名未必赢，采样时才轮到随机性上场。

尖峰与平坡：两种典型形态

形态一，尖峰分布：下一个字几乎没悬念，「中国的首都是」后面跟着「北」。这种分布下怎么采样都绕不出头名，回答显得笃定。形态二，平坡分布：候选概率接近，「他推门走进」后面可能是「办公室」「森林」「回忆」，模型自己也没拿稳。平坡出现在歧义句、创意续写和知识盲区的交界处——它同时也是幻觉的温床：分布越平，越容易摸到一个听起来顺、事实错的词。

分布的宽度还随上下文变化：提示越明确，分布越尖；提示越开放，分布越平。这就是为什么同一个模型，写公文时头名候选稳定，写诗歌时候选名次天天换。

两种形态从哪来、长什么样、该怎么读，摆在一起看。

判断分布尖还是平，有个粗糙的观察窗口：让模型用同一个意思换三种问法提问，如果答案的用词高度一致，说明头名候选稳；如果每次说法都不同但意思都对，多半是平坡分布上的采样结果。这个自测不需要任何工具，问两句就能感受到分布的脾气。

参数怎么改写这条曲线

温度是把分布的锐度当旋钮：低于 1 压尖头名，回答更保守；高于 1 抹平差异，候选机会更均等。Top-p 是另一刀：从头部往下累计概率，够一截就开剪，只保留累计达标的那一小撮候选，分布被截短。词向量的加减游戏为什么成立讲的是输入侧怎么把词摆成向量；本文讲的分布是输出侧怎么把向量变成候选排序，一头一尾，中间隔着整个网络。DeepSeek、豆包的接口都暴露了这两个旋钮，默认值多按任务类型预设。

分布形态速查表

• 头名概率高：下一个字没悬念，回答笃定
• 头部几名接近：歧义或创意场景，采样开始起作用
• 分布整体偏平：知识盲区信号，谨慎核对答案
• 温度压低更尖、抬高更平，Top-p 直接截短候选池

看懂形状能拿来做什么

看形状最直接的用途是判断该不该信：头名候选概率高的事实陈述，通常比平头分布里的顺口溜靠谱。第二是调参有据：答题、转写、代码任务想要头名，温度压低、Top-p 收窄；头脑风暴想要平坡，反向操作。为什么同一个词在不同句子里向量不同那篇讲的上下文相关表示，决定的就是这条曲线每一轮的形状；长文本的 U 型注意力那篇讲的注意力分布，则影响上文表示的质量，进而影响输出分布的尖与平。

聊聊概率分布形态的常见疑问

• 为什么同一个问题每次答案不同？：只要分布不是极端尖峰，采样就带随机性，头名候选概率再高也不是百分之百，多轮回答自然有差异。
• 概率低的候选一定差吗？：不一定，低频但优质的表达常藏在长尾里，创意场景故意抬高温度就是为了给它们机会。
• 分布能直接读出来吗？：部分接口提供 logprobs 字段返回头名候选的分数，可用它做置信度参考，字段含义以对应平台文档为准。

最后留个判断：头名越稳，回答越该抓；分布越平，越要多核一遍事实。