限流和排队有什么区别？一张表分清

高峰期向通义千问这类 AI 平台发请求，有的被直接拒绝，有的被安排等待，前者是限流，后者是排队，两者常被混为一谈。

可以把它想成景区限流：达到上限就停止售票，这是限流；或者让游客领号分批进，这是排队。这个类比的失效之处在于，景区排队凭先来后到，系统的队列可能有优先级，付费档位和任务类型都可能影响顺位。带走一个判断：拒绝是限流，等待是排队，应对方式完全不同。判断属于哪一类还有个简单办法：看请求有没有被「受理」。受理了在等是排队，没受理被打回是限流，受理与否的分界就是两者的边界，先看受理再谈应对。

一句话结论：拒绝是限流，等待是排队

收到明确的拒绝提示、错误码说超了额度，这是限流，你得等窗口清零或申请提额；请求被受理但迟迟没有结果、状态一直等待中，这是排队，结果最终会来。两种处置对应两种应对：限流改行为，排队改预期。

差异一：超载时系统做什么

限流是硬边界：超过阈值的请求当场退回，不进入系统，保护后面的服务不被压垮；排队是软缓冲：请求先进入队列，按顺序慢慢消化，高峰被削平。削峰填谷正是排队存在的意义：把瞬时洪峰摊到更长的时间里消化，后面的计算资源就能按平均负载而不是峰值配置，成本随之下降，这也是队列被广泛使用的原因。队列也有限度，排满了还是会转成限流，两者是接力关系而非二选一。被拒后的重试与降级怎么安排，见降级和重试有什么区别？换路和再试。

差异二：对调用方的要求不同

面对限流，调用方要读懂错误码、控制节奏，别拿重试硬撞；面对排队，调用方要有耐心机制：状态轮询或回调通知，长任务尤其适合异步化，见异步和同步调用有什么区别？适用场景分开讲。优先级规则决定了你在队列里的位置，资源池的组织方式见多实例和多租户有什么区别？边界一次说清。两种处置的提示形态也值得留意。限流的提示通常带错误码和恢复时间，语义明确；排队的提示往往只是状态字段，比如「排队中」「预计等待」，数字可能是估算值，会随队列起伏跳动。见到明确拒绝就别原地重发，见到排队状态就设好轮询，队列长时间不动，才考虑取消重提或联系平台，三种情况三种动作。

两张表合成一张看

排查高峰期问题的顺序：先看错误码——拒绝类查额度与并发设置；再看状态——等待类确认排队位置和预计时长；都正常还失败，才轮到怀疑服务侧。重复内容多时，等待间隙里命中缓存能明显提速，见提示缓存和 KV 缓存差在哪？两种「缓存」；等待后的续答与重问选择见中断续答和重新提问有什么区别？。Kimi 等产品的状态说明里通常会标注排队与拒绝的不同提示语，对照着看能少走弯路。高峰期还要留意自己的重试节奏，限流时反复点重试只会把自己推得更远，拉开间隔再试才是正解。

限流与排队对照表：

• 限流：当场拒绝，改额度或改节奏
• 排队：受理等待，查状态等结果
• 队列也满：转限流，两者接力

先分辨拒绝还是等待，再决定下一步。

关于限流和排队，问得最多的三个

• 排队有优先级吗？：多数平台按档位或任务类型区分，文档会公开规则。
• 被限流后立刻重试有用吗？：基本没用，窗口没到只会继续被拒，不如等清零。
• 排队中的请求计额度吗？：通常按最终执行计，排队本身一般不计输出量。

分清拒绝与等待，高峰期的应对就从碰运气变成了有章法。