吞吐和延迟为什么互相牵制?过程拆开看
吞吐看单位时间处理多少,延迟看单个请求等多久,攒批抬吞吐也拖慢响应,两者天生互相牵制。本文把牵制点拆开,讲透吞吐和延迟。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
吞吐看单位时间处理多少,延迟看单个请求等多久,攒批抬吞吐也拖慢响应,两者天生互相牵制。本文把牵制点拆开,讲透吞吐和延迟。
有的产品让你立刻看到第一个字,有的稍等片刻一次性给出整段,两种服务策略各有各的账要算。本文对照讲透首字整段两种策略。
流式输出时文字一段一段到达屏幕,顺序却从不出错,多路分片、网络乱序、断线重连都拦不住序号加缓冲的组装。本文讲透流式输出的分片组装。
长任务不该让用户干等,异步调用把提交和取结果拆开,完成通知走回调上门或轮询去问两条路。本文拆开回调与轮询各自怎么...
上下文窗口是有形的墙,输入输出塞超就报错,拦截发生在进模型之前的预检,计数按标记不按字符。本文讲透上下文超限报错...
服务出状况时模型不会开口解释,第一手线索全在推理日志里,记什么、怎么串联、排查先看哪行都有方法。本文讲透推理日志...
一次请求的显存占用并非一条平线,预填充冒第一峰、长输出冒第二峰,分块、分页、量化都能削峰。本文讲透显存峰值出现在...
同一个问题换几种问法,答案往往大同小异,语义缓存先把问题变成向量,再按相似度阈值召回旧答案,够近就直接返回、不再推理...
多实例部署下,请求该落到哪台机器不能靠轮询硬分,负载均衡按健康检查、负载水位与会话粘性三个输入做决策,让忙闲更均匀。...
访问量说涨就涨,自动扩缩容让系统自己看水位、自己加减实例:从指标越线判定,到启动预热、接入流量,再到排水回收,本文把...
请求挤在一起时谁先谁后不能靠运气,优先级队列按等级重排队序,VIP 快人一步也不饿死普通请求。本文讲透优先级队列的出...
限流要数得准才拦得住,令牌桶按固定速率往桶里放令牌,请求取到令牌才放行,短时突发也接得住。本文拆开令牌桶的计数细节。
温度设 0 本该每次输出一模一样,实际却偶有差别,并列分数、浮点抖动、多副本差异都在作祟。本文逐一拆解这些波动,说透...
请求失败立刻重试会撞上同一波拥堵,退避让等待逐次拉长,指数增长加抖动把节拍打散。本文拆开退避重试怎么越等越久。