跳到主内容

AI基础百科

共1972篇文章

AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。

文章分类
排序方式

最新发布

保首字还是保整段?两种服务策略

有的产品让你立刻看到第一个字,有的稍等片刻一次性给出整段,两种服务策略各有各的账要算。本文对照讲透首字整段两种策略。

AI基础百科

流式输出的顺序是怎么保证的?分片组装

流式输出时文字一段一段到达屏幕,顺序却从不出错,多路分片、网络乱序、断线重连都拦不住序号加缓冲的组装。本文讲透流式输出的分片组装。

AI基础百科

近期文章

上下文超限的报错是怎么触发的?

上下文窗口是有形的墙,输入输出塞超就报错,拦截发生在进模型之前的预检,计数按标记不按字符。本文讲透上下文超限报错...

AI基础百科

热门排行

更多文章

  1. 语义缓存是怎么判断「相似问题」的?

    同一个问题换几种问法,答案往往大同小异,语义缓存先把问题变成向量,再按相似度阈值召回旧答案,够近就直接返回、不再推理...

  2. 负载均衡是怎么分流请求的?多实例配合

    多实例部署下,请求该落到哪台机器不能靠轮询硬分,负载均衡按健康检查、负载水位与会话粘性三个输入做决策,让忙闲更均匀。...

  3. 自动扩缩容是怎么加减机器的?每一步都讲透

    访问量说涨就涨,自动扩缩容让系统自己看水位、自己加减实例:从指标越线判定,到启动预热、接入流量,再到排水回收,本文把...

  4. 优先级队列是怎么排 VIP 的?分等级出队

    请求挤在一起时谁先谁后不能靠运气,优先级队列按等级重排队序,VIP 快人一步也不饿死普通请求。本文讲透优先级队列的出...

  5. 限流算法是怎么计数的?令牌桶的思路

    限流要数得准才拦得住,令牌桶按固定速率往桶里放令牌,请求取到令牌才放行,短时突发也接得住。本文拆开令牌桶的计数细节。

  6. 温度设 0 为什么输出还不完全一样?

    温度设 0 本该每次输出一模一样,实际却偶有差别,并列分数、浮点抖动、多副本差异都在作祟。本文逐一拆解这些波动,说透...

  7. 重试的退避是怎么算的?越等越久

    请求失败立刻重试会撞上同一波拥堵,退避让等待逐次拉长,指数增长加抖动把节拍打散。本文拆开退避重试怎么越等越久。