跳到主内容
我告诉你AI网址大全 wogaosuni.cn

AI百科

共3606篇文章

AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集，帮助用户快速了解工具怎么用、怎么选、适合什么场景。

文章分类
AI百科
细分栏目
全部 AI工具教程 评测对比 场景方案 AI基础百科 产品快讯
排序方式
最新 精华 阅读量 随机
满血GPT API中转站列表横幅

最新发布

温度设 0 为什么输出还不完全一样？

温度设 0 本该每次输出一模一样，实际却偶有差别，并列分数、浮点抖动、多副本差异都在作祟。本文逐一拆解这些波动，说透温度设 0。

AI百科

重试的退避是怎么算的？越等越久

请求失败立刻重试会撞上同一波拥堵，退避让等待逐次拉长，指数增长加抖动把节拍打散。本文拆开退避重试怎么越等越久。

AI百科

近期文章

批大小和延迟的取舍是怎么权衡的？

批攒得越大算得越省，可请求也等得越久，批大小和延迟的取舍由此而来。本文按攒批窗口、排队等待、动态批三步讲清批大小...

AI百科

热门排行

更多文章

  1. FlashAttention 是怎么省显存的？分块计算

    FlashAttention 把注意力的 NN 中间矩阵拆成小块边算边融合，让大表不完整落地，省下大量显存。本文分三...

  2. PagedAttention 是怎么管缓存的？像内存分页

    KV 缓存按上限预留会留下大片空洞，PagedAttention 借内存分页思路，把缓存切成小块按需分配，前缀共享再...

  3. 连续批处理是怎么调度的？随时进出

    连续批处理让请求随时加入、随时离开，短请求不必再干等最慢的那个。本文讲清它怎么进出、调度在平衡什么，看懂连续批处理。

  4. 流式输出是怎么分片的？服务端边算边发

    流式输出让服务端边算边发，用户从第一个字就开始阅读。本文讲清分片单位、大小影响与一次性返回的差别在哪，看懂流式输出。

  5. 投机解码的采纳率受什么影响？关键步骤一次讲清

    投机解码用小模型先起草、大模型再批量验证，采纳率决定这套机制省不省时间。本文讲清关键步骤、影响因素与兜底设计，看懂投...

  6. 长上下文的显存是怎么涨的？一笔平方账

    上下文拉长后，显存占用随缓存线性增长，注意力计算却按平方量级膨胀。本文把这两笔账算清楚，看懂长上下文显存怎么涨。

  7. 稀疏注意力的「稀疏」是怎么决定的？

    稀疏注意力让每个位置只挑一部分重点对象计算关联，砍掉低价值搭配。本文讲清稀疏策略怎么定、由谁定、代价在哪，看懂稀疏注...

满血GPT API中转站底部横幅