跳到主内容

AI基础百科

共1972篇文章

AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。

文章分类
排序方式

最新发布

稀疏注意力的「稀疏」是怎么决定的?

稀疏注意力让每个位置只挑一部分重点对象计算关联,砍掉低价值搭配。本文讲清稀疏策略怎么定、由谁定、代价在哪,看懂稀疏注意力。

AI基础百科

近期文章

热门排行

更多文章

  1. 什么是流式下的中途取消?停下来的机制

    在流式输出里按下停止,连接会关闭、计算会中止、已生成的部分保留。本文讲清取消时两端各自的动作,看懂流式中途取消。

  2. 什么是指定输出长度?控制回答的长短

    指定输出长度是给一次生成划定上限的参数,它决定回答最多写多长。本文讲清它的真实作用与常见误区,掌握指定输出长度。

  3. 什么是并发调用?批量任务的处理

    并发调用让多个请求同时在途,把单次等待的时间利用起来,批量任务的总时长因此大幅压缩。本文讲清它的用法、边界与配额,看...

  4. 什么是长任务的分步执行?分段返回结果

    分步执行把几十分钟的大任务拆成若干阶段,每阶段完成就返回一部分结果。本文讲清分段方式与阶段依赖,看懂分段返回结果。

  5. 预填充是怎么算的?一次读完整个输入

    预填充是模型读题的阶段:一次输入全部读完,并行算出每个位置的中间表示。本文按进来、发生、出去三步讲清预填充的机制。

  6. 解码是怎么一步步走的?自回归的循环

    解码是模型写答案的阶段:每步只算一个位置,把生成的字接回序列末尾,循环到写出结束标志。本文讲清自回归的循环怎么转。

  7. 连续批处理是怎么调度的?随时进出

    连续批处理让请求随时加入、随时离开,短请求不必再干等最慢的那个。本文讲清它怎么进出、调度在平衡什么,看懂连续批处理。