FlashAttention 是怎么省显存的?分块计算
FlashAttention 把注意力的 NN 中间矩阵拆成小块边算边融合,让大表不完整落地,省下大量显存。本文分三步讲清它怎么省显存。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
FlashAttention 把注意力的 NN 中间矩阵拆成小块边算边融合,让大表不完整落地,省下大量显存。本文分三步讲清它怎么省显存。
KV 缓存按上限预留会留下大片空洞,PagedAttention 借内存分页思路,把缓存切成小块按需分配,前缀共享再省重复复制,让分页管理更...
稀疏注意力让每个位置只挑一部分重点对象计算关联,砍掉低价值搭配。本文讲清稀疏策略怎么定、由谁定、代价在哪,看懂稀疏注意力。
流式输出让服务端边算边发,用户从第一个字就开始阅读。本文讲清分片单位、大小影响与一次性返回的差别在哪,看懂流式输...
投机解码用小模型先起草、大模型再批量验证,采纳率决定这套机制省不省时间。本文讲清关键步骤、影响因素与兜底设计,看...
上下文拉长后,显存占用随缓存线性增长,注意力计算却按平方量级膨胀。本文把这两笔账算清楚,看懂长上下文显存怎么涨。
位置插值把超长输入的位置等比例压缩,让位置信号落回模型熟悉的区间。本文从原理讲到落地,讲清位置插值的做法与代价。
在流式输出里按下停止,连接会关闭、计算会中止、已生成的部分保留。本文讲清取消时两端各自的动作,看懂流式中途取消。
指定输出长度是给一次生成划定上限的参数,它决定回答最多写多长。本文讲清它的真实作用与常见误区,掌握指定输出长度。
并发调用让多个请求同时在途,把单次等待的时间利用起来,批量任务的总时长因此大幅压缩。本文讲清它的用法、边界与配额,看...
分步执行把几十分钟的大任务拆成若干阶段,每阶段完成就返回一部分结果。本文讲清分段方式与阶段依赖,看懂分段返回结果。
预填充是模型读题的阶段:一次输入全部读完,并行算出每个位置的中间表示。本文按进来、发生、出去三步讲清预填充的机制。
解码是模型写答案的阶段:每步只算一个位置,把生成的字接回序列末尾,循环到写出结束标志。本文讲清自回归的循环怎么转。
连续批处理让请求随时加入、随时离开,短请求不必再干等最慢的那个。本文讲清它怎么进出、调度在平衡什么,看懂连续批处理。