推理要多少算力？训练和推理的差别
训练大模型要用一屋子卡，回答问题为何一张卡就够？本文拆解推理的计算量构成，讲清训练与推理的差别，分清推理与训练的差别。
AI基础百科
共1972篇文章AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念，适合新手快速补齐 AI 工具使用前的基础知识。
最新发布
什么是显存带宽？速度的第二要素
显存够用模型还是慢，多半卡在带宽上。本文用管道类比讲清带宽如何决定推理速度，以及看参数时怎么读它，讲透显存带宽的作用。
消费级显卡和专业卡有什么区别？
同样是显卡，价格差几倍差在哪？本文先给结论再拆差异维度，讲清消费级与专业卡各自的适用场景，帮你按需选型，看懂消费级与专业卡的差异。
近期文章
什么是显存？跑模型的第一道门槛
想在本地跑AI大模型，显存是绕不开的第一道门槛。本文用大白话讲清显存是什么、为什么模型经常加载失败，以及多大显存...
显存和内存差在哪？跑模型先看哪个
显存和内存名字相近，分工完全不同。本文从位置、速度、分工三个维度讲清两者差异，帮你判断跑大模型该先看谁，理清显存...
什么是 FLOPS？算力的计量单位
显卡参数表上的FLOPS常被误读，本文讲清它数的是什么数、峰值与实际利用率的差距，以及选卡时怎么用它，一文读懂F...
灰度流量是怎么按比例分的？关键步骤一次讲清
新版本先接一小部分真实流量，没问题再逐步放大，出事立刻缩回。本文讲清比例怎么定、在哪层实现与观察要点，读懂灰度流...
热门排行
什么是模型商店？一键部署，一次讲明白
· 阅读 5
算子融合是怎么加速的？内部门道在这
· 阅读 6
GPU 利用率是怎么提上去的？优化思路
· 阅读 4
版本回滚是怎么快速做的？过程拆开看
· 阅读 4更多文章
-
什么是一体机？开箱即用的方案，一个例子讲透
整机交付、预装环境、通电即用，数据不用出门的场合正合适。本文用一个办公室例子讲清适用边界，帮你判断要不要上AI一体机
-
显存是怎么被占用的？权重缓存激活
权重常驻、激活随批次波动、缓存随上下文增长，一块显存被三方分掉。本文按机制逐项拆账并给出估算口诀，三大来源决定显存占...
-
KV 缓存的显存账是怎么算的？一文拆账
上下文越长、缓存越占地方，长文本推理的显存大头常在这里。本文从注意力机制讲到省显存的几条路数，带你三步算清KV缓存
-
量化部署的显存是怎么省的？从原理到落地
把高位数字压成低位存储，显存省下大半，代价是精度要重新权衡。本文以常见的低位宽方案为例讲到落地三道关，一步步看懂量化...
-
模型切分是怎么分的？每一步都讲透
单卡装不下的大模型要拆到多张卡上跑，按层切还是按张量切各有讲究。本文拆解两种切法的流程与取舍，弄懂模型切分怎么分
-
批处理是怎么提升利用率的？机制细节全梳理
一次只算一条太浪费，凑成一批一起算才喂得饱显卡。本文讲清凑批规则、等待取舍与连续批处理的运转机制，一文讲透批处理的门...
-
推理框架的调度器是怎么工作的？
请求进来先排队、凑批、上卡、返回，每一步都有人安排。本文按一个请求的完整旅程拆解规则与常见策略，认识推理服务里的调度...
