AI基础百科

什么是模型剪枝？把不重要的部分去掉

一个训练好的模型参数动辄几十亿，其中一部分去掉后效果几乎不变。本文讲清剪枝的按大小、按结构、剪后再训练三种做法，拆解四个常见误区与剪过头的失...

什么是稀疏注意力？长文本为什么能算得动

标准注意力让每个词和所有词算关联，长文本因此算不动。本文讲稀疏注意力的局部窗口、跳跃连接、全局节点，及计算量降到接近线性的原理与漏看远距关联...

什么是位置编码？AI 怎么知道词的顺序

位置编码把「这个词排在第几位」注入模型，让注意力机制理解语序。本文拆解固定、可学习、相对三种编码方式，说明它如何影响长文本外推，以及何时会失...

什么是批处理推理？它是怎么省钱的

批处理推理靠攒批摊薄硬件成本。讲清省钱机理、延迟代价、适合与不适合的场景对照，以及走批量接口前要确认的两件事与三...

什么是推理缓存？重复问题为什么答得快

推理缓存省的是重复计算，不是重复思考。讲清 KV 缓存与结果缓存各存什么、命中的三个条件、五类失效场景，以及提示...

什么是推理加速？让 AI 回答得更快

同一个模型在不同服务商手里快慢差好几倍，差别主要来自推理加速。本文拆解量化、缓存、批处理、推测解码等思路及代价，...

什么是模型服务化？模型怎么变成接口

模型服务化就是把权重文件部署成随时可调的接口。讲清一次请求的完整链路、并发与显存调度为何比普通网站难，以及云平台...

什么是 RAG 评估？怎么判断检索好不好