注意力的计算量为什么随长度平方涨?一笔平方账
上下文翻倍,注意力计算量会翻四倍,这笔平方账决定长文本的成本,本文从两两握手算起,拆解账单构成与省钱思路,算清注意力的平方复杂度。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
上下文翻倍,注意力计算量会翻四倍,这笔平方账决定长文本的成本,本文从两两握手算起,拆解账单构成与省钱思路,算清注意力的平方复杂度。
推理显存的大头是 KV 缓存,多查询注意力让多个查询头共用一套键值,缓存砍到几分之一,本文对比 MQA 与 GQA 的取舍,看懂省缓存的多查...
概率出炉之前,模型先给词表里每个词打一个原始分,这份分数表叫 logits,本文讲它从哪来、怎么变成概率、调试时看什么,认识概率背后的log...
回答反复念叨同一句话时,就得请出重复惩罚,本文拆解它给旧词扣分的流程、力度把握与副作用,调参时知道什么时候动重复...
点下发送后,你的消息会先被拼装成模型认识的格式,聊天模板负责贴角色标签、排系统提示与定顺序,本文还原这条流水线,...
注意力一步要动用三套变换,Query 负责提问、Key 负责对号、Value 负责取货,本文按三步拆解计算与多头...
生成时模型只许看前文、不许偷看后文,靠的是注意力掩码这张三角遮罩,本文讲它的形状、训练与生成两副面孔和越界后果,...
拆解大模型参数量怎么算总账:嵌入层、注意力、前馈各占多少,矩阵尺寸如何逐项相乘累加,7B、70B 从哪来,教你核对一...
把 MoE 路由拆成打分、排序、放行、加权四步,讲清门控网络如何给专家算匹配度,为什么每个 token 都要重新分诊...
拆解量化取整的完整流程:先定缩放系数、再映射到整数刻度、反量化时乘回去,分组粗细与敏感层保护如何决定误差大小,看懂量...
拆解量化校准数据的机制:让模型走一遍前向只统计不训练,按各层真实分布定缩放系数,校准集质量为何比数量重要,用好一批校...
词表是大模型切字的依据,却极少有人见过它怎么诞生。本文逐步拆解分词器从语料统计、合并循环到字节兜底的训练过程,看完就...
注意力机制天生分不清语序,顺序信息全靠位置编码补进去。本文拆解 RoPE 把位置变成角度、靠旋转差算出相对距离的机制...
同一个模型有时严谨有时发散,背后的旋钮是温度。本文拆解温度在归一化前对全表分数除一下的动作,低温拉尖、高温压平,差异...