跳到主内容

AI基础百科

共1972篇文章

AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。

文章分类
排序方式

最新发布

logits 是什么?概率出现之前的原始分

概率出炉之前,模型先给词表里每个词打一个原始分,这份分数表叫 logits,本文讲它从哪来、怎么变成概率、调试时看什么,认识概率背后的log...

AI基础百科

近期文章

热门排行

更多文章

  1. 参数量是怎么数出来的?从矩阵尺寸算总账

    拆解大模型参数量怎么算总账:嵌入层、注意力、前馈各占多少,矩阵尺寸如何逐项相乘累加,7B、70B 从哪来,教你核对一...

  2. MoE 的路由是怎么挑专家的?每次提问的分诊

    把 MoE 路由拆成打分、排序、放行、加权四步,讲清门控网络如何给专家算匹配度,为什么每个 token 都要重新分诊...

  3. 量化是怎么取整的?从 16 位到 4 位的压缩

    拆解量化取整的完整流程:先定缩放系数、再映射到整数刻度、反量化时乘回去,分组粗细与敏感层保护如何决定误差大小,看懂量...

  4. 量化的校准数据是干嘛的?让误差更小

    拆解量化校准数据的机制:让模型走一遍前向只统计不训练,按各层真实分布定缩放系数,校准集质量为何比数量重要,用好一批校...

  5. 分词器的词表是怎么训练出来的?

    词表是大模型切字的依据,却极少有人见过它怎么诞生。本文逐步拆解分词器从语料统计、合并循环到字节兜底的训练过程,看完就...

  6. RoPE 位置编码是怎么工作的?把顺序变成角度

    注意力机制天生分不清语序,顺序信息全靠位置编码补进去。本文拆解 RoPE 把位置变成角度、靠旋转差算出相对距离的机制...

  7. 温度是怎么改写概率的?压平与拉尖的手法

    同一个模型有时严谨有时发散,背后的旋钮是温度。本文拆解温度在归一化前对全表分数除一下的动作,低温拉尖、高温压平,差异...