跳到主内容

AI百科

共3606篇文章

AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。

文章分类
排序方式

最新发布

上下文压缩是怎么做的?长对话的摘要接力

对话越拉越长,窗口装不下就要压缩,上下文压缩用摘要接力把旧对话浓缩后传下去,本文拆解接力流程、取舍规则与断片代价,理清长对话的上下文压缩。

AI百科

约束解码是怎么保证 JSON 格式的?

要模型稳定吐出合法 JSON,光靠提示词不稳,约束解码在每一步只放行合法字符,本文拆解状态机拦截的流程与硬软约束差别,看看格式兜底的约束解码...

AI百科

近期文章

张量是什么?权重世界的基本单元

模型文件里堆满了带形状的多维数字阵列,它们统称张量,本文从标量讲到矩阵再到高维,弄懂形状与数值类型,读模型卡片不...

AI百科

热门排行

更多文章

  1. 束搜索是怎么保留候选的?多条路一起走

    大模型回答时并非只挑一个字,束搜索会同时保留多条候选序列逐轮打分淘汰,本文拆解它的筛选流程、束宽取舍与适用场景,帮你...

  2. 重复惩罚是怎么压制复读的?给旧词扣分

    回答反复念叨同一句话时,就得请出重复惩罚,本文拆解它给旧词扣分的流程、力度把握与副作用,调参时知道什么时候动重复惩罚...

  3. 聊天模板是怎么拼装对话的?你发的消息经历了什么

    点下发送后,你的消息会先被拼装成模型认识的格式,聊天模板负责贴角色标签、排系统提示与定顺序,本文还原这条流水线,一次...

  4. 注意力是怎么算 QKV 的?查、键、值三步曲

    注意力一步要动用三套变换,Query 负责提问、Key 负责对号、Value 负责取货,本文按三步拆解计算与多头并行...

  5. 注意力掩码是什么?为什么看不到后面的字

    生成时模型只许看前文、不许偷看后文,靠的是注意力掩码这张三角遮罩,本文讲它的形状、训练与生成两副面孔和越界后果,几段...

  6. 注意力的计算量为什么随长度平方涨?一笔平方账

    上下文翻倍,注意力计算量会翻四倍,这笔平方账决定长文本的成本,本文从两两握手算起,拆解账单构成与省钱思路,算清注意力...

  7. 温度是怎么改写概率的?压平与拉尖的手法

    同一个模型有时严谨有时发散,背后的旋钮是温度。本文拆解温度在归一化前对全表分数除一下的动作,低温拉尖、高温压平,差异...