为什么同一个词在不同句子里向量不同?动态表征
大模型里同一个「苹果」在不同句子里向量完全不同,这是动态表征在起作用,本文从静态查表讲到多层注意力改写,一篇讲透动态表征。
AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。
大模型里同一个「苹果」在不同句子里向量完全不同,这是动态表征在起作用,本文从静态查表讲到多层注意力改写,一篇讲透动态表征。
国王减男人加女人约等于女王,词向量居然能做加减法,本文拆解这套语义算术的成立原因、失准边界与遗留价值,讲透词向量的加减游戏。
同一模型家族常并放基座版与对话版,该拿哪个干活得先弄清分工,本文按训练进度、输入形态与行为特征三个维度拆解,讲清基座与聊天模型的分工。
大模型的知识没有专门的柜子,一条事实被拆成无数小修正写进不同连接,本文拆解分布式表征的存储方式与写入通道,讲透分...
长文档里开头结尾的内容总被盯得紧,中段却容易糊,这条 U 型曲线影响答案准确率,本文拆解它的成因、典型症状与掰平...
同一个模型常挂 Q8、Q5、Q4 多个体积版本,量化把权重赶上格子,本文从 Q2 到 Q8 逐级拆解这架阶梯,讲...
每写一个字,模型都会在几万候选上打一遍分,得到一条头尖尾长的概率分布,本文拆解它的典型形态与参数改写方式,讲透模...
RLHF 三阶段是采偏好、训奖励模型、优化策略,每阶段完成一次数据形态转换,从回答变排序、排序变分数到分数变梯度,三...
DPO 跳过奖励模型的训练和调用,把成对偏好数据直接接进策略模型的优化目标,链条短了一半,轻量场景好复现,绕开奖励模...
奖励模型从成对比较数据里学相对排序,结构是语言模型加评分头,输出标量分数,评估看与人类排序的一致率,打分水平来自两两...
数据去重分精确和模糊两档,精确档用哈希找完全相同的副本,模糊档用近似算法抓洗稿内容,先精确后模糊层层收紧,两档之间是...
语料质量打分靠规则和模型两道关,硬规则拦明显垃圾,启发式规则粗筛异常,分类器判好坏,阈值按来源分设,核心是语料质量打...
语料配比靠小规模实验反复试出来,定配方、缩小训练、看分项指标、改配方,一次只动一类数据,放大时分阶段并留旧版对照,这...
课程学习把样本按难度排队,先易后难改的是优化路径而非理解能力,收敛更稳,难度信号不可靠时宁随机不排课,最终赢在从易到...