MoE 的共享专家是干嘛的?全场待命的值班主任
MoE 把网络拆成一堆专家按需唤醒,共享专家却不轮班,每个 token 都在岗,本文拆解它的进出流程与兜底作用,看懂共享专家的用意。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
MoE 把网络拆成一堆专家按需唤醒,共享专家却不轮班,每个 token 都在岗,本文拆解它的进出流程与兜底作用,看懂共享专家的用意。
蒸馏拿老师的输出当教材,可哪些答案值得学生学是工程关键,本文按正确性、难度、多样性三道筛子拆解这套教学数据挑选流程。
课程学习把样本按难度排队,先易后难改的是优化路径而非理解能力,收敛更稳,难度信号不可靠时宁随机不排课,最终赢在从易到难。
奖励模型从成对比较数据里学相对排序,结构是语言模型加评分头,输出标量分数,评估看与人类排序的一致率,打分水平来自...
数据去重分精确和模糊两档,精确档用哈希找完全相同的副本,模糊档用近似算法抓洗稿内容,先精确后模糊层层收紧,两档之...
语料质量打分靠规则和模型两道关,硬规则拦明显垃圾,启发式规则粗筛异常,分类器判好坏,阈值按来源分设,核心是语料质...
语料配比靠小规模实验反复试出来,定配方、缩小训练、看分项指标、改配方,一次只动一类数据,放大时分阶段并留旧版对照...
众包标注把任务拆给分散的标注员,用规模化人力补上专业产能缺口,类比众包翻译一本书,快和省是好处,口径漂移是代价,它回...
微调数据量没有万能数字,行为校准几百条可起步,知识注入需成倍数据,质量比数量更关键,先小批验证再扩量,够不够取决于微...
微调成本由算力、数据准备、人力和验证迭代四块构成,算力常是大头但数据容易超支,类比装修一套房,监理费不能省,会算账才...
数据质量过滤是训练前给语料过的筛子,按格式、重复、质量、时效四层做减法,类比洗菜再下锅,删掉垃圾比新增好数据更能改变...
数据去重是在训练前把重复内容找出来去掉,分文档级、段落级、近似级三层,重复会被模型反复记忆并加重复读,类比整理重复藏...
梯度消失是反传时梯度逐层衰减的现象,误差信号从输出层传回输入层,越往浅层越弱,深层网络因此训不动,根子在链式求导的连...
梯度爆炸是反传时梯度被连乘放大的结果,损失越大梯度越大,参数一步跳出可行区,和梯度消失同源不同方向,曲线垂直飙升就是...