梯度消失是怎么回事?信号越传越弱
梯度消失是反传时梯度逐层衰减的现象,误差信号从输出层传回输入层,越往浅层越弱,深层网络因此训不动,根子在链式求导的连乘结构上,典型的信号越传...
AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。
梯度消失是反传时梯度逐层衰减的现象,误差信号从输出层传回输入层,越往浅层越弱,深层网络因此训不动,根子在链式求导的连乘结构上,典型的信号越传...
梯度爆炸是反传时梯度被连乘放大的结果,损失越大梯度越大,参数一步跳出可行区,和梯度消失同源不同方向,曲线垂直飙升就是梯度爆炸的成因。
冻结是把大部分层锁住不让更新,解冻是按计划放开参与训练,两者配合让微调只改一小部分,省算力又保住底座,关键在冻结与解冻的节奏。
微调数据量没有万能数字,行为校准几百条可起步,知识注入需成倍数据,质量比数量更关键,先小批验证再扩量,够不够取决...
微调成本由算力、数据准备、人力和验证迭代四块构成,算力常是大头但数据容易超支,类比装修一套房,监理费不能省,会算...
数据质量过滤是训练前给语料过的筛子,按格式、重复、质量、时效四层做减法,类比洗菜再下锅,删掉垃圾比新增好数据更能...
数据去重是在训练前把重复内容找出来去掉,分文档级、段落级、近似级三层,重复会被模型反复记忆并加重复读,类比整理重...
代码语料是大模型学编程的教材,包含开源项目、代码片段、技术文档与讨论记录,经筛选配比后进入训练,直接决定模型写代码的...
数学语料是训练里的推理教材,题目加完整推导让模型学会分步思考,步骤显式、形式化高、答案可验证,类比分层练习册,推理基...
训练跑起来,人不可能盯着每一步,训练日志把过程逐条记下:损失怎么降、什么材料进了哪一步。本文用行车记录仪加体检表讲清...
训练跑完,模型在训练材料上都答不利索,这种没学会叫欠拟合:材料太简单、练得太少、容量跟不上,都是它的来路。本文用裸考...
训练曲线正贴着地面走,突然一个踉跄冲到天花板,这就是训练不稳定:步子太大、材料突变、数值越界都会引发。本文用骑行过弯...
训练跑到一半断电、报错、被叫停,都算中断;断点续训靠存档把现场原样存下,从中断点接着跑。本文用游戏读档讲清它,认识断...
只喂中文的模型,见了英文就犯怵,多语言语料就是把外语数据按比例排进训练材料,让模型中英切换自如。本文借多语种导游手册...