跳到主内容

AI百科

共3606篇文章

AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。

文章分类
排序方式

最新发布

梯度消失是怎么回事?信号越传越弱

梯度消失是反传时梯度逐层衰减的现象,误差信号从输出层传回输入层,越往浅层越弱,深层网络因此训不动,根子在链式求导的连乘结构上,典型的信号越传...

AI百科

梯度爆炸是怎么发生的?loss 飞天的原因

梯度爆炸是反传时梯度被连乘放大的结果,损失越大梯度越大,参数一步跳出可行区,和梯度消失同源不同方向,曲线垂直飙升就是梯度爆炸的成因。

AI百科

近期文章

热门排行

更多文章

  1. 什么是代码语料?编程能力是从哪学的

    代码语料是大模型学编程的教材,包含开源项目、代码片段、技术文档与讨论记录,经筛选配比后进入训练,直接决定模型写代码的...

  2. 什么是数学语料?推理能力的专门教材

    数学语料是训练里的推理教材,题目加完整推导让模型学会分步思考,步骤显式、形式化高、答案可验证,类比分层练习册,推理基...

  3. 什么是训练日志?看懂训练过程的第一手记录

    训练跑起来,人不可能盯着每一步,训练日志把过程逐条记下:损失怎么降、什么材料进了哪一步。本文用行车记录仪加体检表讲清...

  4. 什么是欠拟合?模型「没学会」的样子

    训练跑完,模型在训练材料上都答不利索,这种没学会叫欠拟合:材料太简单、练得太少、容量跟不上,都是它的来路。本文用裸考...

  5. 什么是训练不稳定?loss 突然飞了是怎么回事

    训练曲线正贴着地面走,突然一个踉跄冲到天花板,这就是训练不稳定:步子太大、材料突变、数值越界都会引发。本文用骑行过弯...

  6. 什么是断点续训?训练中断后从存档继续

    训练跑到一半断电、报错、被叫停,都算中断;断点续训靠存档把现场原样存下,从中断点接着跑。本文用游戏读档讲清它,认识断...

  7. 什么是多语言语料?外语数据怎么进训练

    只喂中文的模型,见了英文就犯怵,多语言语料就是把外语数据按比例排进训练材料,让模型中英切换自如。本文借多语种导游手册...