什么是 PPO?强化学习训练的常用算法
奖励模型给出分数后,模型照分数改自己,这一步常用 PPO:一种带着护栏的试错算法,每步只微调。本文用教练纠正投篮动作讲清它,认识强化学习里的...
AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。
奖励模型给出分数后,模型照分数改自己,这一步常用 PPO:一种带着护栏的试错算法,每步只微调。本文用教练纠正投篮动作讲清它,认识强化学习里的...
人工标注又慢又贵,AI 反馈的思路是让模型给模型的回答打分,把人类从逐条评判里解放出来。本文用学长批改作业讲清它的边界,聊聊AI反馈的门道。
能力再强的模型,不懂规矩也惹祸:安全微调就是在出厂前补一堂规矩课,教它什么该接、什么该拒。本文用新员工入职培训讲透它,聊聊安全微调的边界。
微调练的是答题规范,继续预训练补的是常识底子:拿一个现成的底模,喂进新领域的大批材料接着学。本文用回炉读在职硕士...
同一个通用模型,喂进行业语料、按行业规矩调教,长成行业熟手,这个过程叫领域微调。本文用医学生进专科规培讲清配方与...
大模型的回答好不好,靠人逐条评太慢,奖励模型就是专门学来给回答打分的裁判:人评一批,它照着学。本文借美食评委讲清...
过去做对齐要先训裁判,DPO 把这道工序省了:直接拿人类的偏好排序训练模型,好回答的分数往上抬。本文用两份菜盲测...
训练轮次说的是大模型把同一批资料从头到尾过几遍:读得太少没学会,读得太多容易把答案背下来。本文借刷题场景讲清轮次的分...
训练刚开场时步子迈得小,先慢后快的这段节奏就是 warmup:让模型先站稳再加速。本文借冬天启动汽车讲清它,再认识一...
显存装不下大批量材料时,梯度累积用几批小的拼出一批大的:误差先攒着,攒够次数再一起改。本文用零钱罐讲清它的节奏与代价...
训练模型不是把材料倒进锅里就行,数据配比讲的是各类材料各占多少、谁多谁少。配比偏了,模型会挑食或偏科,本文借一锅汤的...
同一批材料,喂的顺序也有讲究:课程学习主张先易后难,让模型先建立基本框架再啃硬骨头。本文用健身递增加重讲清它的好处与...
输出一旦开始重复,往往会越陷越深,重复循环靠概率自我喂养滚成雪球,本文讲清它形成的原因与打断的办法,识破生成失败里的...
从按下发送到回答逐字浮现,中间要经过拼装、预填充、逐字解码与停止判定,本文按时间顺序还原全程,走完一遍完整的请求旅程...