AI基础百科

什么是数据配比？训练材料怎么搭配

训练模型不是把材料倒进锅里就行，数据配比讲的是各类材料各占多少、谁多谁少。配比偏了，模型会挑食或偏科，本文借一锅汤的配料单说清门道，调出一份...

什么是课程学习？从易到难的训练顺序

同一批材料，喂的顺序也有讲究：课程学习主张先易后难，让模型先建立基本框架再啃硬骨头。本文用健身递增加重讲清它的好处与边界，聊聊从易到难的课程...

什么时候不该微调？先想清楚再动手

模型不好用，第一反应往往是微调，但多数问题根本轮不到它出场。本文借老房装修讲清三种别急着动参数的场面，帮你判断什么时候不该微调。

什么是训练轮次？epoch 多了好不好

训练轮次说的是大模型把同一批资料从头到尾过几遍：读得太少没学会，读得太多容易把答案背下来。本文借刷题场景讲清轮次...

什么是 warmup？训练为什么要先热身

训练刚开场时步子迈得小，先慢后快的这段节奏就是 warmup：让模型先站稳再加速。本文借冬天启动汽车讲清它，再认...

什么是梯度累积？小显存也能凑大批量

显存装不下大批量材料时，梯度累积用几批小的拼出一批大的：误差先攒着，攒够次数再一起改。本文用零钱罐讲清它的节奏与...

一条消息的完整旅程：从发送到回复发生了什么

从按下发送到回答逐字浮现，中间要经过拼装、预填充、逐字解码与停止判定，本文按时间顺序还原全程，走完一遍完整的请求...

随机种子是怎么影响输出的？复现的条件