训练数据的顺序有影响吗?为什么要打乱
训练数据不打乱会让模型连续看到同类样本,风格越带越偏、梯度来回折返,所以每个 epoch 前通常要洗牌,本文聚焦数据打乱。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
训练数据不打乱会让模型连续看到同类样本,风格越带越偏、梯度来回折返,所以每个 epoch 前通常要洗牌,本文聚焦数据打乱。
batch size 定了显存占用与梯度的稳噪:大批次梯度稳但显存贵,小批次步进快但噪声大,本文讲清批大小该怎么定。
指令数据的质量不看单条漂不漂亮,而看整体是否多样、覆盖够不够广,本文讲清盘点分布与补缺口的完整流程,聚焦指令数据质量。
流水线并行把模型按层切成几段放到不同卡上,数据像工厂流水线一样分段流过各张卡,靠排程把空闲压到很低,本文聚焦流水...
ZeRO 的思路是把参数、梯度、优化器状态这三样训练状态切成分片分着存,用时再取,用后即还,本文聚焦 ZeRO ...
给大模型微调时学习率通常比预训练小一到两个数量级,因为预训练是从头塑形,微调是在精密成品上精修,本文聚焦微调学习...
微调后模型丢了旧本事叫灾难性遗忘,主流防法是回放旧数据混着训,以及加正则项拉住参数别乱动,本文聚焦灾难性遗忘。
数据增强在不改变含义的前提下,用改写、回译、同义替换等手法把一份语料变出多个版本,让模型多见不同说法,本文聚焦数据增...
数据投毒指坏样本借开源爬取、第三方数据集、人工标注、合成管道混进训练集,让模型学出错误倾向,本文聚焦数据投毒。
数据并行把一批数据切给多张卡,每张卡各练一个相同的模型副本,算完再把梯度汇总同步,效果等价于单卡训完整个大批次,本文...
张量并行把单层内部的矩阵运算横竖切开,分给多张卡各算一块再拼接结果,解决模型单卡放不下的问题,本文聚焦张量并行。
人眼可见的干净只覆盖表层,错漏、口径不一、隐性重复扫读根本发现不了。本文讲清机器检查和抽检三步工序,说透数据清洗的工...
自建只是具备更好条件,质量高低全看流程;规范、双标、抽检缺位,自建可能比公开集更糟。本文讲清三件套和一致率验收,说透...
该停的时点是验证效果见顶,不是 loss 停止下降;多练的部分在用泛化换拟合。本文给出停止信号和再练的正确姿势,说透...