数据增强的具体手法有哪些?改写与回译
数据增强在不改变含义的前提下,用改写、回译、同义替换等手法把一份语料变出多个版本,让模型多见不同说法,本文聚焦数据增强。
AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。
数据增强在不改变含义的前提下,用改写、回译、同义替换等手法把一份语料变出多个版本,让模型多见不同说法,本文聚焦数据增强。
合成数据不是生成完就能用,要经多轮生成与过滤:模型量产候选,规则和打分淘汰坏样本,合格的才进训练集,本文聚焦合成数据。
数据投毒指坏样本借开源爬取、第三方数据集、人工标注、合成管道混进训练集,让模型学出错误倾向,本文聚焦数据投毒。
微调交付的是一版快照,场景、口径、提问方式都在变,持续迭代是常态。本文给出三个重训信号和判断方法,说透一劳永逸的...
自建只是具备更好条件,质量高低全看流程;规范、双标、抽检缺位,自建可能比公开集更糟。本文讲清三件套和一致率验收,...
RLHF 里人类只定标准、做冷启动、定期抽检,规模化比较交给奖励模型。本文讲清三个介入节点和分工代价,帮你读懂 ...
该停的时点是验证效果见顶,不是 loss 停止下降;多练的部分在用泛化换拟合。本文给出停止信号和再练的正确姿势,...
混训把多任务样本打乱统一训练,分头给每个任务配专属输出层,两者在干扰隔离和验收粒度上差异明显。本文讲清任务相关度决定...
训练框架靠反向传播教会参数,推理框架只做前向答快请求,两者的优化手段几乎没有交集。本文讲清资源画像、常见误用和预算分...
被动标注按来源顺序标,便宜但盲目;主动学习挑模型最不确定的样本标,省钱但依赖选样质量。本文讲清两种路线的成本结构和翻...
开源工具链每一层都能改,商业平台封装好但定制受限,两者的隐性成本完全不同。本文讲清数据边界和选型三问,说透商业平台的...
消费级显卡能跑量化加 LoRA 的小模型微调,多卡工作站才谈得上全参大训练。本文算清显存、散热、电力三本账,说透微调...
微调更擅长调整表达和行为倾向,事实记忆效率远低于知识库,把它当百科全书是用错了工具。本文讲清微调适合做什么、怎么验证...
数量掩盖不了重复、噪声和偏科,覆盖到位后堆量只会稀释有效信号。本文讲清质量门槛和补缺口思路,说透数据越多的边界。