跳到主内容
我告诉你AI网址大全 wogaosuni.cn

AI百科

共3606篇文章

AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集，帮助用户快速了解工具怎么用、怎么选、适合什么场景。

文章分类
AI百科
细分栏目
全部 AI工具教程 评测对比 场景方案 AI基础百科 产品快讯
排序方式
最新 精华 阅读量 随机
满血GPT API中转站列表横幅

最新发布

近期文章

代码微调有什么讲究？注释与上下文

代码微调与自然语言不同：强依赖文件级上下文、注释是语义桥梁、格式极其敏感，切分与构造都有专门讲究，本文聚焦代码微...

AI百科

热门排行

更多文章

  1. 数据并行是怎么分工的？各练各的再汇总

    数据并行把一批数据切给多张卡，每张卡各练一个相同的模型副本，算完再把梯度汇总同步，效果等价于单卡训完整个大批次，本文...

  2. 张量并行是怎么切开一层的？关键步骤一次讲清

    张量并行把单层内部的矩阵运算横竖切开，分给多张卡各算一块再拼接结果，解决模型单卡放不下的问题，本文聚焦张量并行。

  3. 流水线并行是怎么排队的？像工厂流水线

    流水线并行把模型按层切成几段放到不同卡上，数据像工厂流水线一样分段流过各张卡，靠排程把空闲压到很低，本文聚焦流水线并...

  4. ZeRO 是怎么省显存的？把状态分着存

    ZeRO 的思路是把参数、梯度、优化器状态这三样训练状态切成分片分着存，用时再取，用后即还，本文聚焦 ZeRO 分片...

  5. 微调时学习率为什么比预训练小？精修的力度

    给大模型微调时学习率通常比预训练小一到两个数量级，因为预训练是从头塑形，微调是在精密成品上精修，本文聚焦微调学习率。

  6. 灾难性遗忘怎么防？回放与正则两条路

    微调后模型丢了旧本事叫灾难性遗忘，主流防法是回放旧数据混着训，以及加正则项拉住参数别乱动，本文聚焦灾难性遗忘。

  7. 训练数据的顺序有影响吗？为什么要打乱

    训练数据不打乱会让模型连续看到同类样本，风格越带越偏、梯度来回折返，所以每个 epoch 前通常要洗牌，本文聚焦数据...

满血GPT API中转站底部横幅