跳到主内容

AI基础百科

共1972篇文章

AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。

文章分类
排序方式

最新发布

近期文章

热门排行

更多文章

  1. 什么是量化部署?压缩后再上卡,一个例子讲透

    显存不够跑不动大模型?量化部署是常用的压缩上卡办法。本文用7B模型的上卡例子讲清原理与代价,一个例子讲透量化部署。

  2. 什么是模型切分?一个模型多张卡

    单张显卡装不下大模型时,模型切分让它拆开住进多张卡。本文讲清按层切与按张量切的差异与开销,理清模型切分的思路。

  3. 什么是网关限流?给 API 加一道闸

    调用大模型接口突然报请求过于频繁,背后是网关在管秩序。本文讲清限流拦什么、超了怎么办,帮你真正看懂网关限流这道闸。

  4. 什么是密钥轮换?定期换钥匙,看完就会判断

    调用大模型接口的密钥长期不换,泄露风险悄悄累积。本文讲清轮换的原理、三步操作和周期判断,帮你定好密钥轮换的周期。

  5. 什么是预算告警?超支前提醒,别再混淆了

    用量看板告诉你花了多少,预算告警负责在花过头之前叫住你。本文讲清告警的原理、阈值设置和触发后的动作,设对预算告警的阈...

  6. 什么是降级路由?主模型不可用时

    主模型突然不可用,用户全在报错怎么办?降级路由自动把请求引向备用通道。本文讲清切什么、何时切、用户感知什么,看懂降级...

  7. 什么是容灾?备用通道的准备,一次讲明白

    服务挂了再想办法就晚了,容灾是风平浪静时就把退路备好。本文讲清容灾的等级、演练方法和团队起步方案,备好容灾的备用通道...