跳到主内容

AI百科

共3606篇文章

AI百科聚合面向中文用户的 AI 工具教程、评测对比、场景方案、基础知识、产品快讯和资源合集,帮助用户快速了解工具怎么用、怎么选、适合什么场景。

文章分类
排序方式

最新发布

什么是降级路由?主模型不可用时

主模型突然不可用,用户全在报错怎么办?降级路由自动把请求引向备用通道。本文讲清切什么、何时切、用户感知什么,看懂降级路由的切换。

AI百科

近期文章

推理框架怎么选?主流引擎的定位

AI 模型权重下载好了,用哪个推理框架跑起来?本文先给选型结论,再拆各主流引擎的定位与适用场景,帮新手少走弯路,...

AI百科

什么是网关限流?给 API 加一道闸

调用大模型接口突然报请求过于频繁,背后是网关在管秩序。本文讲清限流拦什么、超了怎么办,帮你真正看懂网关限流这道闸...

AI百科

热门排行

更多文章

  1. 什么是显存?跑模型的第一道门槛

    想在本地跑AI大模型,显存是绕不开的第一道门槛。本文用大白话讲清显存是什么、为什么模型经常加载失败,以及多大显存才够...

  2. 显存和内存差在哪?跑模型先看哪个

    显存和内存名字相近,分工完全不同。本文从位置、速度、分工三个维度讲清两者差异,帮你判断跑大模型该先看谁,理清显存和内...

  3. 什么是显存带宽?速度的第二要素

    显存够用模型还是慢,多半卡在带宽上。本文用管道类比讲清带宽如何决定推理速度,以及看参数时怎么读它,讲透显存带宽的作用...

  4. 什么是量化部署?压缩后再上卡,一个例子讲透

    显存不够跑不动大模型?量化部署是常用的压缩上卡办法。本文用7B模型的上卡例子讲清原理与代价,一个例子讲透量化部署。

  5. GPU 利用率是怎么提上去的?优化思路

    利用率数字上不去,不一定是显卡不行,更多是喂不满、等数据、批太小。本文从读数口径到改法逐条梳理,帮你读懂GPU利用率

  6. 版本回滚是怎么快速做的?过程拆开看

    新版本出状况时把服务切回上一版,快慢几秒,用户体验差别巨大。本文拆开三条常用回滚路线与前后检查单,把版本回滚讲透

  7. 灰度流量是怎么按比例分的?关键步骤一次讲清

    新版本先接一小部分真实流量,没问题再逐步放大,出事立刻缩回。本文讲清比例怎么定、在哪层实现与观察要点,读懂灰度流量的...