什么是小参数模型的甜点位?7B 档为什么流行
想在自己的设备上跑 AI,先算清参数量与显存这笔账,小参数模型的甜点位指效果不崩又带得动的区间,7B 档因工具链成熟而流行,选型前先想怎么选...
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
想在自己的设备上跑 AI,先算清参数量与显存这笔账,小参数模型的甜点位指效果不崩又带得动的区间,7B 档因工具链成熟而流行,选型前先想怎么选...
一家 AI 公司的模型列表常有一串相近名字,那整条产品线就是模型家族,底座、指令版、推理版、轻量版各管一段,按任务对号入座,一次看清模型家族...
AI 把生僻字拆成怪符号、数不准字数,多半和字节级分词的设计有关,词表装不下的字符会被切成字节小块兜底,理解这一点,就能用准字节级分词。
同样是问 AI 一个问题,长文档为什么更贵?本文用快递重量段类比上下文计费梯度,讲清分档逻辑与省钱判断,看懂阶梯...
推理模型回答前会先展示一段思考过程,这些思考token同样按量计费。本文讲清草稿为什么收费、何时该关,看完就能用...
大模型说好中文和英语,不代表小语种同样可靠,多语言支持衡量的就是这种均衡度,它与语料配比和分词器有关,换语种实测...
通用大模型聊什么都会一点,专业活却常露怯,领域特化模型往单一方向加练,代码数学法律已有成熟款,选前先测通用能力是...
AI 生成文本一旦开跑就可能停不下来,停止序列就是那个刹车。本文用类比讲清它如何控制收尾时机,帮你少走弯路看懂停止序...
一次AI请求背后是一个messages数组,本文拆解消息列表的角色分工、排列顺序与常见坑,新手也能一次读懂消息列表结...
为什么搜索能找到意思相近的内容,靠的多半不是关键词匹配。本文把专管语义坐标的小模型讲清楚,帮你看懂知识库背后的嵌入模...
LoRA 模型文件是贴在基座权重上的低秩适配补丁,只记录微调改动量,几十兆就能为模型换文风、加技能,是轻量定制的低秩...
权重合并指把两个已训练模型的权重按配比融合成新模型,不重训练即可兼具双方长处,开源社区里常讲的模型混血,说的就是权重...
思考预算是推理模型回答前的 token 限量,决定它允许自己想多久,难题给足、轻题收紧,省额度的关键在调思考预算。
频率惩罚在模型每用一次词后就压低该词再现概率,与存在惩罚配合减少复读腔,参数面板上最值得先弄懂的是这两个惩罚旋钮。