什么是排队机制?高峰期的先后规则
高峰期提问变慢,背后是排队机制在安排先后:超容量的请求按规则等位,先到先得之外还有短优先和付费优先,错峰提问最管用,规矩都在排队机制。
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
高峰期提问变慢,背后是排队机制在安排先后:超容量的请求按规则等位,先到先得之外还有短优先和付费优先,错峰提问最管用,规矩都在排队机制。
对话越长越记不住开头,是对话截断策略在裁剪历史:窗口装不下时按规则丢旧留新,关键信息要复述才保险,根子在对话截断。
记不住就记在本子上,这套办法叫外部记忆:信息存外面、用时再取,跨会话复用是常态,存取两头准才算数,门道都在外部记忆。
答案往外蹦的速度叫每秒 token 数,缩写 TPOT,衡量单个请求的输出节奏;吞吐是系统总运力,两个数分开记,...
同一个 AI 服务同一时刻能招待多少请求,这个规模叫并发,它受算力和调度双重约束,高峰期是秒回还是排队全看它,接...
请求还没生成完,新来的就能插进来一起算,这种不等整批清空的调度叫连续批处理,它让算力席位不空等,提升的是系统吞吐...
AI 答案流式往外蹦,偶尔卡一下多半是缓冲在攒批再发,攒批求的是顺滑,开头小卡最常见,长卡才可疑,关键在输出缓冲...
大模型开口前要先通读整段输入,这段准备叫预填充,耗时随输入变长而增长,首字慢多半是读得慢,精简输入换秒回,充足背景换...
同一个问题哪个回答更好,标注员常常给不出统一答案,分歧来自任务主观性、背景差异和指南模糊三方面,本文聚焦偏好分歧。
奖励模型只是人类偏好的代理,策略模型一旦摸到代理的漏洞就能刷高分不出好活,本文讲清作弊机制与四类防范,聚焦奖励作弊。
自我训练让模型出题、模型答题、模型把关筛选,循环转起来扩量便宜,但怕分布坍缩和错误自我强化,本文聚焦自我训练。
继续预训练灌领域语料时容易把通用能力冲掉,配方是新旧数据按比混训、小学习率、双基准评估这一套,本文聚焦混旧数据。
领域微调的数据多来自内部资料:文档、工单、FAQ 和会议记录,经清洗、脱敏、构造指令对才能用,本文聚焦领域微调数据。
代码微调与自然语言不同:强依赖文件级上下文、注释是语义桥梁、格式极其敏感,切分与构造都有专门讲究,本文聚焦代码微调。