什么是机械可解释性?把模型拆开看里面有什么
机械可解释性直接拆解模型内部运算,定位负责特定功能的单元、概念方向与回路,有别于事后归因。它受规模与验证所限,目前找到的只是内部机制的一小部...
AI基础百科栏目解释 AIGC、提示词、Agent、RAG、Token、模型、工作流、检测与认证等常见概念,适合新手快速补齐 AI 工具使用前的基础知识。
机械可解释性直接拆解模型内部运算,定位负责特定功能的单元、概念方向与回路,有别于事后归因。它受规模与验证所限,目前找到的只是内部机制的一小部...
稀疏自编码器在模型内部表示上再训一个小网络,把纠缠的表示拆成稀疏、可解释、可控的特征,让研究者能定位并调节特定概念。它受特征数量庞大所限,难...
模型后门平时完全正常,只在输入中出现特定暗号时才按植入者意图输出。它多由训练数据投毒产生,隐蔽且难追溯;从可信渠道获取模型、做针对性检测可降...
测试时计算指模型在回答当下多花算力,通过延长思考、多路尝试、自我检查换更高准确率。它不用重训模型,但更慢、更贵,...
拒绝采样让模型对同一问题生成多个答案,再用标准筛掉不合格的。本文讲清生成、筛选、留用三步流程,以及它的擅长场景与...
过程奖励给推理的每一步打分,解决「答案碰巧对但过程错」的蒙对问题。本文讲清它相对结果奖励的差别、三个难点与自动验...
当模型在某个领域强过人类,人看不懂它的答案就无法评分,监督随之失效。可扩展监督研究如何用 AI 辅助、任务分解、...
从机制拆层归一化:进来什么数、做了什么变换、出去谁受益,并对照批归一化、前置后置位置与 RMSNorm 的差别,说明...
多头注意力是几十组打分加权并行工作。讲清一个头进来什么算什么出去什么、分工为何是练出来的、算力成本怎么涨,附现象与对...
残差连接用一条直通车道把输入原样传到更深层,缓解梯度消失,让上百上千层的网络也能稳定训练。本文讲清它的原理、三大好处...
嵌入维度是向量的长度,768、1024、1536 都是工程权衡的结果。讲清维度里装了什么、为什么常取 2 的幂、换模...
预训练模型只会接着上文写,指令微调用指令、输入、期望输出三件套样本教会它听指令。讲清训练机制、数据质量优先的原因,以...
传统软件出错会报错,AI 出错常是答得不对却没有异常。本文讲质量、成本、性能、安全四类监控指标,以及记录输入输出、模...
合成数据能补样本,但分不清真假会污染评测和训练。本文讲评测失真、循环污染、多样性下降三种风险,以及统计特征、文本图像...