AI 写问卷的速度很快,问题也出在这里:它擅长把话说得顺,而顺口的问法往往已经预设了立场。「您是否也认为这项服务很方便」这种句子,答案在提问前就被框住了。
引导性偏差不是措辞小节,它会让整份数据的分布整体偏移,后面再精细的分析也救不回来。
引导性从哪几个地方溜进来
四个地方最常见:题干里的褒贬词、选项的不对等、追问的预设、以及样本选择本身。前三个是文本层面的,靠改写就能解决;第四个是流程层面的,要在投放环节控制。
判断有没有引导,有个简单测试:把题干念给一个没参与设计的人听,问他觉得出题人希望选哪个。他答得出来,就说明有引导。
题干里最容易犯的三种写法
第一种是带情绪形容词,比如「糟糕的」「出色的」,换成中性描述即可。第二种是双重否定,「您是否不认为不应该调整」,读三遍都绕不过来,必然产生误答。第三种是把两个问题并成一句,「您对价格和售后是否满意」,答案无法拆解。
还有一种隐蔽的写法是预设事实,「您多久使用一次这项功能」,把「不使用」排除在外。正确做法是先问是否使用,再问频率。
| 写法 | 例子 | 问题出在哪 | 怎么改 |
|---|---|---|---|
| 情绪形容词 | 「糟糕的」「出色的」 | 褒贬词把立场写进了题干 | 换成中性描述 |
| 双重否定 | 「您是否不认为不应该调整」 | 读三遍都绕不过来,必然误答 | 改成一次否定的直问 |
| 两问并一句 | 「对价格和售后是否满意」 | 答案无法拆解 | 拆成两道题 |
| 预设事实 | 「您多久使用一次这项功能」 | 把「不使用」排除在外 | 先问是否使用,再问频率 |
选项排布也会带节奏
同意与不同意应该对称,五个选项就该是「非常不同意」到「非常同意」,中间放中立。若只给「同意、很同意、非常同意」,等于强迫表态。
顺序也会影响结果。放在前面的选项更容易被选中,所以关键题的选项要随机轮换,或者至少在预测试时验证顺序效应是否明显。量表方向也要一致,别上一题左同意右不同意,下一题反过来。
还有一种常被忽略的引导:缺少「不了解」「没接触过」这类出口。用户被迫在有倾向的选项里挑一个,数据里就凭空多出一批伪态度。凡是问及不熟悉的主题,都该给出不表态的选项,并在分析时单独统计这部分占比。
追问的时机
追问最容易植入预设。用户选了低分,紧接着问「您觉得哪里需要改进」,看起来合理,实际上已经假定他接受了「需要改进」这个框架。
更中性的问法是「您选择这个选项的主要原因是什么」,开放、不指向。追问也不宜过多,连续三个开放题会让完成率断崖式下跌。
上线前怎么检验
正式投放前先做小样本预测试,看两件事:各选项的分布是否过于集中,以及开放题的回答里有没有大量「答非所问」。前者说明题目有引导,后者说明题干有歧义。
还可以请另一套模型做审稿。让 Kimi、文心一言分别指出题目里可能存在引导的地方,两边都指出的,基本就是要改的。模型审稿只是辅助,最终判断仍要人来下。
预测试的样本不必多,几十份就够看出选项是否挤在一处。但要找人当面做一遍,观察他在哪一题停顿、哪一题回头重读,那些停顿就是题干的毛病所在,数据本身看不出来。
问卷自查五条
- 题干有无褒贬词与双重否定
- 一题是否只问一件事
- 选项是否对称,是否含中立项
- 选项顺序是否随机轮换
- 追问是否预设了结论
五条里最容易漏的是第二条,合并提问在长问卷里几乎必然出现。
相关机制:政务问答的口径管理同样讲究表述中立;住中服务的多轮编排里的追问设计可以对照;内容风控的分级讨论的是另一类判断分级;客服质检的全量覆盖则提供了抽样与全量的取舍思路。
关于问卷偏差的三个常问问题
- AI 生成的问卷能直接用吗?:不建议。它容易写出顺口但带倾向的句子,必须逐题改写并做预测试。
- 中立选项会不会让人偷懒?:会有一部分,但取消中立项造成的偏差更大,两害相权取其轻。
- 题目越少越好吗?:不是。关键在于每题都有明确用途,无用题删掉,必要的题不能省。


