用 AI 做问卷设计与分析：从出题到归纳

一份发出去两周的问卷收回来 412 份，开放题那一栏堆着三百多条手写回答，负责整理的人看了半天，只挑出三句能引用。问题多半不在回收量，而在题目从设计那天起就没打算让人好好答。用 AI 做问卷，省力的地方集中在两头：出题时的逐条体检，回收后的归类计数；中间那段真正决定数据质量的判断，仍然要人来定。

题目的毛病，回收之后补不回来

问卷的链路是定目标、写题、自检、试填、归纳五段，前面任何一段走偏，后面都只能跟着偏。一道引导性题目会把整列数据带歪，而且歪得整齐——所有人都在同一句话的暗示下作答，事后无论怎么加权都纠不回来。

这也是 AI 在问卷里最该被用在前端的原因：它逐条挑错的耐心远超人，而人在写到第十五题时判断力已经明显下降。位置说清楚，用法就明确了——把它当审稿人，比当出题人可靠得多。回收来的样本如果集中在某一类人身上，结论会像样本不均衡那样，看着有数，其实只代表一小撮人。

从定目标到归纳，五步各有产出物

问卷这条链有五步，每步都该留下能拿给别人看的东西：

自检和试填是最容易被省掉的两步，而它们恰恰是仅有的、能在投放前发现问题的环节。试填尤其便宜：找五个同事各做一遍，把卡住的地方圈出来，改完再发，成本不到半小时。

三个原则要落成能勾选的条目

中立、互斥、穷尽，写在纸上都懂，落到具体题目上却常常变形。可行的办法是把它们改成三个判断题：题干里有没有形容词在暗示答案；两个选项能不能同时被选中；把所有情况走一遍，有没有哪一种无处可放。

提示词可以直接照这个结构写：贴上题目，要求逐题回答这三个问题，只报问题，不要写赞美。措辞上有个细节值得注意——明确说「只挑问题」，否则它倾向于先夸两句，再提一条无关痛痒的。这和写提示词的通则是同一个道理：约束要具体到动作，越具体越管用。

还有一项常被忽略的检查：让它指出哪些题其实拿不到有用信息。问卷里最贵的不是错题，是废题——它占着填答者的耐心，产出的却是一列无法分析的答案。删掉三道废题，填答完成率通常会明显上升。

开放题归纳，编号比分类更重要

三百条回答人工归类要一整天，交给模型几分钟就能出结果。风险随之而来：它会把意思相近的回答合并，合并的过程你看不见，最后只剩一张干净的分类表。

解法是强制保留原始编号。每条结论后面挂三到五条编号，你抽查十条，就能判断归类是粗还是细。这个动作成本很低，却是把「它说什么就是什么」变成「可以核对」的关键一步。

频次统计还要盯住口径。同一件事用不同说法表达，按字面统计会碎成十几类；按语义合并又容易把不同诉求揉成一类。稳妥的做法是两套都出，自己比对差异在哪。这类偏差的来源和模型偏见相似：它的分类依据是语料里的常见说法，不一定是你这份问卷里的说法。

它读不出填答者按下选项前的那几秒

有些信息不在你粘贴的文本里。它拿到的是你粘贴的文本，看不到有人在某道题上停留了四十秒，也看不到有人在开放题里写了又删。这些行为痕迹往往比答案本身更能说明问题，但它们不在模型的输入里。

还有一层是判断的资格。某个选项为什么被大量选中，可能和产品无关——比如那段时间竞品涨价，或者问卷正好赶在发薪日前发出。模型只能看到问卷内部的关联，看不到问卷外面的世界，所以它给出的「原因」通常是合理推测，读着顺，未必成立。

样本量这件事同样绕不过去。60 份样本能看出方向，看不出比例；两百份能看比例，看不出细分人群。它不会主动告诉你置信度不够，你得自己在报告里标出来。

编数据这条线，一次都不能越

样本不够时，最省事的做法是让它「补一些看起来合理的回答」。这件事的危害在于不留痕迹：补出来的数据和真实数据混在一起，事后没有人能分开，基于它做的决策会把错误放大到无法追溯。

正确的处理是如实标注样本量与回收率，把「不知道」写进结论。一份承认自己只有 60 份样本的报告，比一份看起来有 500 份的报告有用得多，因为前者还能被追问，后者只能被相信。

限制要写在指令最后并且具体：不要生成任何未提供的回答，缺失处留空并标注。模型没有「我没有数据」这个状态，被要求补全时，它会顺着语境给出一段完全成立的文本，这就是模型编造内容最典型的触发方式。

速查：投放前先过这四关

• 题干里有没有形容词在暗示答案
• 任意两个选项能不能同时被选中
• 把所有情况走一遍，有没有无处可放
• 每道题是否只问了一件事