GEO 复测时如何控制提问口径避免结论漂移

GEO 项目做复测，价值全在"可比"二字。第一次监测给出的是基线，之后的每一次复测都是拿同一把尺子去量。如果尺子本身变了，量出来的差异就说不清是品牌表现真的动了，还是提问方式动了。结论漂移多数不是数据算错，而是口径在不知不觉中被改动。

先定位漂移来自哪里

从方法上看，复测结论的漂移通常有三个来源。

提问侧：换了措辞、调整了语序、加了限定词、把单轮提问改成了多轮追问。这类改动往往很小，小到操作者自己都记不住，但它会直接改变 AI 回答的走向。

环境侧：平台版本更新、模型迭代、登录状态不同、地区设置不同、对话上下文长度不同。这些变量不在运营方的控制范围内，却会持续影响回答。

判读侧：指标定义改了、样本数量增减了、把单次回答当成了趋势。前两项属于计算规则问题，第三项属于统计习惯问题。

三者之中，提问侧的改动最隐蔽，也最容易在人为操作中累积。控制口径，重点就是把这部分钉住。

提问口径需要冻结的几件事

建立一组长期观察的问题并不难，难的是让这组问题在几个月内一个字都不变。建议在监测计划里明确以下冻结项：

这六项里，问题文本和问题类型是最容易被"顺手优化"的。有人觉得某个问法太生硬，就改得口语化一点；有人觉得某个问题没提到品牌，就加一个品牌词进去。这些改动都会让前后两期数据失去可比性。

改题要新建版本，不要覆盖

业务会变，问题集不可能永远不动。新业务上线、合规要求变化、原问题存在明显歧义，都可能需要调整。

建议的做法是版本化管理：给问题集编号，例如 V1、V2，改动后的新问题集启用新版本号，旧版本的监测记录保留。需要对比时，V1 与 V1 比，V2 与 V2 比；跨版本对比只能作为参考，不能当作同一口径下的趋势线。

如果必须在同一期里既保留老问题又加入新问题，可以让两套问题并行跑一段时间，用重叠期观察新问题是否带来了系统性偏移。这样至少能判断出差异有多少来自提问本身。

把单次回答当样本，不当结论

生成式回答具有随机性。同一个问题，在不同时间、不同会话里可能得到表述不同的答案，即使平台和模型没有任何变化。这是采样机制决定的，不是异常。

因此复测时，单个问题的单次回答只能算一个样本。要判断某个语义方向的表现，需要看同一问题多次提问后的分布：被提及的比例是多少、引用来源集中在哪些页面、描述是否一致。样本量不足时，宁可标注"样本不足，暂不判读"，也不要直接下结论。

样本完整度本身就是一个需要记录的口径。如果上一期每个问题问了十次，这一期只问了三次，两期的提及率即便数字相同，可信程度也不一样。

指标定义要和问题集一起冻结

问题集冻住了，指标定义还得跟上。提及率的判定标准是什么——只要出现品牌名就算，还是必须同时出现业务描述；引用覆盖率统计的是全部来源还是仅统计主域名；位次按第几条回答计算。这些规则一旦改动，前后两期的数字就不能直接比较。

比较稳妥的做法是：指标定义写成文字留档，每次复测前先核对一遍，确认没有在无意识中放宽或收紧。指标名称不变，不代表计算逻辑没变。

给噪声留出判读带宽

即便口径完全一致，数据也会波动。建议在判读前设定一个最小可判读差异，也就是变化幅度小于这个值就视为稳定。这个阈值可以根据历史数据的波动情况估计，不需要很精确，但要有。

另一个习惯是看多周期。单期的上升或下降可能来自平台调整或采样波动，连续两到三个周期朝同一方向变化，才更值得当作趋势讨论。

还有一个容易踩的坑：把某次数据变化直接归因到某篇内容上。内容发布与 AI 表现之间的关系需要结合整体样本观察，单篇内容与单次变化之间很难建立干净的因果链。资料显示，平台回答受多种来源共同影响，任何单一变量的解释力都有限。

把外生变化写进变更日志

平台更新、模型迭代这类外生变化无法控制，但可以记录。建议维护一份简单的变更日志，记下时间、变化内容和影响范围。等到复盘时，如果某期数据出现异常，翻日志往往能找到线索。

日志里也值得记下问题集的版本变更、指标定义的调整、样本量的增减。一份完整的日志能省下大量"这期数字为什么和上期不一样"的排查时间。

一份可复用的复测清单

复测执行前，可以按下面的顺序过一遍：

1. 核对问题集版本号，确认本期使用的问题与上期一致；
2. 核对问题类型标签，确认分类没有漂移；
3. 核对提问轮次与上下文设置；
4. 核对平台、地区、账号状态；
5. 核对重复次数与样本完整度；
6. 核对指标定义与计算规则；
7. 检查变更日志，确认周期内是否有平台或模型更新；
8. 设定本期的最小可判读差异；
9. 对样本不足的语义方向，标注为暂不判读。

这份清单不复杂，但它把"口径"从个人记忆变成了可交接的流程。项目换人、时间拉长，流程仍然成立。

结语

GEO 复测的结论质量，取决于口径的稳定程度，而不是指标的漂亮程度。问题文本、问题类型、轮次上下文、环境变量、指标定义这几项守住，数据才有纵向比较的意义。需要调整时，用新版本承载变化，用并行期验证偏移，用变更日志记录原因。这样做出来的复测，即便某期数字不好看，结论也是可信的。