先给结论:额度有限时,不要按“页面数量”平均分配查询,而应按“判断价值”排序。把手中的页面先分成三类——能直接推翻当前结论的、能区分两种处理方案的、只能确认已知情况的。额度优先给前两类,第三类留到最后甚至不查。判断标准不是页面多重要,而是它的结果会不会改变你下一步的动作。
挑选样本前,先写下额度用完那一刻你必须回答的问题。常见的有三种:某个改版是否要全量上线、某批页面是否要单独处理、某类内容是否要停止投入。不同问题对应的样本完全不同。
假设你手上有 200 个页面,额度只够查 20 个。若你的决定是回滚与否,就先查被改动且流量占比最高的 20 个;若决定是找出问题页,就先查改动前后差异最明显的 20 个。动作不同,同一批页面里该查的对象也不同。
重要性高不等于信息量大。一个你早已确定结果的页面,查了也只是确认;一个结果可能推翻你判断的页面,才值得占用额度。可以用一个简单问句筛选:如果这个页面的查询结果和我预期相反,我会改变下一步吗?会,就优先查;不会,就往后排。
把候选页面按这个问句分成三档:
实际操作时,先给每个候选页面写一句预期结果和对应的后续动作。写不出后续动作的,直接归入低增益。这一步通常能砍掉一半候选,省下的额度留给真正会改变决策的页面。
额度有限时,最忌讳一次性把额度摊平到所有类别。更稳的做法是先取一组最小样本验证你的分类假设,再决定往哪个方向追加。
假设你把 200 个页面分成“改过标题”和“没改标题”两组,想知道改标题是否带来差异。不要两组各查 10 个就结束,而是先各查 3 个:如果两组结果明显分开,说明分类方向可能有效,再把剩余额度集中到边界模糊的页面上;如果两组结果混在一起,说明这个分类不是关键变量,应换一个维度重新分样本,而不是继续加量。
这个动作的关键在于:第一批小样本的作用是决定下一批查什么,而不是得出结论。结果分得开,下一步是加密边界;结果分不开,下一步是换分类维度。两种走向对应完全不同的额度分配。
当关键前提发生变化时,只查变化后的状态往往不够。你需要至少保留一组变化前的对照,否则无法区分“是这次变化导致的”还是“本来就如此”。
具体做法是:在候选页面里,刻意保留少量未受变化影响的页面作为对照,哪怕它们看起来不重要。查询时把变化组和对照组放在同一批里看。如果两组结果接近,说明变化可能不是主因,下一步应排查其他条件;如果两组明显不同,才值得把额度追加到变化组内部,进一步定位是哪一类页面受影响最大。
这里要注意,对照组的数量不必多,但必须和变化组在页面类型、内容规模上尽量接近,否则比较没有意义。额度紧张时,宁可少查几个变化页,也要留出对照。
额度耗尽不是终点。把已查样本的结论、支撑它的具体证据、以及尚未查询的页面清单一起记下来,下次额度到位时可以直接接着查,而不是重新排序。
记录时至少写清三点:这次样本支持了什么判断、这个判断在什么条件下可能不成立、下一批最该查的是哪几个页面。这样即使中间隔了一段时间,也能快速恢复上下文,避免重复消耗额度在已经确认的页面上。
如果某次查询结果全部符合预期,也不要直接当成验证成功。结果一致还可能是因为样本本身挑选时就偏向了你熟悉的页面,或者查询条件设置得过于宽松。这种情况下,下一步应主动挑几个你原本认为“不太可能出问题”的页面来查,用反例检验判断是否站得住。