有条件的结论是:额度有限时,优先把查询花在“能改变你下一步动作”的样本上,而不是花在“看起来最像成功案例”的样本上。具体做法是先按决策价值分层,再用少量额度验证分层是否成立;如果发现同一层内部差异极大,分层失效,应放弃按层抽样,改为按差异来源抽样。
把待查对象列出来之后,不要按顺序查,也不要按印象里“最值得优化的页面”查。先问一句:这个结果无论好坏,会不会让我改标题、改内链、改内容方向或放弃某个方向?如果不会,它就不该占用额度。
可以分成三层:
分层之后,额度优先给决策层,其次给校准层。参考层再完整,也不能帮你做决定。
分层抽样成立的前提是:同一层里的对象足够相似。如果同一层里有的页面表现接近,有的页面表现差很远,那么你查到的那个样本只代表它自己,不能代表整层。
举个假设的例子:你想判断某个栏目下十篇文章是否都值得继续更新,按“同栏目、同主题”分成一层,只查了其中一篇,发现表现不错,于是决定整批保留。但如果这十篇里有两篇是旧文重发、三篇是转载整合、五篇是原创长文,它们的差异来源根本不是“同栏目”,而是内容来源和更新方式。这时你查的那一篇不能代表其余九篇。
反例就是:当同一层内部的差异来源不止一个时,按层抽样得到的结论会失效。此时应改为按差异来源抽样:从每种来源里各取一个,而不是从整层里随机取一个。
额度有限时,最怕的是查完只得到“好”或“不好”,却不知道原因。挑选样本时,应优先选那些能让不同原因产生不同结果的样本。
例如你怀疑某页流量下降是因为标题改动,还是因为同主题新页面分流。可以这样设计:
这里的关键不是查得多,而是查得能让原因之间产生分歧。一个能区分原因的样本,信息量高于十个只能重复同一结论的样本。
不要一次性把额度排满。先查一个决策层样本,看完结果后立刻判断:这个结果是否推翻了你原来的分层?如果推翻了,下一个样本应换到被推翻的那一层;如果没有推翻,下一个样本可以继续查同一层里差异最大的那个对象。
这个动作的结果会直接影响下一步:如果第一个样本就暴露出层内差异过大,你就不该继续按原计划抽样,而应先重新划分差异来源,再决定剩余额度怎么花。这样即使额度很少,也能避免把全部查询浪费在一个不成立的假设上。
需要说明的是,查询结果只能反映你查到的那个对象在查询时刻的状态,不能单独证明某个改动是原因,也不能推出整批对象的未来表现。如果发现某个对象查不到结果、结果为空或明显异常,先确认查询对象是否写对、是否属于同一类目,再考虑是否调整样本,而不是直接断定该对象已被处理。
当你用一个样本得出初步判断后,下一步不是扩大查询量,而是设计一个能验证或推翻该判断的动作。例如:如果判断是“同栏目内容整体值得保留”,就再从该栏目里挑一个差异最大的对象查一次;如果判断是“标题改动是主因”,就找一个改过标题但其他条件不同的对象查一次。只有当你确认分层成立、差异来源可控时,才值得把额度用于批量查询。
额度有限本身不是问题,问题是用额度去确认你已经相信的事。先查能改变动作的那一个,再根据结果决定下一个,这比一次查很多更能帮你做出可靠判断。