将数据集分成一个又一个的子组,直到有机会让您的 p < 0.05 — 然后观察新鲜样本来决定您的发现是真实的还是侥幸。
该治疗没有真正的效果,所以你发现的任何意义都是噪音。将数据筛选为子组,并重新运行测试多次,直至发现 p 值低于 0.05,然后将您的“发现”提交给裁判。变化是:重复检查抽取一个新的独立样本并重新测试您的确切主张。真实的效果依然存在; p-hacks 消失了——这个差距就是整个教训。
Cherry Picker 是关于 p-hacking、多重比较以及为什么复制很重要——统计的完整性。
不断筛选出子群组、反复重新检验,直到某个结果变得显著为止,这就是数据挖掘——即P值操纵:进行大量检验,却只报告那些结果显著的检验。
本作原创的设计是:处理措施没有任何真实效果,所以你找到的每一个结果,从构造上就注定都是噪声。
这是讲授这一点的唯一诚实的方式。如果只是抽象地讲述,P值操纵听起来像是一个细心的人绝不会做的作弊行为;而在保证空无一物的数据上亲手操作一遍,就能展示显著性出现得有多么容易,这是多重比较问题,而不是品格上的缺陷。
Cherry Picker 是一款关于 p-hacking、多重比较以及复制为何重要的统计游戏。这是一款专为 PlayPendium 打造的原创免费浏览器游戏。