机器学习工具增强假设检验的统计效力

机器学习工具增强假设检验的统计效力

上下文向量通过捕捉“侧面信息”，可以使实验更具信息量。

假设检验是一种检验假设的常见统计方法。网页字体的更改是否导致人们在页面上停留更长时间？特定基因是否影响特定性状？某中心等科技公司广泛使用的A/B测试（比较客户对两个版本产品或服务的响应）就是统计假设检验的一个例子。

在在线假设检验中，假设按顺序进行测试。例如，在完成A/B测试以决定网页字体后，可能还想跟进一个比较不同背景颜色的实验。

理想情况下，在测试背景颜色时，希望能控制页面上的所有其他元素（页面内容、横幅广告的大小和位置、桌面与移动端布局等）。但这意味着需要为每个背景颜色测试所有这些元素的所有可能排列组合，并为每种组合获取足够的数据以产生统计显著的结果。如此精细的实验控制在实践中很少可行。

在今年的国际人工智能与统计会议上，我们提出了一种在线假设检验方法，该方法考虑了侧面信息（例如网页设计的其他附加元素），而无需为几十个对照组进行数十次不同的实验。

我们使用了机器学习中的一个常见思路：上下文向量。该向量捕捉了实验发生的上下文信息。我们在理论上证明，如果上下文向量包含了关于实验上下文的真实信息，那么它们的加入将增加假设检验方法的统计效力，即其识别真实现象的能力。

同时，我们证明，即使添加了上下文向量，一种由某中心高级首席科学家 Dean Foster 和 Robert Stine 开创的、称为 alpha-investing 规则 的在线假设检验方法变体，仍然可以强制执行预定的假设检验错误发现率上限，即该方法接受错误假设为真的频率。

Alpha-Investing 规则

在假设检验中，每个假设都有一个 p 值，即获得比随机机会所规定的更显著结果的概率。

当同时测试多个假设时，即使实验设计和执行正确，也可能失去对假阳性比例的控制。在这种情况下，需要根据期望的错误发现率调整假设的 p 值，并计算任何假设被认为有效所必须满足的调整后 p 值阈值。在离线设置中，这通常通过 Yoav Benjamini 和 Yosef Hochberg 在 1995 年引入的经典程序来实现。

然而，在在线设置中，p 值必须即时调整，阈值也必须即时估算。Foster 和 Stine 的 alpha-investing 规则（后来的研究人员将其发展为广义 alpha-investing 规则）就是为在这种上下文中控制错误发现率而设计的。

GAI 规则从错误发现预算（根据投资类比称为“财富”）开始，该预算对应于期望的最大错误发现率。测试新假设会产生成本，从而减少预算。但是，识别有效假设会增加预算，从而能够更宽松地接受后续假设。

一旦错误发现预算耗尽，测试即告结束。这确保了测试程序永远不会超过最大错误发现率。

上下文的力量

在我们的方法（称为上下文 GAI）中，我们使用上下文向量来调整可用于每个假设的错误发现预算。调整有时是向上的，增加了接受假设的可能性；有时是向下的，降低了接受的可能性。

调整的程度由一个函数决定，该函数具有一个可调参数，该参数依赖于先前假设检验的结果；也就是说，该函数随着测试的进行而学习做出更有用的调整。在我们的实验中，我们使用了一个神经网络来学习这些调整。

我们在论文中证明，只要上下文向量捕捉了关于实验上下文的真实信息，相对于标准 GAI，这种方法将始终提高检验的统计效力。当然，提高的程度取决于上下文特征的选择，这由实验设计者决定。

我们还证明，上下文 GAI 强制执行与经典 GAI 相同的错误发现率限制。

最后，我们将我们的方法应用于糖尿病预测和基因表达分析的公共数据集，并表明，在这两种情况下，它在强制执行错误发现率上限的同时，提高了分析的统计效力。

糖尿病预测数据集包含每位患者的个人信息以及药物、实验室结果、免疫接种、过敏和生命体征的详细信息。我们仅使用个人信息作为上下文向量。

在错误发现率上限为 0.2 的情况下，我们的方法使假设检验程序的统计效力提高了约 51%。

在遗传分析数据集中，称为单核苷酸多态性的遗传标记已经与感兴趣的性状相关联，目标是找到这些 SNP 与细胞内基因产物浓度之间的关联。因此，每个 SNP 都与每个附近的基因一起进行测试。

除了每个 SNP-基因对外，我们尝试了三种不同的信息源作为上下文向量：SNP 与基因之间的距离；与基因相关的蛋白质在个体间的普遍性；以及以标准 PhastCons 分数衡量的基因进化保守性（在物种间共享的程度）。

使用所有三种信息源，我们的方法发现的基因-性状关联数量分别增加了 5.5%、2.6% 和 2%。FINISHED