对较低的P值进行解读并非易事

假设您正在筛选药物，以验证它们是否能降低血压。 您采用通常的P<0.05阈值作为统计学显著的标准。根据预期观察到的数据离散程度以及您所关注的最小变化量，您已为每次实验确定了样本量，以确保在P值小于0.05的情况下，具有80%的功效来检测您所寻找的差异。

如果确实得到了小于0.05的P值，那么该药物真正有效的概率是多少？

答案是：这取决于实验的具体背景。让我们先考虑这样一种情况：根据研究背景，您估计该药物真正有效的概率为10%。当您进行1000次实验时，会发生什么？ 根据您10%的估计值，下方的两列总和分别为100和900。由于功效为80%，您预计80%的真正有效的药物在实验中会产生小于0.05的P值，因此左上角的单元格数值为80。 由于您将统计显著性的阈值设定为0.05，预计5%的无效药物在实验中会产生小于0.05的P值，因此右上角单元格的数值为45。  

总而言之，您预计会有125项实验得出“统计学显著”的结果，而其中只有80项实验中该药物确实有效。 其余 45 项实验虽然得出了“统计学显著”的结果，但实际上是假阳性或错误发现。错误发现率（简称 FDR）为 45/125，即 36%。不是 5%，而是 36%。这也被称为假阳性率（FPR）。

下表摘自《生物统计学精要》第12章，展示了该情景及其他三种情景的FDR。

 

上表中的每一行对应一种不同的情景，这些情景由不同的先验概率（即在收集数据之前）定义，即存在真实效应的概率。中间一列显示了如上所述计算出的预期FDR（也称为FPR）。 该列回答了以下问题：“如果P值小于0.05，那么实际上并不存在效应、结果仅仅是随机抽样所致的情况有多大概率？”请注意，该答案并非5%。FDR与α（用于定义统计学显著性的阈值P值）截然不同。

最右侧一列数据由模拟计算得出，基于 Colquhoun(1,2) 的研究，提出了一个略有不同的问题： “如果 P 值仅略低于 0.05（介于 0.045 和 0.050 之间），那么实际不存在效应、结果仅仅是随机抽样所致的概率是多少？”这些数值要高得多。 请关注第三行，其中先验概率为50%。在此情况下，如果P值仅略低于0.05，则该效应归因于随机性的概率为27%。 注意：是27%，不是5%！而在更具探索性的情境中，如果您认为先验概率为10%，那么对于刚好低于0.05的P值，错误发现率高达78%。这种情况下，一个（按常规定义的）统计学显著的结果几乎毫无意义。  

归根结底：您不能脱离具体情境来解释统计显著性（或P值）。您的解释依赖于实验的具体背景。错误发现率可能远高于α值（通常为5%）。解释结果需要常识、直觉和判断力。

参考文献

1.Colquhoun, D. (2014). 关于错误发现率与P值误解的研究。《皇家学会开放科学》，1(3)，140216–140216。 http://doi.org/10.1098/rsos.140216

2.Colquhoun, D (2019). 《假阳性风险：关于如何处理p值的建议》。《美国统计学家》，第73卷，增刊1。