概览

维克斯讲述了这个故事（1）：

统计学家：“哦，所以您已经计算出P值了吗？”

外科医生：“是的，我用了多项式逻辑回归。”

统计学家：“真的吗？您是怎么想到用这个方法的？”

外科医生：“嗯，我试了SPSS下拉菜单里的每种分析方法，结果这个给出的P值最小。”

统计学的基本规则

要使统计分析结果能够直观地被解读，以下三点必须成立：

•所有分析均经过预先规划。

•所有预先规划的分析均完全按计划进行，并如实报告。

•在解释结果时，需将所有分析结果一并考虑在内。

如下文所述，这些简单且合乎常理的规则常以多种方式遭到违反。

数据预处理的多种方式

在分析数据之前，需要做出一些决定。哪些数值因过高或过低而被视为错误，因此应予删除？是否需要进行标准化，以及如何进行？是否需要对数据进行转换，以及如何转换？

序贯分析（临时样本量确定）

要正确解读 P 值，必须预先设定实验方案。通常这意味着先确定样本量，收集数据，然后进行分析。

但如果结果在统计学上并不十分显著呢？人们往往会忍不住再进行几次实验（或增加几个受试者），然后利用更大的样本量重新分析数据。 如果结果仍然不“显著”，那就再做几次实验（或增加受试者数量），然后再次进行分析。

当数据以这种方式进行分析时，解释结果将无法正确进行。这种非正式的序贯方法不应被采用。

如果“无差异”的零假设实际上是成立的，那么采用这种非正式的序贯方法获得“统计学显著”结果的概率将远高于5%。事实上，如果您坚持这种方法足够久，那么即使零假设成立，最终每一次实验都会得出“显著”的结论。 当然，“足够长”的时间可能确实非常漫长，甚至会超出您的预算，甚至超过您的寿命。

问题在于：当结果不“显著”时实验会继续进行，而一旦结果“显著”就会停止。如果实验在达到“显著性”后继续进行，增加更多数据可能会导致“不显著”的结论。 但您永远无法得知这一点，因为一旦达到“显著性”，实验就会终止。如果您在不喜欢结果时继续进行实验，而在喜欢结果时停止实验，那么这些结果就根本无法解读。

统计学家已经开发出处理序贯数据分析的严谨方法。这些方法采用更为严格的标准来定义“显著性”，以适应序贯分析的特点。如果没有这些特殊方法，除非样本量是预先设定的，否则您将无法解释结果

多个亚组

对多个亚组数据进行分析属于多重比较的一种形式。当某种治疗在某些亚组中有效而在其他亚组中无效时，亚组分析便成为一种多重比较，且极易导致误判。

Lee及其同事进行的一项模拟研究指出了这一问题。他们假装比较了针对冠状动脉疾病的两种“治疗”方案后的生存情况。他们研究了一组真实的冠状动脉疾病患者，并将他们随机分为两组。 在真实研究中，他们会给两组患者提供不同的治疗方案，并比较生存率。而在这项模拟研究中，他们对受试者采用了完全相同的治疗方案，但分析数据时却假设这两个随机分组的组别实际上代表了两种截然不同的治疗方案。不出所料，两组的生存率无法区分（2）。

随后，他们根据患者是否患有单支、双支或三支冠状动脉病变，以及心室收缩功能是否正常，将患者分为六组。鉴于这些变量预计会影响患者的生存率，因此分别评估这六个亚组对“治疗”的反应是合理的。 虽然他们在其中五个亚组中未发现显著差异，但在病情最严重的患者中却得出了一个引人注目的结果：患有三支冠状动脉病变且心室收缩功能受损的患者，在接受治疗B时的生存率远高于接受治疗A时。两条生存曲线之间的差异在统计学上具有显著性，P值小于0.025。

如果这是一项真实的研究，人们很可能会得出结论：对于病情最严重的患者，治疗方案B更优，并建议今后对这类患者采用治疗方案B。 但这并非真实研究，这两种“治疗方案”仅反映了患者的随机分组。由于两种治疗方案完全相同，因此观察到的差异绝对、毫无疑问地是偶然造成的。

作者在六项比较中发现一项P值较低，这并不令人意外。即使所有零假设均为真，六项独立比较中仍存在26%的概率会出现一项P值小于0.05。

如果所有亚组比较都是预先定义的，那么可以对多次比较进行校正——无论是作为分析的一部分，还是在解释结果时非正式地进行。但当此类亚组分析未预先定义时，它便成为一种“数据折磨”。

多重预测

2000年，政府间气候变化专门委员会（IPCC）对未来气候作出了预测。皮尔克提出了一个看似简单的问题：在随后的七年里，这些预测的准确性如何？虽然这段时间尚不足以对全球变暖的预测进行严肃评估，但却是必要的第一步。然而，事实证明，这个问题根本无法回答。 问题在于，该报告包含大量预测，却未明确应采用哪些气候数据来源。这些预测是否应验了？答案取决于选择测试哪项预测，以及用哪组数据集进行验证——“这简直是‘挑三拣四者’的盛宴”（3）

只有当预测明确说明了预测的内容及其发生时间时，才能评估预测或诊断的准确性。

组合组别

在比较两个组别时，这些组别必须作为研究设计的一部分被明确界定。如果组别是由数据本身定义的，那么许多比较是在隐含情况下进行的，最终结果将无法被正确解读。

奥斯汀和戈德瓦瑟揭示了这一问题(4)。他们研究了安大略省（加拿大）因心力衰竭住院的发病率，将患者按星座（基于出生日期）划分为十二组。 结果发现，双鱼座出生的人心力衰竭发病率恰好最高。随后，他们进行了一项简单的统计检验，比较了双鱼座出生人群与其他所有人群（即其余十一星座出生者合并为一组）之间的心力衰竭发病率。 仅从表面看，这一比较表明发病率的差异极不可能是偶然造成的（P值为0.026）。与其他十一星座出生的人相比，双鱼座人群的心力衰竭发病率在“统计学上显著”更高。

问题在于，研究人员实际上并非只检验了一个假设，而是检验了十二个。  他们是在考察了所有十二个星座出生人群的心力衰竭发病率后，才将注意力集中在双鱼座上的。因此，如果不考虑其他十一组隐含的比较，仅将这一组与其他组进行比较是不公平的。在对这些多重比较进行校正后，星座与心力衰竭之间不再存在显著关联。

多元回归、逻辑回归等

拟合多元回归模型为尝试多种分析提供了更多机会：

•尝试纳入或排除可能的混杂变量。

•尝试纳入或排除交互作用。

•更改因变量的定义。

•将因变量或任何独立变量转换为对数、倒数或其他形式。

除非事先已做出这些决定，否则不能仅凭表面结果来解释多元回归（或多元逻辑回归、比例风险回归）的结果。

《直观生物统计学》(8) 第 38 章和 Babyok (5) 都解释了这种过拟合的问题。

岔路丛林

在某些情况下，您会先查看数据（也许会进行初步分析），然后根据这些值决定接下来要运行哪种检验。Gelman 将此称为“岔路花园”，并指出这是一种多重比较的形式 (10)。

发表偏倚

编辑们更倾向于发表报告具有统计学显著结果的论文。当得出“不显著”结论的研究被搁置，而具有“统计学显著”结果的研究却得以发表时，对已发表结果的解读便会变得棘手。  这意味着，即使所有零假设都是正确的，在已发表的研究中观察到“显著”结果的概率也可能远高于5%。

特纳（Turner）在由行业资助的抗抑郁药疗效研究中证明了这种选择性——即所谓的发表偏倚（6）。 1987年至2004年间，美国食品和药物管理局（FDA）审查了74项此类研究，并将它们分为“阳性”、“阴性”或“存疑”三类。FDA评审人员发现，其中38项研究显示了阳性结果（即抗抑郁药有效）。 除一项研究外，其余均已发表。FDA评审人员发现，剩余的36项研究结果为阴性或存疑。其中，22项未发表，11项在发表时经过“包装”，使结果看起来略显积极，而这些阴性研究中，仅有3项以明确的阴性结论发表。

问题在于一种“多重比较”现象。虽然开展了大量研究，但只有部分研究被发表，而这些被选中的研究正是因为显示了“期望”的结果。

结论

只有当所有步骤都经过规划、所有计划中的分析都已发表、且在得出结论时考虑了所有结果时，统计分析才能被按字面意思解读。而在常见的统计实践中，这些简单规则却以多种方式被违反。

只要足够努力，从任何相当复杂的数据集中最终都能得出“统计学显著”的发现。这被称为“数据折磨”(6) 或“P-hacking”(9)。  在审查结果时，您往往甚至无法对数据分析方式的数量进行校正，因为可能的比较数量并未预先定义，且几乎是无限的。当结果在缺乏计划的情况下以多种方式进行分析时，这些结果根本无法被解读。 充其量，您只能将这些发现视为一种假设，留待未来利用新数据进行验证。

 

参考文献

1. Vickers, A., 《P值到底是什么》，2009年。ISBN：978-0321629302。

2. Lee, K. L., J. F. McNeer, C. F. Starmer, P. J. Harris 和 R. A. Rosati. 1980. 《临床判断与统计学：来自冠状动脉疾病模拟随机试验的启示》。《循环》61卷，第3期（3月）：508-15

3. 皮尔克（Pielke, R.），《普罗米修斯：气候科学中的预报验证，第3部分》。检索于2008年4月20日。

4. 奥斯汀（P. C. Austin）和 M. A. 戈德瓦瑟（M. A. Goldwasser）。2008。《Pisces 试验中未观察到心力衰竭增加：基于数据的分类变量不同水平间二元比例比较可能导致不正确的统计学显著水平》。 《临床流行病学杂志》第61卷，第3期（3月）：295-300。

5. 巴比亚克，M.A.。《所见未必即所得：对回归型模型中过拟合现象的简明非技术性介绍》。《心身医学》（2004）第66卷（3期）第411页

6. Mills, J. L. 1993. 数据折磨。《新英格兰医学杂志》329卷，第16期：1196。

7. Turner, E. H., A. M. Matthews, E. Linardatos, R. A. Tell 和 R. Rosenthal. 2008. 抗抑郁药试验的选择性发表及其对表观疗效的影响。《新英格兰医学杂志》第358卷，第3期（1月17日）：252-60。

8. 莫图尔斯基，H.J.（2010）。《直观生物统计学》，第2版。牛津大学出版社。ISBN=978-0-19-973006-3。

9. 西蒙斯，J. P.，尼尔森，L. D. 及西蒙森，U. 《假阳性心理学：数据收集与分析中未披露的灵活性使得任何结果都能被呈现为具有统计学意义》。《心理科学》22，1359–1366 (2011)。

10. Gelman, A., & Loken, E. (2013). 《岔路花园：为何多重比较可能成为问题——即使不存在“钓鱼式研究”或“P-hacking”，且研究假设是预先设定的”。2014年1月30日下载。