多重比较可以通过Bonferroni校正或其他校正方法来处理,也可以通过控制假发现率(FDR)的方法来处理。但这些方法并非总是必要的。以下是三种无需进行特殊计算的情况。
部分统计学家建议在数据分析过程中绝不进行多重比较校正(1,2)。取而代之的是报告所有单个P值和置信区间,并明确说明未对多重比较进行数学校正。这种方法要求报告所有比较结果。在解读这些结果时,需要非正式地考虑多重比较的影响。 若所有零假设均为真,预计会有5%的比较其未经校正的P值小于0.05。将这一期望值与实际出现的小P值数量进行对比。
在方差分析(ANOVA)之后,未校正的费希尔最小显著差检验(Fisher检验)即遵循此方法。
“计划内比较”一词用于以下情况:
•您专注于少数几个科学上合理的比较,而非所有可能的比较。
•比较的选择是实验设计的一部分。
•您在查看数据后,没有屈服于进行更多比较的诱惑。
区分预先计划的比较与非计划的(事后)比较至关重要。若您先查看数据,并基于此决定仅进行两项比较,则不属于计划内比较。在这种情况下,您实际上已隐含地比较了所有组别。
若仅进行少量计划内比较,部分统计学文献建议为每项单独比较设定显著水平(或置信区间的含义),且不进行多重比较校正。在此情况下,传统的5%显著水平适用于每项单独比较,而非整个比较族。
不进行多重比较校正的逻辑似乎在于:部分统计学家认为,这种额外的功效是对精心设计实验并专注于少数科学合理比较的应得回报。Kepel 和 Wickles 主张这种方法(参考文献见下文)。但他们同时也警告说,若“计划”进行所有比较却不进行多重比较校正,则有失公允。
Ridker及其同事(3)探讨了降低低密度脂蛋白(LDL)胆固醇是否能预防那些LDL浓度不高且无既往心脏病史(但血液检测异常,提示存在某些炎症性疾病)患者的心脏病。该研究纳入了近18,000名受试者。其中一半接受他汀类药物以降低LDL胆固醇,另一半接受安慰剂。
研究人员的主要目标(作为研究方案的一部分)是比较两组中发生的“终点事件”数量,包括因心脏病发作或中风导致的死亡、非致命性心脏病发作或中风,以及因胸痛住院的情况。与服用安慰剂的人相比,接受药物治疗的人群发生这些事件的频率约为其一半。该药物有效。
研究人员还分别分析了各项终点指标。与服用安慰剂的受试者相比,服用该药物的受试者死亡人数更少,心肌梗死和脑卒中发生率更低,因胸痛住院治疗的情况也更少。
随后,研究人员对不同人口统计学群体的数据进行了单独分析。分别针对男性与女性、老年与青年、吸烟者与非吸烟者、高血压患者与非高血压患者、有心脏病家族史者与无家族史者进行了分析。在25个亚组中,接受药物治疗的患者发生主要终点事件的次数均少于安慰剂组,且所有这些效果在统计学上均具有显著性。
针对所有这些结局指标和亚组的单独分析,研究者均未进行多重比较校正。由于结果高度一致,因此无需进行校正。每项多重比较虽以不同方式提出同一基本问题(该药物能否预防疾病?),但所有比较均指向同一结论 - 服用该药物的患者发生心血管疾病的风险低于服用安慰剂的患者。
1. Rothman, K.J. (1990). 多重比较无需进行校正。《流行病学》,1: 43-46.
2. D. J. Saville, 《多重比较程序:实用解决方案》。《美国统计学家》,44:174-180, 1990
3. Ridker. 罗苏伐他汀用于预防C反应蛋白升高的男女患者发生血管事件。《新英格兰医学杂志》(2008)第359卷,第3195页