作为方差分析(ANOVA)后续步骤的Bonferroni和Sidak检验的第一步是计算Fisher LSD检验。请注意以下两点:
•该检验得出的P值未进行多重比较校正,因此多重比较校正作为第二步进行。
•P值是根据被比较的两个均值之间的差异以及总体合并标准差计算得出的。 当比较A列和B列时,C、D、E等列中的数值会影响汇总标准差的计算,从而影响A与B比较的P值。如果所有数值均采样自具有相同标准差的总体,使用汇总标准差是合理的,因为这会为Bonferroni或Sidak检验提供更多的自由度,从而提高检验力。
其逻辑很简单(1)。若进行三项独立比较(且每项的零假设均为真),并对每项比较均采用5%的传统显著性阈值且不进行多重比较校正,那么其中一项或多项检验被判定为统计学显著的概率是多少? 解决该问题的最佳方法是反向思考 - 这三项比较全部得出“差异不具有统计学显著性”的结论,其概率是多少?每次检验不显著的概率为0.95,因此三项独立比较均不显著的概率为0.95×0.95×0.95,即0.8574。 现在回到原问题。其中一项或多项比较具有统计学显著性的概率为 1.0000 - 0.8574,即 0.1426。
您也可以先设定希望应用于整个比较族(family of comparisons)的显著性阈值,然后使用Šídák-Bonferroni方法计算每个单独比较必须采用的显著性阈值。
将该比较族(比较族)的显著性阈值称为族状显著性水平(familywise alpha,alphaFW),比较次数记为 K。每个单独比较所用的显著性阈值,即单次比较显著性水平(alphaPC),定义为:
alphaPC = 1.0 - (1.0 - alphaFW)¹/K
若进行三项比较,且希望整个比较族(family)的显著性阈值为 0.05,则每项比较的阈值为:
alphaPC = 1.0 - (1.0 - alphaFW)¹/K = 1.0 - (1.0 - 0.05)¹/3 = 0.0170
如果您进行十次比较,并希望整个比较族的显著性阈值为0.05,那么每次比较的阈值为:
alphaPC = 1.0 - (1.0 - alphaFW)¹/K = 1.0 - (1.0 - 0.05)⁰.¹⁰ = 0.0051
Bonferroni 方法使用一个更简单的公式来回答与 Šídák 方法相同的问题。如果您进行三次独立比较(每次的零假设实际上都是成立的),并且对每次比较都使用 5% 的常规显著性阈值而未进行多重比较校正,那么其中一次或多次测试被判定为具有统计学显著性的概率是多少?
Bonferroni 法仅将单个显著性阈值(0.05)乘以比较次数(3),因此答案为 0.15。这个结果虽接近,但与上述更精确的计算结果(计算得出的答案为 0.1426)并不完全一致。 (当比较次数较多时,显著性阈值与比较次数的乘积可能超过1.0;此时,结果将报告为1.0。)
若要利用 Bonferroni 法,根据比较次数以及您希望应用于整个比较族的显著性阈值(alphaFW),计算出每项比较应采用的显著性阈值(alphaPC),请使用以下简单公式:
alphaPC = alphaFW/K
假设您将整个比较族(family of comparisons)的显著性阈值设为0.05,且需要进行三次比较。则判定任何单次比较显著性的阈值将降至0.05/3,即0.0167。请注意,这比上文Šídák法计算出的结果0.0170更为严格。
若进行十次比较,则每次比较的Bonferroni阈值为 0.05/10 = 0.0050。同样,该值比上文Šídák方法计算出的 0.0051 更为严格(即更小)。