一组 t 检验与 Fisher 检验的唯一区别在于:t 检验仅根据被比较的两个组计算合并标准差,而 Fisher 检验则根据所有组计算合并标准差(从而提高了检验力)。请注意,与 Bonferroni、Tukey、Dunnett 和 Holm 方法不同,Fisher 检验不进行多重比较校正。
多重比较采用族状的α定义。显著性水平不适用于每次比较,而是适用于整个比较族。一般而言,这使得达到显著性变得更加困难。这实际上是多重比较的核心要点,因为它降低了因完全由随机抽样导致的差异而被误导的可能性。以下是一个示例:
第1组 |
第2组 |
组 3 |
34 |
43 |
48 |
16 |
37 |
43 |
25 |
47 |
69 |
比较第1组和第2组的非配对t检验得出的P值为0.0436,该值小于0.05,因此被视为统计学显著。但在方差分析(ANOVA)后的Tukey多重比较检验中,经多重性校正后的P值为0.1789,这不具有统计学意义。
在某些情况下,增加自由度(通过合并所有组的标准差,即使仅比较两个组)所产生的效果,会超过控制多重比较所产生的效果。在这些情况下,您可能会在多重比较检验中发现“显著”差异,而在简单的t检验中则不会发现。以下是一个示例:
组1 |
组 2 |
组 3 |
34 |
43 |
48 |
38 |
45 |
49 |
29 |
47 |
47 |
通过非配对t检验比较第1组和第2组,得到双尾P值为0.0164;而Tukey多重比较检验计算出的多重性校正后P值为0.0073。如果我们将本示例的“显著性”阈值设为0.01,则t检验的结果不具有“统计学显著性”,但多重比较检验的结果具有统计学显著性。
当您要求 Prism 使用 FDR 方法(采用三种方法中的任意一种)时,它首先会使用 Fisher LSD 方法(若假设数据来自高斯分布)或未经校正的 Dunn 检验(非参数)计算 P 值。这些方法不会对多重比较进行校正。
随后,这三种方法会根据P值的分布、P值的数量以及您选择的具体方法,确定哪些P值足够小以被视为“发现”。
第一步,即计算P值,与传统的t检验非常相似。第二步,即判定哪些属于“发现”,则截然不同。