让我们来考虑一下，如果进行大量比较，并判断每个结果是否“显著”，会发生什么情况。同时假设我们就是“大自然”，因此知道数据所抽样的总体中是否真的存在差异。

在下表中，第一行代表在零假设成立（即干预措施确实无效）情况下的比较结果。尽管如此，某些比较仍会错误地得出“显著”的结论。 第二行显示了确实存在差异的比较结果。即便如此，您也不会每次实验都得到“显著”的结果。

A、B、C 和 D 分别代表比较的次数，因此 A+B+C+D 的和等于您进行的比较总数。您无法根据实验数据制作此表，因为该表是对多项实验的概览。

 

在上表中，α 是 A/(A+B) 的期望值。若将 α 设为通常的 0.05，这意味着当零假设为真（A+B）时，您预计所有比较中有 5% 具有统计学显著性（见第一列）。 因此，您预期 A/(A+B) 等于 0.05。

纠正多重比较的通常方法是设定一个更严格的阈值来定义统计学显著性。 其目标是设定一个严格的显著性定义，使得——如果所有零假设均为真——仅凭偶然性就获得一个或多个“显著”结果的概率仅为 5%，从而确保 95% 的概率下，没有任何一次比较会得出“显著”的结论。 这5%适用于整个实验，因此有时被称为“实验总错误率”或“族错误率”（两者是同义词）。

设定更严格的统计学显著判定阈值，可确保您极少会被“统计学显著”的错误结论所误导。但这一优势是有代价的：您的实验在检测真实差异方面的功效会降低。

Bonferroni、Tukey、Dunnett、Dunn、Holm（以及其他）的方法均采用这种做法。