Ⅰ类错误与Ⅱ类错误

在判断某种效应是否统计学显著时，您可能会犯两种错误：

•当总体上实际上并无差异（关联、相关性等），但随机抽样导致数据呈现出统计学显著差异（关联、相关性等）时，即犯了第一类错误。您得出的“两组确实存在差异（关联、相关）”这一结论是错误的。

•当总体上确实存在差异（关联、相关性）时，但随机抽样导致数据未显示统计学显著差异，则犯了第二类错误。因此，您得出的“两组实际上没有差异”的结论是错误的。

第0类和第III类错误

此外，还可以定义另外两种错误：

•当您得到正确答案，却问错了问题时，您就犯了第0类错误！这有时也被称为第3类错误，尽管该术语通常有不同的定义（见下文）。

•当您正确地得出两组在统计上存在差异的结论，却错误地判断了差异的方向时，您就犯了第三类错误。 假设某种治疗确实能提高某个变量，但您并不知道这一点。当您进行实验以查明真相时，随机抽样恰好使对照组受试者的数值很高，而治疗组受试者的数值很低。这意味着治疗组受试者的平均值（总体而言）较低，且低到足以使差异统计学显著。 您会正确地拒绝“无差异”的零假设，并正确地得出结论：干预显著改变了结果。但您会得出结论认为干预平均降低了该数值，而实际上干预（平均而言，但并非在您的受试者中）是提高了该数值。第三类错误非常罕见，因为它只发生在随机因素导致您从实际数值较高的组中收集到低值，而从实际数值较低的组中收集到高值的情况下。