异常值检验能做什么？

没有任何数学计算能确切地告诉您，该异常值是否与其他数据来自同一个总体，还是来自不同的总体。然而，统计计算可以回答这个问题：

如果这些值确实都来自高斯分布，那么您观察到的那个与其他值相差如此之大的值出现的概率是多少？

如果该概率很小，那么您将得出结论：异常值并非来自与其他数值相同的分布。假设您对上述三个问题均回答“否”，那么您有充分理由将其从分析中排除。

统计学家设计了多种检测异常值的方法。所有方法首先都会量化异常值与其他值的偏离程度。这可以是异常值与所有数据点均值的差值、异常值与剩余数据点均值的差值，或是异常值与次近值之间的差值。 接下来，通过除以某种离散度指标（如所有值的标准差、剩余值的标准差或数据的范围）来对该值进行标准化。 最后，计算一个P值来回答以下问题：如果所有数据点确实都来自一个高斯总体，那么随机获得一个与其他数据点相差如此之大的异常值的概率是多少？如果P值较小，则可得出结论：该异常值与其他数据点的偏差在统计学上显著，且极有可能来自不同的总体。

格鲁布斯检验的工作原理

格鲁布斯检验是定义异常值最常见的方法之一，且非常易于理解。该方法也被称为ESD法（极端斯图登特化偏差）。

第一步是量化异常值与其他值的距离。计算比率 Z，即异常值与均值的差除以标准差。如果 Z 值较大，则该值与其他值相差甚远。请注意，均值和标准差应基于所有值（包括异常值）计算。

有时您会看到该值被称为 G 而不是 Z。

由于高斯总体中 5% 的值与均值的标准偏差超过 1.96 个，因此当 Z 值大于 1.96 时，您可能会首先认为该异常值来自不同的总体。但这种方法仅在您知道其他数据所反映的总体均值和标准偏差时才适用。 虽然在实验科学中这种情况很少见，但在质量控制中却很常见。您从历史数据中已知总体均值和标准差，并希望了解最新值是否与其他值一致。这是质量控制图的基础。

在分析实验数据时，您并不知道总体的标准差，而是根据数据计算标准差。异常值的存在会增加计算出的标准差。 由于异常值的存在会同时增加分子（该值与均值的差值）和分母（所有值的标准差），因此Z值无法达到您预期的那么大。例如，当N=3时，无论数据集如何，Z值都不会大于1.155。  更一般地说，对于包含 N 个观测值的样本，Z 值绝不会大于：

Grubbs等人已编制了Z的临界值表。如预期所示，临界值随样本量的增大而增大。若您计算得到的Z值大于表中的临界值，则P值小于0.05。

请注意，Grubbs检验仅对样本中的最极端值进行检验。如果无法明确判断哪个值最极端，则需对所有值计算Z值，但仅根据最大的Z值计算Grubbs检验的P值。

Prism 只需数据集中至少三个数值即可进行格鲁布斯检验。

如何解读 P 值

如果 P 值小于 0.05，这意味着如果所有数据确实都来自单个高斯分布，那么仅凭偶然性出现一个与其他数据值相差如此之远（无论朝哪个方向）的异常值的概率小于 5%。

请注意，5%的概率（或您选择的任何α值）适用于整个数据集。如果您的数据集包含100个值，且所有值均来自高斯分布，那么格鲁布斯检验将有5%的概率判定最大值（或最小值）为异常值。 如果您对大量数据集进行异常值检验，预计会有5%的数据集出现此类误判。

请不要混淆，以为这5%适用于每个数据点。如果数据集中有100个值，且均来自高斯分布，那么格鲁布斯检验将最远离均值的值识别为异常值的概率为5%。 这与（错误地）推断“预计会有5个数值（占总数的5%）被错误地判定为异常值”是不同的。  

参考文献

•B·伊格莱维奇和D·C·霍格林。《如何检测和处理异常值》（ASQC质量控制基础参考书，第16卷），美国质量控制协会，1993年。

•V·巴内特、T·刘易斯、V·罗瑟姆斯特德。《统计数据中的异常值》（威利概率与数理统计丛书·应用概率与统计），约翰·威利父子出版社，1994年。