Please enable JavaScript to view this site.

Navigation: 《统计学原理》 > 异常值

工作原理:ROUT 方法

Scroll Prev Top Next More

ROUT 方法的基础知识

ROUT 方法最初是作为一种从非线性回归中识别异常值的方法而开发的。了解更多关于 ROUT 方法的信息。

简而言之,该方法首先采用一种鲁棒方法对数据进行建模,使异常值的影响微乎其微。然后,它利用一种基于错误发现率的全新异常值检测方法,来判断哪些数据点与模型预测值的偏差足够大,从而被判定为异常值。

当您要求 Prism 在一组列数据中检测异常值时,它会直接采用该方法。它将您输入的值视为 Y 值,并拟合模型 Y = M,其中 M 是稳健均值。 [若要使用 Prism 的非线性回归分析实现此功能,您需要为每一行分配任意的 X 值,然后拟合模型 Y = X*0 + M。)

该方法可检测任意数量的异常值(最多可达样本量的 30%)。

Prism 只需数据集中有三个值即可执行 ROUT 检验。

什么是 Q?

ROUT 方法基于错误发现率(FDR),因此您需要指定 Q,即期望的最大 FDR。Q 的解读取决于数据集中是否存在异常值。

当没有异常值(且分布完全服从高斯分布)时,Q 与 alpha 非常相似。假设所有数据均来自高斯分布,Q 即为(错误地)识别出一个或多个异常值的概率。

当数据中存在异常值时,Q 即为期望的最大错误发现率。 若将 Q 设为 1%,则目标是确保被识别出的异常值中,虚假异常值(实际上只是高斯分布的尾部)的比例不超过 1%,而真实异常值(来自其他分布)的比例至少为 99%。

ROUT 法与 Grubbs 法的比较

我进行了模拟实验,以比较格鲁布斯法和 ROUT 法在检测异常值方面的表现。  简而言之,数据是从高斯分布中抽样的。在大多数情况下,会添加异常值(从具有指定限值均匀分布中抽取)。每个实验设计模拟了 25,000 次,我统计了出现零个、一个、两个或两个以上异常值的模拟次数。

当没有异常值时,ROUT 检验和 Grubbs 检验的表现几乎完全一致。为 ROUT 方法指定的 Q 值等同于您为 Grubbs 检验设定的 α 值。

当存在单个异常值时,Grubbs检验在检测该异常值方面略胜一筹。ROUT方法的假阴性率和假阳性率均较高。 换言之,ROUT 方法漏检异常值的概率略高,而且即使模拟数据中仅包含一个异常值,它也更可能检测出两个异常值。这并不令人意外,因为格鲁布斯检验原本就是为检测单个异常值而设计的。虽然这两种方法之间的差异很明显,但并不显著。

当小数据集中存在两个异常值时,ROUT检验的表现要好得多。 迭代式格鲁布斯检验容易受掩蔽效应影响,而ROUT检验则不会。掩蔽效应是否构成问题,取决于样本大小以及异常值与其他值的均值之间的距离。在掩蔽效应确实可能发生的情况下,ROUT检验的表现远优于格鲁布斯检验。  例如,当样本量 n=10 且存在两个异常值时,Grubbs 检验在 98.8% 的模拟中未能同时检测出这两个异常值(在剩余的 1.2% 的模拟中,Grubbs 检验仅检测出其中一个异常值)。 相比之下,在这些模拟中,ROUT方法在92.8%的情况下成功识别了两个异常值,且仅有6%的模拟中未能识别出这两个异常值。

总结:

•在格鲁布斯法最初设计的任务——从高斯分布中检测单个异常值——方面,其表现略优于 ROUT 方法。

•在某些情况下,ROUT 方法在检测两个异常值方面的表现远优于迭代式 Grubbs 异常值检验。

参考文献

Motulsky HM 和 Brown RE,《利用非线性回归拟合数据时检测异常值——一种基于稳健非线性回归和错误发现率的全新方法》,《BMC生物信息学》2006,7:123。 请从 http://www.biomedcentral.com/1471-2105/7/123 下载。