这里再次呈现上一页的表格,该表格预测了多次比较的结果。唯一的区别在于,我将“统计学上显著”一词改为“发现”,因为在错误发现率方法中,后者更为常用。
“发现” |
“非发现” |
总计 |
|
无差异。 零假设成立 |
A |
B |
A+B |
确实存在差异 |
C |
D |
C+D |
总计 |
A+C |
B+D |
A+B+C+D |
第一行代表在零假设成立(即处理方法确实无效)情况下的比较结果。尽管如此,某些比较仍会错误地得出足够小的P值,以致该比较被视为一项“发现”。
第二行显示了在确实存在差异的比较结果。即便如此,也并非在每次实验中都能得到足够小的P值,以致于将该发现称为“发现”。
A、B、C 和 D 分别代表比较的次数,因此 A+B+C+D 的和等于您所进行的比较总次数。
当然,您只能在理论上制作这张表。如果您收集了实际数据,就永远无法确定零假设是否成立,因此无法将结果归入第1行或第2行。
关于统计学显著性和多重比较的常规思路是提出以下问题:
如果零假设成立,得到“统计学显著”结果的概率是多少?
错误发现率(FDR)则回答了另一个问题:
如果某次比较被视为“发现”,那么零假设为真的概率是多少?
在上表中,错误发现率即为 A/(A+C) 的比值。
在处理多重比较时,您可能希望设定一个 FDR 值(通常称为 Q),并在决定哪些比较属于“发现”、哪些不属于“发现”时使用该值,以确保实际的错误发现率不超过 Q。
若仅进行单次比较,则必须先定义先验几率并采用贝叶斯推理,否则无法实现这一点。但若涉及多次比较,则可通过简单方法近似控制 FDR。 您可以设定期望的 Q 值,FDR 方法将据此判断每个 P 值是否足够小,从而被认定为“发现”。 若将 Q 设为 10%,则预期(从长远来看)约 90% 的“发现”能真实反映实际差异,而假阳性比例不超过 10%。换言之,预期 A/(A+C) 等于 10%(即您为 Q 设定的值)。
关于错误发现率有两种思考方式。
•您输入 Q 的数值(注意是大写字母;即期望的错误发现率),程序会根据该定义告诉您哪些比较属于“发现”,哪些不属于。在 Prism 中,您需以百分比形式输入 Q。
•对于每项比较,程序会计算一个 q 值(注意是小写)。该值也被称为调整后的 P 值。 对该值的理解方式如下:若您在上述步骤中将Q设为此值,那么您当前所查看的比较结果将恰好处于“是否构成发现”的分界线上。Prism将q以小数形式报告。