在地下室找工具

功效的概念颇为难以捉摸。以下这个比喻或许能有所帮助（由纽约州立大学健康科学中心布鲁克林分校的约翰·哈通提供）。

您让孩子去地下室找一件工具。他回来后说：“那里没有。”您会得出什么结论？那件工具在地下室还是不在？我们无法确定。

那么，让我们用概率来表达这个答案。您真正想回答的问题是：“工具在地下室的概率是多少？”但如果不了解先验概率并运用贝叶斯思维，这个问题其实无法真正解答。 我们暂且跳过这一点，转而提出一个略有不同的问题：“如果工具确实在地下室，您孩子找到它的概率是多少？”

答案取决于以下问题的答案：

• 他花了多长时间寻找？如果他找了很长时间，找到工具的可能性就越大。

• 工具有多大？找到一把雪铲比找到那把用来修眼镜的微型螺丝刀要容易得多。

• 地下室有多乱？如果地下室乱七八糟，他找到工具的可能性就比地下室井井有条时要低。

因此，如果他在一个井井有条的地下室里花了很多时间寻找一件大工具，那么如果那件工具确实在那里，他很有可能已经找到了。 因此，您可以相当置信他得出的“工具不在那里”这一结论。如果他在杂乱的地下室里花了一小段时间寻找一件小工具，那么他得出的“工具不在那里”这一结论其实意义不大。

与样本量和功效的类比

那么，这与计算已完成的实验的功效有何关系？关于寻找工具的问题，类似于询问已完成的实验的功效。 功效就是对以下问题的回答：如果（特定大小的）效应确实存在，那么规模为某值的实验发现“统计学显著”结果的概率是多少？

•在地下室搜索所花费的时间就相当于样本量。收集的数据越多，发现效应量的功效就越高。

•工具的大小则类似于您正在寻找的效应量。发现大效应量的功效总是比发现小效应量的功效更高。

•地下室的杂乱程度则类似于数据的标准偏差。如果数据分布非常分散，您检验效应的能力就会降低。

如果您在标准偏差较小的系统中，使用大样本量去寻找大效应，那么如果该效应确实存在，您极有可能获得“统计学显著的效应”。因此，对于“无统计学显著效应”这一结论，您可以相当有把握。 但如果在标准偏差较大的系统中，使用较小的样本量去寻找微小效应，那么“无统计学显著效应”这一结果实际上并没有多大参考价值。