在地下室找工具

功效的概念颇为晦涩难懂。以下这个比喻或许能有所帮助（由纽约州立大学健康科学中心布鲁克林分校的约翰·哈通提供）。

您让孩子去地下室找一件工具。他回来后说：“那里没有。”您会得出什么结论？那件工具在地下室吗？我们无法确定。

那么，让我们用概率来表达这个答案。您真正想回答的问题是：“工具在地下室的概率是多少？”但如果不了解先验概率并运用贝叶斯思维，这个问题其实无法真正解答。我们暂且跳过这一点，转而提出一个略有不同的问题：“如果工具确实在地下室，您孩子找到它的概率是多少？”

答案取决于以下问题的回答：

• 他花了多长时间寻找？如果找了很久，找到工具的可能性就越大。

• 工具有多大？找到一把雪铲比找到那把用来修眼镜的微型螺丝刀要容易得多。

• 地下室有多乱？如果地下室乱七八糟，他找到工具的可能性就比整洁有序时要低。

因此，如果他在整洁的地下室里花了很多时间寻找一件大工具，那么如果工具确实在那里，他很有可能找到它。所以您可以相当确信他的结论 - 工具不在那里。如果他在杂乱的地下室里只花了一点时间寻找一件小工具，那么他得出的“工具不在那里”的结论其实没什么意义。

与样本量和功效的类比

那么这与计算已完成的实验的功效有何关联？关于寻找工具的问题，类似于询问已完成的实验的功效。功效正是对以下问题的回答：如果（特定大小的）效应确实存在，那么规模为某值的实验发现“统计学显著”结果的概率是多少？

•在地下室搜寻的时间长度相当于样本量。收集的数据越多，发现效应量的功效就越高。

•工具的大小则类似于您正在寻找的效应量。发现大效应量的功效总是高于发现小效应量的功效。

•地下室的杂乱程度相当于数据的标准偏差。如果数据分布非常分散，您的功效就会降低。

如果您在标准偏差较小的系统中，使用大样本量去寻找大效应，那么如果该效应确实存在，您极有可能获得“统计学显著的效应”。因此，对于“无统计学显著效应”这一结论，您可以相当有把握。 但若在标准偏差较大的系统中，使用小样本量去寻找微小效应，那么“无统计学显著效应”这一结论实际上并无多大参考价值。