概览

本示例将计算非配对t检验的检验力。然而，本示例的目标更为广泛 - 旨在展示使用Prism进行蒙特卡洛分析是多么简单，并向您展示其巨大的实用价值。

这里的问题是：给定某种实验设计和关于随机散布的假设，非配对t检验得出 P 值小于 0.05 并因此被判定为统计学显著的概率（检验力）是多少？

步骤 1. 模拟第一个实验

在任意位置点击“新建...分析”，然后选择“模拟列数据”。选择模拟两个组，每组五个值，从均值分别为25和35的总体中抽样，这些总体服从标准差为10的高斯分布。

步骤 2. 使用 t 检验分析数据

在模拟数据表中，点击“分析”，然后从“列分析”列表中选择“非配对t检验”。接受所有默认选项以执行非配对t检验，并报告双尾P值。

步骤 3. 查看部分模拟结果

将结果中的 P 值复制并粘贴到数据图表上。粘贴时会建立实时链接，因此当数据值发生变化时，P 值也会随之更新。若要使用不同的随机数模拟新数据，请点击红色骰子图标，或展开“更改”菜单并选择“重新模拟”

下图展示的布局中放置了四个此类图表，它们作为未链接的图片存在于布局中，因此当图表内容变化时不会同步更新。尽管该项目中仅包含一个图表，但这种方式使得能够将四个不同版本（包含不同随机数据）的图表置于布局中。您可以观察到，随着数据的随机变化，P 值也会发生显著波动。

步骤 4. 蒙特卡洛模拟

从 t 检验结果开始，点击“分析”并选择“蒙特卡洛模拟”。

在第一个（“模拟”）选项卡中，选择希望 Prism 执行的模拟次数。本示例中使用了 1000 次模拟。

在第二个（“待制表参数”）选项卡中，选择需要制表的参数。可选项即为 Prism 在分析数据时生成的分析常量列表。本示例中，我们仅需制表 P 值（来自比较均值的 t 检验；请勿与比较方差的 F 检验中的 P 值混淆）。

在第三个（“命中”Hits）选项卡中，定义使给定模拟结果成为“命中”的标准。在本示例中，我们将“命中”定义为 P<0.05 的统计学显著性。

点击“确定”，Prism 将运行模拟。根据计算机的运行速度，此过程可能需要几秒钟到几十秒不等。

步骤 5. 蒙特卡洛结果

P 值的分布

模拟结果显示在两个页面上。

其中一页显示了所有模拟的参数列表。在本示例中，我们仅要求列出 P 值，因此该表格包含 1000 个（即请求的模拟次数）P 值。若要根据此表格生成频率分布，请点击“分析”，然后选择“频率分布”。选择累积频率分布。您可以看到，约四分之一的 P 值小于 0.05。

命中率

另一张结果表汇总了“命中率”。对于这组模拟，27.5% 的模拟结果为“命中”（P 值小于 0.05），其 95% 置信区间为 24.8% 至 30.4%。另一种表述方式是：本实验设计的检验力为 27.5%。

请注意，模拟结果依赖于随机数生成，而随机数生成器会根据您开始模拟时的具体时间进行初始化。因此，您的结果可能与上文所示不完全一致。

当然，如果我们进行更多的模拟，该置信区间会更窄。

在此表格中，点击“新建...现有数据图”以创建饼图或百分比图。

第 6 步：进一步探索

返回步骤 1，模拟一个规模更大的实验，例如每个组包含 10 个值。或者 20 个或 100 个。这将使检验力提高多少？

尝试将“命中”的定义调整为 P 值小于 0.01 而不是 0.05。这会对检验力产生什么影响？