克莱恩（1）列举了关于P值的常见谬误，我在此总结如下：

谬误：P值是结果由抽样误差导致的概率

P值的计算是基于零假设成立的假设。换言之，P值的计算是基于“差异源于抽样误差”这一假设。因此，P值无法告诉您结果源于抽样误差的概率。  

谬误：P值是零假设为真的概率

不，并非如此。P 值的计算是基于零假设成立的假设，因此它不可能是零假设成立的概率。

谬误：1-P 是备择假设为真的概率

如果 P 值为 0.03，人们很容易产生这样的想法：如果差异由随机偶然性造成的概率只有 3%，那么它由真实差异造成的概率就必须是 97%。但这是错误的！

您可以这样说：如果零假设成立，那么97%的实验所得差异会小于您观察到的差异，而3%的实验所得差异会与您观察到的差异一样大或更大。

P值的计算基于“零假设成立”这一假设。P值无法告诉您这一假设是否正确。P值告诉您的是：如果零假设成立，观察到与实际观察到的差异一样大或更大的情况会有多罕见。

科学家必须回答的问题是：该结果是否极不可能发生，以至于应当放弃零假设。

谬误：1-P 是重复实验时结果仍成立的概率

如果 P 值为 0.03，人们很容易误以为这意味着在重复实验时，有 97% 的概率会得到“类似”的结果。事实并非如此。

谬误：较高的P值证明了零假设成立。

不。较高的P值仅意味着：若零假设成立，观察到本实验中出现的处理效应并不令人意外。但这并不能证明零假设成立。

谬误：P值是拒绝零假设的概率

当某次实验的P值小于您在实验设计中（本应）设定的显著性水平α时，您便会拒绝零假设（并认为结果具有统计学显著性）。因此，如果零假设为真，α就是拒绝零假设的概率。

P值和α并非同一概念。P值是针对每次比较计算得出的，是证据强度的度量；而显著性水平α则是作为实验设计的一部分预先设定一次的。

 

1. RB Kline，《超越显著性检验：行为研究中数据分析方法的改革》，2004年，ISBN：1591471184