克莱因(1)列举了关于P值的常见谬误，我在此进行总结：

谬误：P值是结果归因于抽样误差的概率

P值的计算是基于零假设成立的假设。换言之，P值的计算是基于差异源于抽样误差这一假设。因此，P值无法告诉您结果源于抽样误差的概率。  

谬误：P值是零假设成立的概率

不，并非如此。P 值的计算是基于零假设成立的假设，因此它不可能是零假设成立的概率。

谬误：1-P 是备择假设成立的概率

如果 P 值为 0.03，人们很容易产生这样的想法：如果差异由随机偶然性造成的概率只有 3%，那么它由真实差异造成的概率就必须是 97%。但这是错误的！

您所能说的是：如果零假设成立，那么97%的实验所得差异将小于您观察到的差异，而3%的实验所得差异将与您观察到的差异相当或更大。

P值的计算基于零假设成立这一假设。P值无法告诉您该假设是否正确。P值告诉您，如果零假设成立，观察到与实际观察到的差异一样大或更大的情况有多么罕见。

科学家必须回答的问题是：该结果是否如此罕见，以至于应当放弃零假设。

谬误：1-P 是重复实验时结果成立的概率

如果P值为0.03，人们很容易误以为这意味着在重复实验时有97%的概率会得到“类似”的结果。事实并非如此。

谬误：较高的P值证明了零假设是成立的。

不。高P值意味着：若零假设成立，观察到本实验中的治疗效果并不令人意外。但这并不能证明零假设是正确的。

谬误：P值即拒绝零假设的概率

当某次实验的P值小于您在实验设计中（理应）设定的显著性水平α时，您便会拒绝零假设（并认为结果统计学显著）。因此，若零假设为真，α即为拒绝零假设的概率。

P值与α并非同一概念。P值是针对每次比较计算得出的，是证据强度的度量；而显著性水平α则是作为实验设计的一部分预先设定的。

 

1. RB Kline，《超越显著性检验：行为研究中数据分析方法的改革》，2004年，ISBN:1591471184