p値計算機

両側検定では、絶対値zより外側の面積を両方の裾で取ります。

p = 2 × (1 − Φ(|z|))

z = 1.96でp ≈ 0.05、z = 2.58でp ≈ 0.01です。片側検定は裾が1つなので、p値は半分になります。

帰無仮説が正しいとすれば、偶然だけで少なくともこの程度に極端な結果が出る確率が5%あるということです。

これは慣例で、自然法則ではありません。0.01を使う分野もあり、まったく別の基準を事前登録する分野もあります。

データを集める前に方向を決めていた場合を除き、両側です。両側は差があるかどうかを問い、片側は特定の方向に差があるかどうかを問います。

結果を見たあとで片側に切り替えると、実質的な偽陽性率が2倍になります。査読者が指摘するのはそのためです。

帰無仮説に反する十分な証拠が得られなかっただけで、帰無仮説が正しいという意味ではありません。標本が小さいと、実際の効果を見逃しやすくなります。

差がないと結論づける前に、サンプルサイズが十分だったかを確認してください。

厳密には0にはなりません。非常に大きなZスコアでは、p値が浮動小数点で0に丸められるほど小さくなります。慣例としてはp = 0ではなくp < 0.001と報告します。

統計的有意性計算機を使ってください。各パターンの訪問者数とコンバージョン数を入力すると、2標本割合のz検定を実行してp値を直接返します。

いいえ。計算はブラウザ内で行われます。