統計的有意性計算機

2標本割合のz検定を使います。両方のパターンでコンバージョン率をプールし、差の標準誤差を求め、観測された差をそれで割り、そのzを両側のp値に変換します。

pが0.05を下回れば、その差は慣例的に統計的に有意と呼ばれます。

2つのパターンの性能が本当に同じなら、これほど大きな差はまず出ないということです。差が大きいという意味でも、ビジネス上重要という意味でもありません。

導入を決める前に、p値の横のリフトを必ず読んでください。

基準となる率と、検出したい最小のリフトによります。低いベース率で小さな相対リフトを検出するには、パターンごとに数万人の訪問者が必要になることもあります。

サンプルサイズ計算機は、目標の誤差幅に対する出発点の数字を出します。

いいえ。繰り返し覗き見て最初に緑になった時点で止めると、偽陽性率は5%をかなり超えて上がります。

サンプルサイズを事前に決め、そこまで実施し、結果は一度だけ読んでください。

判定は標準の95%水準、つまりp < 0.05を使います。正確なp値は常に表示されるので、文脈に応じてより厳しい基準を当てはめられます。

パターンが異なるという十分な証拠がないということです。同じである証明ではありません。より大きなサンプルまで続けるか、実際の差があってもおそらく追う価値がないほど小さいと受け入れましょう。

そのままでは使えません。複数のパターンを同時に比べると偽陽性の確率が上がるため、補正か包括的な検定が必要です。カイ二乗計算機なら多パターンのコンバージョン表を扱えます。

いいえ。すべてブラウザ内で動きます。