Standart test
Havuzlanmış iki oranlı z-testi, yani çoğu A/B test platformunun kapak altında raporladığı şey.
Araçlar / İstatistiksel Anlamlılık Hesaplayıcı
İstatistiksel Anlamlılık Hesaplayıcı
İki varyant için ziyaretçi ve dönüşüm sayılarını girin. P-değerini, göreli artışı ve farkın anlamlı olup olmadığına dair açık bir cevabı alın.
z = (p̂B − p̂A) ÷ √( p̄(1 − p̄)(1/nA + 1/nB) )
Sonucu görmek için değerleri girin
- 1
A varyantını girin
Kontrolü gören ziyaretçiler ve bunlardan kaçının dönüşüm yaptığı.
- 2
B varyantını girin
Meydan okuyan için aynı iki sayı. Dönüşümler ziyaretçileri aşamaz.
- 3
Hükmü okuyun
Her iki dönüşüm oranını, göreli artışı, z istatistiğini, p-değerini ve 0,05'i geçip geçmediğini alırsınız.
Anlamlılık neden test edilir
B varyantının önde olması, B varyantının daha iyi olmasıyla aynı şey değildir. Bu araç gerçek bir farkı sıradan gürültüden ayırır.
Anlamlılığın yanında artış
Anlamlı bir %0,2 artış ile anlamsız bir %40 artış çok farklı kararlar gerektirir. İki sayı da gösterilir.
Eşik konusunda dürüst
Hüküm alışılmış 0,05 kesme noktasını kullanır ve bunu açıkça söyler, p-değerini bir rozetin arkasına saklamaz.
Neler test edilir
Açılış sayfası A/B testleri
İki sayfa sürümü arasında kayıt ya da satın alma oranlarını karşılaştırın.
E-posta konu satırları
Açılma ya da tıklama oranındaki farkın gürültüden fazlası olup olmadığını kontrol edin.
Anket sorusu ifadesi
Aynı sorunun iki farklı ifadesi arasında evet oranını karşılaştırın.
Havuzlanmış iki oranlı z-testi
z = (p̂_B − p̂_A) ÷ √( p̄(1 − p̄) × (1/n_A + 1/n_B) ) burada p̄ = (x_A + x_B) ÷ (n_A + n_B)
p̄ iki varyant genelindeki havuzlanmış dönüşüm oranıdır; sıfır hipotezi iki oranın eşit olduğunu söylediği için kullanılır. P-değeri, o z için çift kuyruklu normal olasılıktır.
Kazananı ilan etmeden önce
- Örneklem büyüklüğüne test başlamadan önce karar verin, sonra ona ulaşana kadar dokunmayın.
- Her gün bakıp yeşile döndüğü anda durdurmak, yanlış pozitiflerin canlıya çıkma biçimidir.
- Hafta içi ve hafta sonu trafiğinin ikisi de temsil edilsin diye tam haftalar boyunca çalıştırın.
- 30 dönüşüm üzerinde anlamlı bir sonuç kırılgandır. Yalnızca p-değerine değil, mutlak sayılara da bakın.
Anlamlılık ve dönüşüm oranı
Anlamlılık (bu sayfa)
- İki varyantı karşılaştırır
- Farkın gerçek olup olmadığını yanıtlar
- Hem ziyaretçi hem dönüşüm ister
Dönüşüm oranı hesaplayıcı
- Tek bir varyantı tarif eder
- Oranın kaç olduğunu yanıtlar
- Tek bir sayı çifti ister
İlgili hesaplayıcılar
Sıkça sorulan sorular
Bir A/B testi için istatistiksel anlamlılık nasıl hesaplanır?
İki oranlı z-testi kullanın. Dönüşüm oranlarını iki varyant genelinde havuzlayın, farkın standart hatasını hesaplayın, gözlenen farkı buna bölün ve o z'yi çift kuyruklu bir p-değerine çevirin.
p 0,05'in altındaysa fark alışılmış olarak istatistiksel anlamlı sayılır.
İstatistiksel anlamlı aslında ne demek?
İki varyant gerçekten aynı performansı gösterseydi bu büyüklükte bir farkın pek olası olmayacağı demek. Farkın büyük olduğu ya da ticari olarak önemli olduğu anlamına gelmez.
Canlıya almaya karar vermeden önce artışı her zaman p-değerinin yanında okuyun.
Varyant başına kaç ziyaretçi gerekir?
Taban oranınıza ve tespit etmeye değer en küçük artışa bağlı. Düşük bir taban oranda küçük bir göreli artışı yakalamak varyant başına on binlerce ziyaretçi alabilir.
Örneklem büyüklüğü hesaplayıcı hedeflenen bir hata payı için başlangıç rakamı verir.
Anlamlılığa ulaşır ulaşmaz testi durdurabilir miyim?
Hayır. Tekrar tekrar bakıp ilk yeşil sonuçta durmak yanlış pozitif oranınızı %5'in epey üstüne çıkarır.
Örneklem büyüklüğünü önceden belirleyin, ona kadar çalıştırın, sonra sonucu bir kez okuyun.
Bu hangi güven seviyesini kullanıyor?
Hüküm standart %95 seviyesini, yani p < 0,05'i kullanır. Tam p-değeri her zaman gösterilir, böylece bağlamınız gerektiriyorsa daha katı bir eşik uygulayabilirsiniz.
Testim anlamlı çıkmazsa ne olur?
Varyantların farklı olduğuna dair yeterli kanıtınız yok demektir. Bu, aynı oldukları kanıtı değildir. Ya daha büyük bir örnekleme kadar çalıştırmaya devam edin ya da gerçek farkın peşine düşmeye değmeyecek kadar küçük olduğunu kabul edin.
Bu ikiden fazla varyant için çalışır mı?
Doğrudan hayır. Aynı anda birkaç varyantı karşılaştırmak yanlış pozitif şansını yükseltir, yani bir düzeltmeye ya da genel bir teste ihtiyacınız olur. Ki-kare hesaplayıcı çok varyantlı bir dönüşüm tablosunu işler.
Sayılarım kaydediliyor mu?
Hayır. Her şey tarayıcınızda çalışır.
Taze anket yanıtları mı topluyorsunuz? Deneyin Formms kısa bağlantı ve QR'li bir form için.
Sonraki adım olarak yanıtları telefonunuzda toplayın.
Formms anketi bir prompttan kurar, sonra sayıları her an bu hesaplayıcılara geri yapıştırabilirsiniz.
Demo forma bak →