Standardowy test
Test z dla dwóch proporcji z połączonym oszacowaniem, czyli to, co pod spodem raportuje większość platform do testów A/B.
Narzędzia / Kalkulator istotności statystycznej
Kalkulator istotności statystycznej
Wpisz odwiedzających i konwersje dla obu wariantów. Otrzymasz wartość p, względny przyrost i prostą odpowiedź, czy różnica jest istotna.
z = (p̂B − p̂A) ÷ √( p̄(1 − p̄)(1/nA + 1/nB) )
Wpisz wartości, by zobaczyć wynik
- 1
Wpisz wariant A
Odwiedzający, którzy zobaczyli wersję kontrolną, i ilu z nich dokonało konwersji.
- 2
Wpisz wariant B
Te same dwie liczby dla pretendenta. Konwersje nie mogą przekraczać liczby odwiedzających.
- 3
Odczytaj werdykt
Dostajesz oba współczynniki konwersji, względny przyrost, statystykę z, wartość p oraz to, czy przekracza 0,05.
Po co badać istotność
To, że wariant B prowadzi, nie znaczy jeszcze, że wariant B jest lepszy. To narzędzie oddziela realną różnicę od zwykłego szumu.
Przyrost obok istotności
Istotny przyrost 0,2% i nieistotny przyrost 40% wymagają zupełnie innych decyzji. Pokazujemy obie liczby.
Uczciwie wobec progu
Werdykt korzysta z konwencjonalnej granicy 0,05 i wprost to mówi, zamiast chować wartość p za odznaką.
Co warto testować
Testy A/B stron docelowych
Porównaj wskaźniki rejestracji albo zakupów między dwiema wersjami strony.
Tematy wiadomości e-mail
Sprawdź, czy różnica w otwarciach albo kliknięciach to coś więcej niż szum.
Brzmienie pytań w ankiecie
Porównaj odsetek odpowiedzi tak przy dwóch sformułowaniach tego samego pytania.
Test z dla dwóch proporcji z połączonym oszacowaniem
z = (p̂_B − p̂_A) ÷ √( p̄(1 − p̄) × (1/n_A + 1/n_B) ) gdzie p̄ = (x_A + x_B) ÷ (n_A + n_B)
p̄ to połączony współczynnik konwersji obu wariantów, używany dlatego, że hipoteza zerowa mówi o równości obu wskaźników. Wartość p to dwustronne prawdopodobieństwo normalne dla tego z.
Zanim ogłosisz zwycięzcę
- Ustal wielkość próby przed startem testu, a potem jej nie ruszaj, dopóki jej nie osiągniesz.
- Codzienne zaglądanie i zatrzymywanie testu, gdy tylko zrobi się zielono, to prosta droga do wdrażania fałszywych wyników.
- Prowadź test przez pełne tygodnie, żeby ruch z dni roboczych i weekendów był reprezentowany.
- Istotny wynik na 30 konwersjach jest kruchy. Patrz na liczby bezwzględne, nie tylko na wartość p.
Istotność a współczynnik konwersji
Istotność (ta strona)
- Porównuje dwa warianty
- Odpowiada, czy różnica jest realna
- Potrzebuje odwiedzających i konwersji
Kalkulator współczynnika konwersji
- Opisuje jeden wariant
- Odpowiada, ile wynosi wskaźnik
- Potrzebuje jednej pary liczb
Powiązane kalkulatory
Często zadawane pytania
Jak obliczyć istotność statystyczną dla testu A/B?
Użyj testu z dla dwóch proporcji. Połącz współczynniki konwersji obu wariantów, policz błąd standardowy różnicy, podziel przez niego zaobserwowaną różnicę i zamień to z na dwustronną wartość p.
Jeśli p jest poniżej 0,05, różnicę zwyczajowo nazywa się istotną statystycznie.
Co właściwie znaczy istotny statystycznie?
Że tak duża różnica byłaby mało prawdopodobna, gdyby oba warianty działały naprawdę tak samo. Nie znaczy to, że różnica jest duża ani że ma znaczenie biznesowe.
Zanim zdecydujesz o wdrożeniu, zawsze przeczytaj przyrost obok wartości p.
Ilu odwiedzających potrzebuję na wariant?
To zależy od bazowego wskaźnika i od najmniejszego przyrostu, który warto wykryć. Wykrycie małego względnego przyrostu przy niskiej bazie może wymagać dziesiątek tysięcy odwiedzających na wariant.
Kalkulator wielkości próby podaje punkt wyjścia dla docelowego marginesu błędu.
Czy mogę przerwać test, gdy tylko osiągnie istotność?
Nie. Ciągłe zaglądanie i zatrzymywanie się przy pierwszym zielonym wyniku podnosi odsetek fałszywie dodatnich znacznie powyżej 5%.
Ustal wielkość próby z góry, dobij do niej, a potem odczytaj wynik raz.
Jakiego poziomu ufności to używa?
Werdykt korzysta ze standardowego poziomu 95%, czyli p < 0,05. Dokładna wartość p jest zawsze widoczna, więc możesz zastosować ostrzejszy próg, jeśli Twój kontekst tego wymaga.
Co, jeśli mój test nie jest istotny?
Nie masz dość dowodów, że warianty się różnią. To nie jest dowód, że są takie same. Albo prowadź test dalej do większej próby, albo przyjmij, że ewentualna realna różnica jest zbyt mała, by ją gonić.
Czy to działa dla więcej niż dwóch wariantów?
Nie bezpośrednio. Porównywanie kilku wariantów naraz zwiększa szansę fałszywie dodatniego wyniku, więc potrzebna jest poprawka albo test ogólny. Kalkulator chi kwadrat obsługuje tabelę konwersji z wieloma wariantami.
Czy moje liczby są zapisywane?
Nie. Wszystko dzieje się w Twojej przeglądarce.
Zbierasz świeże odpowiedzi z ankiety? Wypróbuj Formms dla formularza z krótkim linkiem i QR.
Zbieraj odpowiedzi na telefonie jako następny krok.
Formms buduje ankietę z promptu, a potem możesz wkleić liczby z powrotem do tych kalkulatorów w każdej chwili.
Zobacz formularz demo →