Il test standard
Un test z su due proporzioni con varianza aggregata, che è ciò che la maggior parte delle piattaforme di test A/B calcola dietro le quinte.
Strumenti / Calcolatore significatività statistica
Calcolatore significatività statistica
Inserisci visitatori e conversioni per entrambe le varianti. Ottieni il valore p, l'incremento relativo e una risposta netta sulla significatività della differenza.
z = (p̂B − p̂A) ÷ √( p̄(1 − p̄)(1/nA + 1/nB) )
Inserisci valori per vedere il risultato
- 1
Inserisci la variante A
I visitatori che hanno visto il controllo e quanti di loro hanno convertito.
- 2
Inserisci la variante B
Gli stessi due numeri per la sfidante. Le conversioni non possono superare i visitatori.
- 3
Leggi il verdetto
Ottieni entrambi i tassi di conversione, l'incremento relativo, la statistica z, il valore p e se supera 0,05.
Perché verificare la significatività
Che la variante B sia avanti non è come dire che la variante B sia migliore. Questo separa una differenza reale dal rumore ordinario.
Incremento accanto alla significatività
Un incremento significativo dello 0,2% e uno non significativo del 40% richiedono decisioni molto diverse. Vengono mostrati entrambi i numeri.
Onesto sulla soglia
Il verdetto usa la soglia convenzionale di 0,05 e lo dichiara, invece di nascondere il valore p dietro un'etichetta.
Cosa verificare
Test A/B su landing page
Confronta i tassi di iscrizione o acquisto tra due versioni di pagina.
Oggetti delle email
Verifica se una differenza nel tasso di apertura o di clic è più che rumore.
Formulazione delle domande di sondaggio
Confronta il tasso di sì tra due formulazioni della stessa domanda.
Test z aggregato su due proporzioni
z = (p̂_B − p̂_A) ÷ √( p̄(1 − p̄) × (1/n_A + 1/n_B) ) dove p̄ = (x_A + x_B) ÷ (n_A + n_B)
p̄ è il tasso di conversione aggregato tra le due varianti, usato perché l'ipotesi nulla è che i due tassi siano uguali. Il valore p è la probabilità normale a due code per quello z.
Prima di dichiarare un vincitore
- Decidi la dimensione campionaria prima che il test inizi, poi non toccarla finché non la raggiungi.
- Controllare ogni giorno e fermarsi appena diventa verde è il modo in cui si spediscono falsi positivi.
- Fai girare il test per settimane intere così traffico feriale e del fine settimana sono entrambi rappresentati.
- Un risultato significativo su 30 conversioni è fragile. Guarda i conteggi assoluti, non solo il valore p.
Significatività contro tasso di conversione
Significatività (questa pagina)
- Confronta due varianti
- Risponde se il divario è reale
- Richiede visitatori e conversioni
Calcolatore tasso di conversione
- Descrive una variante
- Risponde a quanto vale il tasso
- Richiede una coppia di numeri
Calcolatori correlati
Domande frequenti
Come si calcola la significatività statistica di un test A/B?
Usa un test z su due proporzioni. Aggrega i tassi di conversione tra le due varianti, calcola l'errore standard della differenza, dividi la differenza osservata per esso e converti quello z in un valore p a due code.
Se p è sotto 0,05, la differenza si dice convenzionalmente statisticamente significativa.
Cosa significa davvero statisticamente significativo?
Che una differenza così ampia sarebbe improbabile se le due varianti rendessero davvero allo stesso modo. Non significa che la differenza sia grande o che conti sul piano commerciale.
Leggi sempre l'incremento accanto al valore p prima di decidere di rilasciare.
Quanti visitatori mi servono per variante?
Dipende dal tuo tasso di base e dal più piccolo incremento che vale la pena rilevare. Rilevare un piccolo incremento relativo su un tasso di base basso può richiedere decine di migliaia di visitatori per variante.
Il calcolatore dimensione campione dà una cifra di partenza per un margine di errore obiettivo.
Posso fermare il test appena raggiunge la significatività?
No. Sbirciare ripetutamente e fermarsi al primo risultato verde gonfia il tuo tasso di falsi positivi ben oltre il 5%.
Fissa in anticipo la dimensione campionaria, arrivaci e poi leggi il risultato una volta sola.
Quale livello di confidenza usa?
Il verdetto usa il livello standard del 95%, cioè p < 0,05. Il valore p esatto è sempre mostrato, così puoi applicare una soglia più severa se il tuo contesto lo richiede.
E se il mio test non è significativo?
Non hai prove sufficienti che le varianti differiscano. Non è la prova che siano uguali. O continui fino a un campione più grande o accetti che una differenza reale sia probabilmente troppo piccola per valere la pena.
Funziona per più di due varianti?
Non direttamente. Confrontare più varianti insieme alza la probabilità di un falso positivo, quindi serve un aggiustamento o un test complessivo. Il calcolatore chi quadrato gestisce una tabella di conversioni multivariante.
I miei numeri vengono conservati?
No. Tutto gira nel tuo browser.
Raccogli risposte fresche a un sondaggio? Prova Formms per un modulo con link corto e QR.
Raccogli le risposte sul telefono ora.
Formms costruisce il sondaggio da un prompt, poi puoi incollare i conteggi in questi calcolatori quando vuoi.
Vedi un modulo demo →