통계적 유의성 계산기

두 비율 z 검정을 씁니다. 두 안의 전환율을 풀링하고, 차이의 표준오차를 구하고, 관측된 차이를 그것으로 나눈 뒤, 그 z를 양측 p값으로 바꿉니다.

p가 0.05보다 작으면 그 차이를 관례적으로 통계적으로 유의하다고 합니다.

두 안의 성과가 정말 같다면 이만큼 큰 차이는 나오기 어렵다는 뜻입니다. 차이가 크다는 뜻도, 사업적으로 중요하다는 뜻도 아닙니다.

배포를 결정하기 전에 p값 옆의 리프트를 항상 함께 읽으세요.

기준 비율과 감지할 만한 최소 리프트에 달려 있습니다. 낮은 기준 비율에서 작은 상대 리프트를 감지하려면 안마다 수만 명의 방문자가 필요할 수 있습니다.

표본 크기 계산기가 목표 오차 한계에 대한 출발 수치를 줍니다.

아니요. 반복해서 들여다보고 처음 초록이 뜬 순간 멈추면 거짓 양성률이 5%를 훨씬 넘습니다.

표본 크기를 미리 정하고, 그만큼 돌리고, 결과는 한 번만 읽으세요.

판정은 표준 95% 수준, 즉 p < 0.05를 씁니다. 정확한 p값이 항상 표시되므로 상황에 따라 더 엄격한 기준을 적용할 수 있습니다.

두 안이 다르다는 증거가 충분하지 않다는 뜻입니다. 같다는 증명은 아닙니다. 더 큰 표본까지 계속 돌리거나, 실제 차이가 있더라도 쫓을 가치가 없을 만큼 작다는 점을 받아들이세요.

바로는 안 됩니다. 여러 안을 한꺼번에 비교하면 거짓 양성 확률이 올라가므로 보정이나 총괄 검정이 필요합니다. 카이제곱 계산기가 다중 안 전환 표를 처리합니다.

아니요. 모든 계산이 브라우저에서 이루어집니다.