De formule
Hoe je statistische significantie berekent
Dit is de gangbare twee-proporties z-toets waarmee wordt bepaald of het resultaat van een A/B-test echt is of ruis. De toets vergelijkt het waargenomen verschil met hoeveel verschil toeval alleen zou opleveren.
De staartkans van de normale verdeling wordt hier berekend met de reeks van Zelen en Severo, nauwkeurig tot ongeveer zeven decimalen — dezelfde methode die statistiekpakketten gebruiken wanneer er geen exacte routine beschikbaar is.
Waarom statistische significantie belangrijk is
Zonder deze toets is elk verschil tussen twee percentages een gok: is variant B echt beter, of is het toeval dat met een andere steekproef net zo goed andersom had kunnen uitpakken? De z-score en p-waarde geven daar een objectief antwoord op, wat A/B-tests bruikbaar maakt voor beslissingen.
Rekenvoorbeeld
Met een conversiepercentage van 4,2% op 5200 bezoekers in de controlegroep en 5,1% op 5150 bezoekers in de variant: de z-score wordt (0,051 − 0,042) ÷ √(0,042 × 0,958 ÷ 5200 + 0,051 × 0,949 ÷ 5150) ≈ 2,1742. De bijbehorende tweezijdige p-waarde is ongeveer 0,0297 (2,97%), onder de gangbare grens van 0,05. De relatieve stijging is (5,1 ÷ 4,2 − 1) × 100 ≈ 21,4286%.
De uitkomst interpreteren
Een p-waarde onder 0,05 is de conventionele grens voor significantie, wat overeenkomt met een z-score voorbij ±1,96. Het betekent dat een verschil van deze grootte door toeval minder dan 5% van de tijd zou optreden als beide varianten identiek waren.
De test herhaaldelijk controleren en stoppen zodra hij significant wordt, laat het percentage vals-positieve resultaten sterk oplopen. Leg de steekproefgrootte vooraf vast, of gebruik een sequentiële testmethode die is ontworpen voor doorlopende monitoring.
Dat het waargenomen verschil onwaarschijnlijk puur door toeval is ontstaan. Het zegt niets over of het verschil groot genoeg is om commercieel de moeite waard te zijn.
Tot de vooraf berekende steekproefgrootte is bereikt, en minstens één volledige week om dag-van-de-week-effecten mee te nemen. Vroegtijdig stoppen bij een veelbelovend resultaat is de meest voorkomende manier om tot een verkeerde conclusie te komen.