A/B-tests bij weinig verkeer: wat er tóch mogelijk is

Het belangrijkste kort

Onder ongeveer 1.000 doelhandelingen per variant zijn A/B-uitkomsten niet van toeval te scheiden – bij kleine websites dus praktisch nooit.
Vijf werkwijzen werken toch wel: gebruikers observeren, de vierseconden-test, voor-en-na over kwartalen, afhaakpunten en de vraag in het eerste gesprek.
Bij weinig verkeer lonen grote veranderingen in plaats van kleine – een nieuwe opbouw, niet een andere knopkleur.
Wie toch wil A/B-testen, test op e-maillijsten in plaats van op de website: daar zijn de aantallen vaak wel toereikend.

Waarom het rekenkundig niet kan

Een test moet laten zien of een verandering werkt of dat het verschil toeval is. Hoeveel gevallen daarvoor nodig zijn, hangt van twee dingen af: de uitgangswaarde en de omvang van het verwachte verschil.

Een voorbeeld maakt de orde van grootte duidelijk: bij een uitgangswaarde van 3 procent en een gehoopte stijging naar 3,6 procent – dus 20 procent relatieve verbetering – zijn er per variant meerdere duizenden bezoekers nodig om het verschil betrouwbaar van toeval te scheiden. Bij 300 bezoekers per maand zou de test pas na jaren iets zeggen, en tegen die tijd is het aanbod veranderd.

Let op Een test die te vroeg wordt beëindigd omdat één variant „voorligt“, is geen test maar een bevestiging van wat je toch al aannam. Bij kleine aantallen wisselt de koppositie regelmatig – wie afbreekt bij het gewenste resultaat, vindt er altijd een.

De vijf werkwijzen die wel werken

1. Vijf mensen bekijken

Uit de doelgroep, met een opdracht, zonder uitleg. Waar ze aarzelen, zit de fout. Vijf personen leggen het grootste deel van de grove problemen bloot.

Inspanning: 2 uur · Zeggingskracht: hoog voor bedienbaarheid

2. De vierseconden-test

Pagina tonen, na vier seconden sluiten, vragen: waar ging het over, voor wie is het, wat zou je moeten doen? Wie dat niet kan beantwoorden, heeft het kopgedeelte niet begrepen.

Inspanning: 30 minuten · Zeggingskracht: hoog voor de instap

3. Voor-en-na over kwartalen

Eén grote verandering, dan drie maanden meten en vergelijken met de drie maanden ervoor. Onnauwkeurig, omdat andere invloeden meespelen – maar bij grote veranderingen bruikbaar.

Inspanning: gering · Zeggingskracht: middelmatig

4. Afhaakpunten meten

Waar eindigt het scrollen, waar wordt het formulier afgebroken? Toont niet wat beter zou zijn – maar wel heel precies waar het probleem zit.

Inspanning: eenmalige inrichting · Zeggingskracht: hoog voor de plaatsbepaling

5. De vraag in het eerste gesprek

„Wat heeft u ertoe gebracht ons te schrijven – en wat had u er bijna van weerhouden?“ Het tweede deel is het waardevolle.

Inspanning: geen · Zeggingskracht: hoog, mits regelmatig gevraagd

Wist je dat?

Bij weinig verkeer lonen grote veranderingen in plaats van kleine – en wel om rekenkundige redenen: hoe groter het werkelijke verschil, hoe minder gevallen er nodig zijn om het te herkennen.

Een andere knopkleur verandert de waarde met een paar procent en is bij kleine aantallen principieel niet aan te tonen. Een volstrekt andere pagina-opbouw kan de waarde verdubbelen – en dat zie je ook bij 300 bezoekers. Wie weinig verkeer heeft, zou moediger moeten veranderen, niet voorzichtiger.

Waar A/B-tests ook bij kleine bedrijven kunnen

Plek	Haalbaar?	Opmerking
Onderwerpregels in e-mailverzending	ja	vanaf enkele honderden ontvangers al grofweg bruikbaar
Advertentieteksten	ja	veel vertoningen, snelle terugkoppeling
Startpagina	zelden	te weinig doelhandelingen
Contactformulier	nee	te weinig inzendingen
Prijzenpagina	nee	te weinig gevallen, te veel spreiding

Uit de praktijk

De eerlijkste omgang met kleine aantallen is de beslissing niet als testuitkomst presenteren. Als een verandering om goede redenen zinvol lijkt – een korter formulier, een duidelijker kopgedeelte, een prijs in plaats van geen –, voer haar dan door en schrijf erbij waarop jullie de verwachting baseren.

Na drie maanden kijken jullie of het aantal binnenkomende aanvragen is bewogen, en weten: dat is een aanwijzing, geen bewijs. Die eerlijkheid is meer waard dan een test waarvan de uitkomst een muntworp is – omdat ze voorkomt dat een toevallig getal de grondslag wordt van de volgende beslissing.

Prompt

Help me beslissen hoe ik een verandering aan onze website
kan beoordelen.

Onze cijfers:
- Bezoekers per maand op de betreffende pagina: [aantal]
- Doelhandelingen per maand op deze pagina: [aantal]
- Wat ik wil veranderen: [beschrijving]
- Hoe groot verwacht ik de werking: [schatting]

Opdrachten:
1. Zeg me of bij onze cijfers een A/B-test iets zou zeggen.
   Reken met een vuistregel en toon de overweging.
   Zo nee, zeg het duidelijk.
2. Beveel uit de vijf alternatieven – gebruikers observeren,
   vierseconden-test, voor-en-na over kwartalen,
   afhaakpunten, vraag in het eerste gesprek – de twee aan die bij
   mijn verandering passen. Onderbouw dat.
3. Beoordeel of mijn geplande verandering groot genoeg is om
   bij onze cijfers überhaupt zichtbaar te worden. Zo niet,
   stel dan een moediger versie voor.
4. Formuleer voor de vierseconden-test de drie vragen die
   ik zou moeten stellen.
5. Formuleer een zin voor onze rapportage die eerlijk zegt
   wat het resultaat zal tonen en wat niet.

Verzin geen vergelijkingswaarden uit de branche.

Conclusie

Bij kleine aantallen is de klassieke A/B-test geen gereedschap, maar een toevalsmachine met een wetenschappelijk laagje. Wie hem toch inzet, neemt beslissingen op basis van ruis.

Wat wel werkt: vijf mensen bekijken, de vierseconden-test, afhaakpunten, de vraag in het eerste gesprek – en moedige in plaats van voorzichtige veranderingen, omdat grote verschillen ook bij weinig gevallen zichtbaar worden.

Veelgestelde vragen

Vanaf wanneer zeggen A/B-tests iets?

Als orde van grootte zijn er per variant meerdere duizenden bezoekers nodig wanneer een gebruikelijke uitgangswaarde van enkele procenten met ongeveer een vijfde moet verbeteren. Bij 300 bezoekers per maand zou zo'n test pas na jaren iets zeggen – en tegen die tijd is het aanbod veranderd.

Wat doe je in plaats daarvan?

Vijf werkwijzen: vijf mensen uit de doelgroep bekijken tijdens het gebruik, de vierseconden-test voor het kopgedeelte, een voor-en-na over kwartalen bij grote veranderingen, het meten van afhaakpunten, en de vraag in het eerste gesprek wat iemand er bijna van had weerhouden.

Waarom zou je bij weinig verkeer moediger moeten veranderen?

Omdat grotere werkelijke verschillen minder gevallen nodig hebben om herkend te worden. Een andere knopkleur is bij kleine aantallen principieel niet aan te tonen; een volstrekt andere pagina-opbouw kan de waarde verdubbelen – en dat zie je ook bij een paar honderd bezoekers.

Waar werken A/B-tests ook bij kleine bedrijven?

Bij onderwerpregels in e-mailverzending, waar enkele honderden ontvangers al grove aanwijzingen leveren, en bij advertentieteksten met veel vertoningen. Op de website – startpagina, contactformulier, prijzenpagina – volstaan de doelhandelingen in de regel niet.

Mag je een test afbreken wanneer één variant voorligt?

Nee. Bij kleine aantallen wisselt de koppositie regelmatig; wie afbreekt bij het gewenste resultaat, vindt er altijd een. Dat is dan geen test, maar een bevestiging van de eigen aanname – en het toevallige getal wordt de grondslag van de volgende beslissing.