A/B-test med lidt trafik

Det vigtigste kort

Under omkring 1.000 målhandlinger pr. variant kan A/B-resultater ikke skilles fra tilfældighed – ved små websites altså praktisk talt aldrig.
Fem fremgangsmåder virker alligevel: brugerobservation, firesekunderstesten, før-og-efter over kvartaler, frafaldspunkter og spørgsmålet i den første samtale.
Ved lidt trafik betaler store ændringer sig frem for små – en ny opbygning, ikke en anden knapfarve.
Den, der alligevel vil A/B-teste, tester på e-maillister i stedet for på websitet: dér er tallene ofte tilstrækkelige.

Hvorfor det regnemæssigt ikke går

En test skal vise, om en ændring virker, eller om forskellen er tilfældig. Hvor mange tilfælde det kræver, afhænger af to ting: udgangsraten og størrelsen af den forventede forskel.

Et eksempel gør størrelsesordenen tydelig: ved en udgangsrate på 3 procent og en håbet stigning til 3,6 procent – altså 20 procents relativ forbedring – kræves der flere tusinde besøgende pr. variant for at skille forskellen pålideligt fra tilfældighed. Ved 300 besøgende om måneden ville testen først sige noget efter år, og til den tid har tilbuddet ændret sig.

Bemærk En test, der afsluttes for tidligt, fordi en variant »ligger forrest«, er ikke en test, men en bekræftelse af det, man alligevel antog. Ved små tal skifter føringen jævnligt – den, der afbryder ved det ønskede resultat, finder altid et.

De fem fremgangsmåder, der virker

1. Se fem mennesker over skulderen

Fra målgruppen, med en opgave, uden forklaring. Dér hvor de tøver, ligger fejlen. Fem personer afdækker hovedparten af de grove problemer.

Indsats: 2 timer · Udsagnskraft: høj for brugervenlighed

2. Firesekunderstesten

Vis siden, luk efter fire sekunder, spørg: Hvad handlede det om, hvem er det til, hvad burde man gøre? Den, der ikke kan besvare det, har ikke forstået hovedområdet.

Indsats: 30 minutter · Udsagnskraft: høj for indgangen

3. Før og efter over kvartaler

Én stor ændring, så tre måneders måling sammenlignet med de tre måneder inden. Upræcist, fordi andre påvirkninger spiller ind – men brugbart ved store ændringer.

Indsats: lav · Udsagnskraft: middel

4. Mål frafaldspunkterne

Hvor ender rulningen, hvor afbrydes formularen? Viser ikke, hvad der ville være bedre – men meget præcist, hvor problemet sidder.

Indsats: opsætning én gang · Udsagnskraft: høj til stedfæstelse

5. Spørgsmålet i den første samtale

»Hvad fik jer til at skrive til os – og hvad havde nær afholdt jer fra det?« Den anden del er den værdifulde.

Indsats: ingen · Udsagnskraft: høj, når der spørges regelmæssigt

Vidste du det?

Ved lidt trafik betaler store ændringer sig frem for små – og det af regnemæssige grunde: jo større den faktiske forskel er, desto færre tilfælde kræves der for at få øje på den.

En anden knapfarve ændrer raten med få procent og kan ved små tal principielt ikke påvises. En helt anden sideopbygning kan fordoble raten – og det ser man også ved 300 besøgende. Den, der har lidt trafik, bør ændre modigere, ikke mere forsigtigt.

Hvor A/B-test også går i små virksomheder

Sted	Muligt?	Bemærkning
Emnelinjer i e-mailudsendelsen	ja	groft brugbart allerede fra nogle hundrede modtagere
Annoncetekster	ja	mange visninger, hurtig tilbagemelding
Forside	sjældent	for få målhandlinger
Kontaktformular	nej	for få indsendelser
Prisside	nej	for få tilfælde, for stor spredning

Fra praksis

Den ærligste omgang med små tal er ikke at udgive beslutningen for et testresultat. Når en ændring af gode grunde forekommer fornuftig – kortere formular, klarere hovedområde, en pris i stedet for ingen – så gennemfør den og skriv ved siden af, hvad I bygger forventningen på.

Efter tre måneder ser I, om tilgangstallet har rykket sig, og ved: det er et fingerpeg, ikke et bevis. Den ærlighed er mere værd end en test, hvis resultat er et møntkast – fordi den forhindrer, at et tilfældigt tal bliver grundlag for den næste beslutning.

Prompt

Hjælp mig med at afgøre, hvordan jeg kan vurdere en ændring på vores
website.

Vores tal:
- Besøgende pr. måned på den berørte side: [antal]
- Målhandlinger pr. måned på denne side: [antal]
- Hvad jeg vil ændre: [beskrivelse]
- Hvor stor forventer jeg virkningen: [skøn]

Opgaver:
1. Sig mig, om en A/B-test ved vores tal ville sige
   noget. Regn med en tommelfingerstørrelse og vis overvejelsen.
   Hvis nej, så sig det tydeligt.
2. Anbefal blandt de fem alternativer – brugerobservation,
   firesekunderstesten, før og efter over kvartaler,
   frafaldspunkter, spørgsmålet i den første samtale – de to, der passer til
   min ændring. Begrund det.
3. Bedøm, om min planlagte ændring er stor nok til
   overhovedet at blive synlig ved vores tal. Hvis ikke,
   så foreslå en modigere udgave.
4. Formulér de tre spørgsmål til firesekunderstesten, som
   jeg bør stille.
5. Formulér en sætning til vores rapport, der ærligt siger,
   hvad resultatet vil vise, og hvad det ikke vil vise.

Opfind ingen sammenligningstal fra branchen.

Konklusion

Ved små tal er den klassiske A/B-test ikke et værktøj, men en tilfældighedsmaskine med videnskabeligt skær. Den, der alligevel bruger den, træffer beslutninger på grundlag af støj.

Det, der virker: se fem mennesker over skulderen, firesekunderstesten, frafaldspunkter, spørgsmålet i den første samtale – og modige frem for forsigtige ændringer, fordi store forskelle bliver synlige også ved få tilfælde.

Ofte stillede spørgsmål

Fra hvornår siger A/B-test noget?

Som størrelsesorden kræves der flere tusinde besøgende pr. variant, hvis en typisk udgangsrate på få procent skal forbedres med omkring en femtedel. Ved 300 besøgende om måneden ville en sådan test først sige noget efter år – og til den tid har tilbuddet ændret sig.

Hvad gør man i stedet?

Fem fremgangsmåder: se fem mennesker fra målgruppen bruge siden, firesekunderstesten om hovedområdet, en før-og-efter over kvartaler ved store ændringer, målingen af frafaldspunkter, og spørgsmålet i den første samtale om, hvad der nær havde afholdt dem fra det.

Hvorfor bør man ændre modigere ved lidt trafik?

Fordi større faktiske forskelle kræver færre tilfælde for at blive genkendt. En anden knapfarve kan ved små tal principielt ikke påvises; en helt anden sideopbygning kan fordoble raten – og det ser man også ved nogle få hundrede besøgende.

Hvor virker A/B-test også i små virksomheder?

Ved emnelinjer i e-mailudsendelsen, hvor allerede nogle hundrede modtagere giver grove fingerpeg, og ved annoncetekster med mange visninger. På websitet – forside, kontaktformular, prisside – rækker målhandlingerne som regel ikke.

Må man afbryde en test, når en variant fører?

Nej. Ved små tal skifter føringen jævnligt; den, der afbryder ved det ønskede resultat, finder altid et. Så er det ikke en test, men en bekræftelse af ens egen antagelse – og det tilfældige tal bliver grundlag for den næste beslutning.