A/B-tester vid lite trafik: vad som ändå går

Det viktigaste

Under ungefär 1 000 målhandlingar per variant går A/B-resultat inte att skilja från slump – vid små webbplatser alltså praktiskt taget aldrig.
Fem förfaranden fungerar ändå: användarobservation, fyrasekunderstestet, före-efter över kvartal, avhoppspunkter och frågan i det första samtalet.
Vid lite trafik lönar sig stora ändringar i stället för små – en ny uppbyggnad, inte en annan knappfärg.
Den som ändå vill A/B-testa testar på e-postlistor i stället för på webbplatsen: där räcker talen ofta.

Varför det räknemässigt inte går

Ett test ska visa om en ändring verkar eller om skillnaden är slump. Hur många fall som krävs för det beror på två saker: utgångsfrekvensen och storleken på den väntade skillnaden.

Ett exempel tydliggör storleksordningen: vid en utgångsfrekvens på 3 procent och en förhoppning om en uppgång till 3,6 procent – alltså 20 procents relativ förbättring – krävs det flera tusen besökare per variant för att tillförlitligt skilja skillnaden från slump. Vid 300 besökare i månaden skulle testet vara talande först efter år, och till dess har erbjudandet ändrats.

Observera Ett test som avslutas för tidigt för att en variant «ligger före» är inget test, utan en bekräftelse av det man ändå antog. Vid små tal skiftar ledningen regelbundet – den som avbryter vid det önskade resultatet hittar alltid ett.

De fem förfaranden som fungerar

1. Titta på när fem människor gör det

Ur målgruppen, med en uppgift, utan förklaring. Där de tvekar ligger felet. Fem personer avslöjar merparten av de grova problemen.

Insats: 2 timmar · Bärkraft: hög för användbarhet

2. Fyrasekunderstestet

Visa sidan, stäng efter fyra sekunder, fråga: vad handlade det om, för vem är det, vad borde man göra? Den som inte kan svara på det har inte förstått huvudpartiet.

Insats: 30 minuter · Bärkraft: hög för ingången

3. Före-efter över kvartal

En stor ändring, sedan mäta i tre månader och jämföra med de tre månaderna dessförinnan. Oprecist, eftersom andra inflytanden spelar in – men användbart vid stora ändringar.

Insats: låg · Bärkraft: medel

4. Mäta avhoppspunkter

Var slutar rullningen, var avbryts formuläret? Visar inte vad som vore bättre – men mycket exakt var problemet sitter.

Insats: uppsättning en gång · Bärkraft: hög för lokalisering

5. Frågan i det första samtalet

«Vad fick er att skriva till oss – och vad hade nästan hindrat er från det?» Den andra delen är den värdefulla.

Insats: ingen · Bärkraft: hög, om den ställs regelbundet

Visste du att…?

Vid lite trafik lönar sig stora ändringar i stället för små – och det av räknemässiga skäl: ju större den faktiska skillnaden är, desto färre fall krävs för att känna igen den.

En annan knappfärg ändrar frekvensen med några få procent och går vid små tal principiellt inte att påvisa. En helt annan sidstruktur kan fördubbla frekvensen – och det syns även vid 300 besökare. Den som har lite trafik bör ändra modigare, inte försiktigare.

Var A/B-tester går även hos små företag

Plats	Görbart?	Anmärkning
Ämnesrader i e-postutskick	ja	grovt användbart redan från några hundra mottagare
Annonstexter	ja	många visningar, snabb återkoppling
Startsida	sällan	för få målhandlingar
Kontaktformulär	nej	för få insändningar
Prissida	nej	för få fall, för hög spridning

Från praktiken

Det ärligaste sättet att hantera små tal är att inte utge beslutet för ett testresultat. Om en ändring av goda skäl framstår som vettig – kortare formulär, tydligare huvudparti, ett pris i stället för inget – genomför den och skriv till vad ni grundar förväntan på.

Efter tre månader ser ni om tillflödestalet har rört sig, och vet: det är en ledtråd, inget bevis. Den ärligheten är mer värd än ett test vars resultat är ett myntkast – för den hindrar att ett slumptal blir grunden för nästa beslut.

Prompt

Hjälp mig att avgöra hur jag kan bedöma en ändring på vår
webbplats.

Våra tal:
- Besökare per månad på den berörda sidan: [Antal]
- Målhandlingar per månad på den här sidan: [Antal]
- Vad jag vill ändra: [Beskrivning]
- Hur stor väntar jag mig att verkan blir: [Uppskattning]

Uppgifter:
1. Säg mig om ett A/B-test vid våra tal vore talande.
   Räkna med en tumregel och visa övervägandet.
   Om nej, säg det tydligt.
2. Rekommendera bland de fem alternativen – användarobservation,
   fyrasekunderstestet, före-efter över kvartal,
   avhoppspunkter, frågan i det första samtalet – de två som
   passar min ändring. Motivera.
3. Bedöm om min planerade ändring är stor nog för att
   överhuvudtaget bli synlig vid våra tal. Om inte,
   föreslå en modigare version.
4. Formulera för fyrasekunderstestet de tre frågor som
   jag borde ställa.
5. Formulera en mening till vår rapport som ärligt säger
   vad resultatet kommer att visa och vad inte.

Hitta inte på jämförelsevärden från branschen.

Slutsats

Vid små tal är det klassiska A/B-testet inget verktyg, utan en slumpmaskin med vetenskaplig fernissa. Den som ändå använder det fattar beslut på grundval av brus.

Det som fungerar: titta på när fem människor gör det, fyrasekunderstestet, avhoppspunkter, frågan i det första samtalet – och modiga i stället för försiktiga ändringar, eftersom stora skillnader blir synliga även vid få fall.

Vanliga frågor

Från när är A/B-tester talande?

Som storleksordning krävs flera tusen besökare per variant, om en typisk utgångsfrekvens på några få procent ska förbättras med ungefär en femtedel. Vid 300 besökare i månaden vore ett sådant test talande först efter år – och till dess har erbjudandet ändrats.

Vad gör man i stället?

Fem förfaranden: titta på när fem människor ur målgruppen använder det, fyrasekunderstestet för huvudpartiet, en före-efter över kvartal vid stora ändringar, mätningen av avhoppspunkter, och frågan i det första samtalet om vad som nästan hade hindrat dem.

Varför bör man ändra modigare vid lite trafik?

För att större faktiska skillnader kräver färre fall för att kännas igen. En annan knappfärg går vid små tal principiellt inte att påvisa; en helt annan sidstruktur kan fördubbla frekvensen – och det syns även vid några hundra besökare.

Var fungerar A/B-tester även hos små företag?

Vid ämnesrader i e-postutskick, där redan några hundra mottagare ger grova ledtrådar, och vid annonstexter med många visningar. På webbplatsen – startsida, kontaktformulär, prissida – räcker målhandlingarna i regel inte.

Får man avbryta ett test när en variant leder?

Nej. Vid små tal skiftar ledningen regelbundet; den som avbryter vid det önskade resultatet hittar alltid ett. Det är då inget test, utan en bekräftelse av det egna antagandet – och slumptalet blir grunden för nästa beslut.