A/B-testit vähällä liikenteellä: mikä silti onnistuu
A/B-testi tarvitsee riittävästi tapauksia erottaakseen sattuman vaikutuksesta. 300 kuukausittaisen kävijän kohdalla tätä rajaa ei voi saavuttaa – jokainen tulos on silloin kolikonheitto. Viisi muuta menettelyä tuottaa silti käyttökelpoisia viitteitä.
Tärkeimmät kohdat
- Alle noin 1 000 tavoitetoiminnon kohdalla varianttia kohti A/B-tuloksia ei voi erottaa sattumasta – pienillä verkkosivustoilla siis käytännössä ei koskaan.
- Viisi menettelyä toimii silti: käyttäjän havainnointi, neljän sekunnin testi, ennen–jälkeen vuosineljänneksittäin, poistumiskohdat ja kysymys ensitapaamisessa.
- Vähällä liikenteellä kannattavat suuret muutokset pienten sijaan – uusi rakenne, ei toisenvärinen painike.
- Se, joka silti haluaa A/B-testata, testaa sähköpostilistoilla verkkosivuston sijaan: siellä luvut riittävät usein.
Miksi se ei laskennallisesti onnistu
Testin on määrä näyttää, vaikuttaako muutos vai onko ero sattumaa. Se, kuinka monta tapausta siihen tarvitaan, riippuu kahdesta asiasta: lähtötasosta ja odotetun eron suuruudesta.
Yksi esimerkki tekee suuruusluokan selväksi: 3 prosentin lähtötasolla ja toivotulla nousulla 3,6 prosenttiin – siis 20 prosentin suhteellisella parannuksella – tarvitaan varianttia kohti useita tuhansia kävijöitä, jotta ero voidaan luotettavasti erottaa sattumasta. 300 kuukausittaisen kävijän kohdalla testi olisi kertova vasta vuosien päästä, ja siihen mennessä tarjonta on muuttunut.
Viisi toimivaa menettelyä
1. Katso viiden ihmisen käyttöä
Kohderyhmästä, tehtävän kera, ilman selitystä. Siellä missä he epäröivät, on virhe. Viisi henkilöä paljastaa valtaosan karkeista ongelmista.
Työmäärä: 2 tuntia · Kertovuus: korkea käytettävyyden osalta
2. Neljän sekunnin testi
Näytä sivu, sulje neljän sekunnin jälkeen, kysy: mistä oli kyse, kenelle se on, mitä pitäisi tehdä? Se, joka ei osaa vastata tähän, ei ole ymmärtänyt yläosaa.
Työmäärä: 30 minuuttia · Kertovuus: korkea sisääntulon osalta
3. Ennen–jälkeen vuosineljänneksittäin
Yksi suuri muutos, sitten kolmen kuukauden mittaus ja vertailu kolmeen edeltävään kuukauteen. Epätarkka, koska muut vaikutteet ovat mukana – mutta suurten muutosten kohdalla käyttökelpoinen.
Työmäärä: vähäinen · Kertovuus: keskitasoinen
4. Poistumiskohtien mittaaminen
Mihin vierittäminen loppuu, missä lomake keskeytyy? Ei näytä, mikä olisi parempi – mutta hyvin tarkasti sen, missä ongelma istuu.
Työmäärä: käyttöönotto kertaluonteisesti · Kertovuus: korkea paikantamisen osalta
5. Kysymys ensitapaamisessa
«Mikä sai teidät kirjoittamaan meille – ja mikä olisi lähes estänyt sen?» Jälkimmäinen osa on arvokas.
Työmäärä: ei mitään · Kertovuus: korkea, jos kysytään säännöllisesti
Tiesitkö?
Vähällä liikenteellä kannattavat suuret muutokset pienten sijaan – ja nimenomaan laskennallisista syistä: mitä suurempi todellinen ero, sitä vähemmän tapauksia sen tunnistamiseen tarvitaan.
Toisenvärinen painike muuttaa osuutta muutamalla prosentilla eikä ole pienillä luvuilla periaatteessa osoitettavissa. Täysin toisenlainen sivurakenne voi kaksinkertaistaa osuuden – ja sen näkee myös 300 kävijän kohdalla. Sen, jolla on vähän liikennettä, kannattaa muuttaa rohkeammin, ei varovaisemmin.
Missä A/B-testit onnistuvat myös pienissä yrityksissä
| Paikka | Mahdollista? | Huomautus |
|---|---|---|
| Otsikkorivit sähköpostilähetyksessä | kyllä | karkeasti käyttökelpoinen jo muutamasta sadasta vastaanottajasta |
| Mainostekstit | kyllä | paljon näyttökertoja, nopea palaute |
| Etusivu | harvoin | liian vähän tavoitetoimintoja |
| Yhteydenottolomake | ei | liian vähän lähetyksiä |
| Hintasivu | ei | liian vähän tapauksia, liian suuri hajonta |
Rehellisin tapa käsitellä pieniä lukuja on olla esittämättä päätöstä testituloksena. Jos muutos vaikuttaa hyvistä syistä järkevältä – lyhyempi lomake, selkeämpi yläosa, hinta ei-minkään sijaan – toteuttakaa se ja kirjatkaa mukaan, mihin odotuksenne perustuu.
Kolmen kuukauden kuluttua katsotte, onko tuloluku liikkunut, ja tiedätte: se on viite, ei todiste. Tämä rehellisyys on arvokkaampaa kuin testi, jonka tulos on kolikonheitto – koska se estää sattumanvaraista lukua muuttumasta seuraavan päätöksen perustaksi.
Auta minua päättämään, miten voin arvioida yhtä muutosta verkkosivustollamme. Lukumme: - Kävijöitä kuukaudessa kyseisellä sivulla: [Määrä] - Tavoitetoimintoja kuukaudessa tällä sivulla: [Määrä] - Mitä haluan muuttaa: [Kuvaus] - Kuinka suureksi odotan vaikutuksen: [Arvio] Tehtävät: 1. Kerro minulle, olisiko A/B-testi meidän luvuillamme kertova. Laske nyrkkisäännöllä ja näytä päättely. Jos ei, sano se selvästi. 2. Suosittele viidestä vaihtoehdosta – käyttäjän havainnointi, neljän sekunnin testi, ennen–jälkeen vuosineljänneksittäin, poistumiskohdat, kysymys ensitapaamisessa – ne kaksi, jotka sopivat muutokseeni. Perustele. 3. Arvioi, onko suunnittelemani muutos riittävän suuri tullakseen meidän luvuillamme ylipäätään näkyviin. Jos ei, ehdota rohkeampaa versiota. 4. Muotoile neljän sekunnin testiä varten ne kolme kysymystä, jotka minun pitäisi esittää. 5. Muotoile raporttiimme lause, joka sanoo rehellisesti, mitä tulos näyttää ja mitä ei. Älä keksi toimialan vertailuarvoja.
Johtopäätös
Pienillä luvuilla perinteinen A/B-testi ei ole työkalu vaan sattumakone tieteellisessä asussa. Se, joka silti käyttää sitä, tekee päätöksiä kohinan pohjalta.
Mikä toimii: viiden ihmisen käytön seuraaminen, neljän sekunnin testi, poistumiskohdat, kysymys ensitapaamisessa – ja rohkeat eikä varovaiset muutokset, koska suuret erot tulevat näkyviin myös vähäisillä tapausmäärillä.
Usein kysytyt kysymykset
Mistä alkaen A/B-testit kertovat jotain?
Suuruusluokkana tarvitaan varianttia kohti useita tuhansia kävijöitä, kun tyypillistä muutaman prosentin lähtötasoa on tarkoitus parantaa noin viidenneksellä. 300 kuukausittaisen kävijän kohdalla tällainen testi olisi kertova vasta vuosien päästä – ja siihen mennessä tarjonta on muuttunut.
Mitä sen sijaan tehdään?
Viisi menettelyä: seurataan viiden kohderyhmään kuuluvan ihmisen käyttöä, tehdään neljän sekunnin testi yläosalle, tehdään ennen–jälkeen-vertailu vuosineljänneksittäin suurten muutosten kohdalla, mitataan poistumiskohtia, ja kysytään ensitapaamisessa, mikä olisi lähes estänyt yhteydenoton.
Miksi vähällä liikenteellä kannattaa muuttaa rohkeammin?
Koska suuremmat todelliset erot vaativat vähemmän tapauksia tullakseen tunnistetuiksi. Toisenvärinen painike ei ole pienillä luvuilla periaatteessa osoitettavissa; täysin toisenlainen sivurakenne voi kaksinkertaistaa osuuden – ja sen näkee myös muutaman sadan kävijän kohdalla.
Missä A/B-testit toimivat myös pienissä yrityksissä?
Sähköpostilähetyksen otsikkoriveissä, joissa jo muutama sata vastaanottajaa tuottaa karkeita viitteitä, ja mainosteksteissä, joissa on paljon näyttökertoja. Verkkosivustolla – etusivu, yhteydenottolomake, hintasivu – tavoitetoiminnot eivät pääsääntöisesti riitä.
Saako testin keskeyttää, jos yksi variantti johtaa?
Ei. Pienillä luvuilla johtoasema vaihtuu säännöllisesti; se, joka keskeyttää halutun tuloksen kohdalla, löytää sellaisen aina. Silloin kyseessä ei ole testi vaan oman oletuksen vahvistus – ja sattumanvaraisesta luvusta tulee seuraavan päätöksen perusta.
Markkinointi, joka pystyttää itsensä
Studio Enginen beta on auki. Varaa paikkasi ja ole mukana alusta asti.
Osallistu betaan →