A/B testovi uz malo prometa: što ipak ide
A/B test treba dovoljno slučajeva da odvoji slučajnost od učinka. Kod 300 posjetitelja mjesečno ta granica nije dohvatljiva – svaki je ishod tada bacanje novčića. Pet drugih postupaka ipak daje upotrebljive naznake.
Najvažnije ukratko
- Ispod otprilike 1.000 ciljnih radnji po inačici A/B rezultati se ne mogu odvojiti od slučajnosti – kod malih web stranica dakle praktički nikada.
- Pet postupaka ipak funkcionira: promatranje korisnika, test od četiri sekunde, prije-poslije kroz tromjesečja, točke odustajanja i pitanje u prvom razgovoru.
- Uz malo prometa isplate se velike promjene umjesto malih – nova građa stranice, a ne druga boja gumba.
- Tko ipak želi A/B testirati, testira na popisima za e-poštu umjesto na web stranici: ondje su brojke često dovoljne.
Zašto računski ne ide
Test treba pokazati djeluje li promjena ili je razlika slučajna. Koliko je slučajeva za to potrebno, ovisi o dvjema stvarima: polaznoj stopi i veličini očekivane razlike.
Jedan primjer razjašnjava red veličine: kod polazne stope od 3 posto i priželjkivanog rasta na 3,6 posto – dakle 20 posto relativnog poboljšanja – treba po inačici nekoliko tisuća posjetitelja da bi se razlika pouzdano odvojila od slučajnosti. Kod 300 posjetitelja mjesečno test bi bio izražajan tek nakon godina, a dotad se ponuda promijenila.
Pet postupaka koji funkcioniraju
1. Promatrati pet ljudi
Iz ciljne skupine, sa zadatkom, bez objašnjenja. Gdje oklijevaju, ondje je pogreška. Pet osoba otkriva većinu grubih problema.
Trud: 2 sata · Izražajnost: velika za upotrebljivost
2. Test od četiri sekunde
Pokazati stranicu, nakon četiri sekunde zatvoriti, pitati: o čemu je bila riječ, kome je namijenjena, što bi trebalo učiniti? Tko na to ne može odgovoriti, nije razumio zaglavlje.
Trud: 30 minuta · Izražajnost: velika za ulazak
3. Prije-poslije kroz tromjesečja
Jedna velika promjena, pa tri mjeseca mjeriti i usporediti s tri mjeseca prije. Neprecizno jer i drugi utjecaji sudjeluju – ali kod velikih promjena upotrebljivo.
Trud: malen · Izražajnost: srednja
4. Mjeriti točke odustajanja
Gdje prestaje pomicanje, gdje se prekida obrazac? Ne pokazuje što bi bilo bolje – ali vrlo točno gdje problem sjedi.
Trud: jednokratna postava · Izražajnost: velika za smještanje
5. Pitanje u prvom razgovoru
«Što vas je navelo da nam pišete – i što vas je gotovo od toga odvratilo?» Drugi je dio onaj vrijedan.
Trud: nikakav · Izražajnost: velika ako se redovito pita
Jeste li znali?
Uz malo prometa isplate se velike promjene umjesto malih – i to iz računskih razloga: što je stvarna razlika veća, to je manje slučajeva potrebno da bi se prepoznala.
Druga boja gumba mijenja stopu za nekoliko postotaka i kod malih se brojki načelno ne može dokazati. Posve drukčija građa stranice može stopu udvostručiti – a to se vidi i kod 300 posjetitelja. Tko ima malo prometa, trebao bi mijenjati hrabrije, ne opreznije.
Gdje A/B testovi idu i kod malih tvrtki
| Mjesto | Izvedivo? | Napomena |
|---|---|---|
| Predmeti poruka pri slanju e-pošte | da | već od nekoliko stotina primatelja grubo upotrebljivo |
| Tekstovi oglasa | da | mnogo prikaza, brza povratna informacija |
| Početna stranica | rijetko | premalo ciljnih radnji |
| Obrazac za kontakt | ne | premalo slanja |
| Stranica s cijenama | ne | premalo slučajeva, prevelik rasap |
Najpošteniji je odnos prema malim brojkama ne izdavati odluku za rezultat testa. Ako se promjena iz dobrih razloga čini smislenom – kraći obrazac, jasnije zaglavlje, jedna cijena umjesto nijedne – provedite je i napišite uz to na što očekivanje oslanjate.
Nakon tri mjeseca pogledate je li se brojka priljeva pomaknula i znate: to je naznaka, a ne dokaz. Ta poštenost vrijedi više od testa čiji je ishod bacanje novčića – jer sprječava da slučajna brojka postane podloga sljedeće odluke.
Pomozi mi odlučiti kako mogu prosuditi promjenu na našoj web stranici. Naše brojke: - Posjetitelji mjesečno na zahvaćenoj stranici: [broj] - Ciljne radnje mjesečno na toj stranici: [broj] - Što želim promijeniti: [opis] - Koliko velik učinak očekujem: [procjena] Zadaci: 1. Reci mi bi li uz naše brojke A/B test bio izražajan. Računaj s okvirnom veličinom i pokaži razmišljanje. Ako ne, reci to jasno. 2. Preporuči od pet zamjena – promatranje korisnika, test od četiri sekunde, prije-poslije kroz tromjesečja, točke odustajanja, pitanje u prvom razgovoru – dvije koje odgovaraju mojoj promjeni. Obrazloži. 3. Prosudi je li moja zamišljena promjena dovoljno velika da uz naše brojke uopće postane vidljiva. Ako nije, predloži hrabriju inačicu. 4. Sroči za test od četiri sekunde tri pitanja koja bih trebala postaviti. 5. Sroči rečenicu za naše izvješće koja pošteno kaže što će ishod pokazati, a što neće. Ne izmišljaj usporedne vrijednosti iz djelatnosti.
Zaključak
Kod malih brojki klasični A/B test nije alat nego stroj za slučajnost sa znanstvenim premazom. Tko ga ipak primjenjuje, odluke donosi na temelju šuma.
Ono što funkcionira: promatrati pet ljudi, test od četiri sekunde, točke odustajanja, pitanje u prvom razgovoru – i hrabre umjesto opreznih promjena, jer velike razlike postaju vidljive i kod malo slučajeva.
Česta pitanja
Od kada su A/B testovi izražajni?
Kao red veličine treba po inačici nekoliko tisuća posjetitelja ako se uobičajena polazna stopa od nekoliko postotaka želi poboljšati za otprilike petinu. Kod 300 posjetitelja mjesečno takav bi test bio izražajan tek nakon godina – a dotad se ponuda promijenila.
Što se radi umjesto toga?
Pet postupaka: promatrati pet ljudi iz ciljne skupine pri upotrebi, test od četiri sekunde za zaglavlje, prije-poslije kroz tromjesečja kod velikih promjena, mjerenje točaka odustajanja i pitanje u prvom razgovoru što je gotovo odvratilo od toga.
Zašto uz malo prometa treba mijenjati hrabrije?
Zato što veće stvarne razlike trebaju manje slučajeva da bi se prepoznale. Druga se boja gumba kod malih brojki načelno ne može dokazati; posve drukčija građa stranice može stopu udvostručiti – a to se vidi i kod nekoliko stotina posjetitelja.
Gdje A/B testovi funkcioniraju i kod malih tvrtki?
Kod predmeta poruka pri slanju e-pošte, gdje već nekoliko stotina primatelja daje grube naznake, i kod tekstova oglasa s mnogo prikaza. Na web stranici – početna stranica, obrazac za kontakt, stranica s cijenama – ciljne radnje u pravilu nisu dovoljne.
Smije li se test prekinuti kada jedna inačica vodi?
Ne. Kod malih brojki vodstvo se redovito mijenja; tko prekine kod željenog ishoda, uvijek ga i nađe. To onda nije test nego potvrda vlastite pretpostavke – a slučajna brojka postaje podloga sljedeće odluke.
Marketing koji se sam postavlja
Beta verzija Studio Enginea je otvorena. Osigurajte mjesto i sudjelujte od početka.
Pridruži se beti →