Teste A/B cu trafic puțin: ce se poate totuși face
Un test A/B are nevoie de destule cazuri ca să despartă întâmplarea de efect. La 300 de vizitatori pe lună, pragul acesta nu se poate atinge – orice rezultat este atunci o monedă aruncată. Cinci alte procedee dau totuși semne folositoare.
Pe scurt
- Sub vreo 1.000 de acțiuni-țintă pentru fiecare variantă, rezultatele A/B nu se pot despărți de întâmplare – la site-urile mici, așadar, practic niciodată.
- Cinci procedee lucrează totuși: privitul utilizatorilor, testul de patru secunde, comparația înainte-după pe trimestre, punctele de abandon și întrebarea din prima discuție.
- La trafic puțin merită schimbările mari în locul celor mici – o construcție nouă, nu altă culoare de buton.
- Cine vrea totuși să testeze A/B testează pe listele de e-mail, nu pe site: acolo cifrele ajung adesea.
De ce nu se poate, prin socoteală
Un test trebuie să arate dacă o schimbare are efect sau dacă deosebirea este întâmplare. De câte cazuri este nevoie pentru asta atârnă de două lucruri: de rata de plecare și de mărimea deosebirii așteptate.
Un exemplu face limpede ordinul de mărime: la o rată de plecare de 3 la sută și la o creștere nădăjduită până la 3,6 la sută – adică o îmbunătățire relativă de 20 la sută – este nevoie, pentru fiecare variantă, de câteva mii de vizitatori ca deosebirea să poată fi despărțită de întâmplare cu nădejde. La 300 de vizitatori pe lună, testul ar spune ceva abia după ani, iar până atunci oferta s-a schimbat.
Cele cinci procedee care lucrează
1. Priviți cinci oameni
Din publicul-țintă, cu o sarcină, fără nicio lămurire. Unde șovăie, acolo stă greșeala. Cinci persoane scot la iveală cea mai mare parte a problemelor grosiere.
Efort: 2 ore · Puterea de a spune ceva: mare pentru ușurința folosirii
2. Testul de patru secunde
Arătați pagina, închideți-o după patru secunde, întrebați: despre ce era vorba, pentru cine este, ce ar trebui făcut? Cine nu poate răspunde nu a înțeles partea de sus.
Efort: 30 de minute · Puterea de a spune ceva: mare pentru intrare
3. Înainte-după pe trimestre
O schimbare mare, apoi trei luni de măsurat și o comparație cu cele trei luni dinainte. Nu e exact, fiindcă lucrează și alte înrâuriri – dar la schimbări mari este folositor.
Efort: mic · Puterea de a spune ceva: mijlocie
4. Măsurarea punctelor de abandon
Unde se oprește derularea, unde se rupe formularul? Nu arată ce ar fi mai bine – dar arată foarte exact unde stă problema.
Efort: punere la punct o singură dată · Puterea de a spune ceva: mare pentru localizare
5. Întrebarea din prima discuție
„Ce v-a făcut să ne scrieți – și ce era să vă oprească?” Partea a doua este cea de preț.
Efort: niciunul · Puterea de a spune ceva: mare, dacă se întreabă cu regularitate
Știai că…?
La trafic puțin merită schimbările mari în locul celor mici – și anume din temeiuri de socoteală: cu cât deosebirea adevărată este mai mare, cu atât mai puține cazuri sunt de trebuință pentru a o recunoaște.
Altă culoare de buton schimbă rata cu câteva procente și, la cifre mici, nu se poate dovedi din principiu. O construcție cu totul altfel a paginii poate îndoi rata – iar asta se vede și la 300 de vizitatori. Cine are trafic puțin ar trebui să schimbe mai cu îndrăzneală, nu mai cu băgare de seamă.
Unde merg testele A/B și la firmele mici
| Locul | Se poate? | Observație |
|---|---|---|
| Linii de subiect la expedierea de e-mailuri | da | grosier folositor deja de la câteva sute de destinatari |
| Texte de anunțuri | da | multe afișări, răspuns iute |
| Pagina de start | rar | prea puține acțiuni-țintă |
| Formularul de contact | nu | prea puține trimiteri |
| Pagina de prețuri | nu | prea puține cazuri, împrăștiere prea mare |
Cel mai cinstit fel de a te purta cu cifrele mici este să nu dai hotărârea drept rezultat de test. Dacă o schimbare pare cu rost din temeiuri bune – formular mai scurt, partea de sus mai limpede, un preț în loc de niciunul –, faceți-o și scrieți alături pe ce vă sprijiniți așteptarea.
După trei luni priviți dacă numărul de cereri s-a mișcat și știți: acesta este un semn, nu o dovadă. Cinstea aceasta prețuiește mai mult decât un test al cărui rezultat este o monedă aruncată – fiindcă împiedică o cifră întâmplătoare să devină temeiul hotărârii următoare.
Ajută-mă să hotărăsc cum pot aprecia o schimbare făcută pe site-ul nostru. Cifrele noastre: - Vizitatori pe lună pe pagina în cauză: [număr] - Acțiuni-țintă pe lună pe această pagină: [număr] - Ce vreau să schimb: [descriere] - Cât de mare aștept să fie efectul: [apreciere] Sarcini: 1. Spune-mi dacă, la cifrele noastre, un test A/B ar putea spune ceva. Socotește cu o măsură aproximativă și arată raționamentul. Dacă nu, spune-o limpede. 2. Recomandă, dintre cele cinci alternative – privitul utilizatorilor, testul de patru secunde, înainte-după pe trimestre, punctele de abandon, întrebarea din prima discuție – pe cele două care se potrivesc schimbării mele. Argumentează. 3. Apreciază dacă schimbarea mea plănuită este destul de mare ca să se vadă măcar la cifrele noastre. Dacă nu, propune o variantă mai îndrăzneață. 4. Formulează pentru testul de patru secunde cele trei întrebări pe care ar trebui să le pun. 5. Formulează o frază pentru raportul nostru, care spune cinstit ce va arăta rezultatul și ce nu va arăta. Nu inventa valori de comparație din ramură.
Concluzie
La cifre mici, testul A/B clasic nu este o unealtă, ci o mașinărie de întâmplare cu tencuială științifică. Cine îl folosește totuși ia hotărâri pe temeiul zgomotului.
Ce lucrează: privitul a cinci oameni, testul de patru secunde, punctele de abandon, întrebarea din prima discuție – și schimbări îndrăznețe în loc de prevăzătoare, fiindcă deosebirile mari se văd și la puține cazuri.
Întrebări frecvente
De când spun ceva testele A/B?
Ca ordin de mărime este nevoie, pentru fiecare variantă, de câteva mii de vizitatori, dacă o rată de plecare obișnuită de câteva procente urmează să fie îmbunătățită cu vreo cincime. La 300 de vizitatori pe lună, un asemenea test ar spune ceva abia după ani – iar până atunci oferta s-a schimbat.
Ce se face în loc?
Cinci procedee: priviți cinci oameni din publicul-țintă în timp ce folosesc pagina, testul de patru secunde pentru partea de sus, o comparație înainte-după pe trimestre la schimbările mari, măsurarea punctelor de abandon și întrebarea din prima discuție despre ce era să îi oprească.
De ce ar trebui schimbat mai cu îndrăzneală la trafic puțin?
Fiindcă deosebirile adevărate mai mari au nevoie de mai puține cazuri ca să fie recunoscute. Altă culoare de buton nu se poate dovedi din principiu la cifre mici; o construcție cu totul altfel a paginii poate îndoi rata – iar asta se vede și la câteva sute de vizitatori.
Unde lucrează testele A/B și la firmele mici?
La liniile de subiect din expedierea de e-mailuri, unde deja câteva sute de destinatari dau semne grosiere, și la textele de anunțuri cu multe afișări. Pe site – pagina de start, formularul de contact, pagina de prețuri – acțiunile-țintă nu ajung de regulă.
Se poate opri un test dacă o variantă este în frunte?
Nu. La cifre mici, fruntea se schimbă cu regularitate; cine oprește la rezultatul dorit găsește întotdeauna unul. Atunci nu mai este un test, ci o întărire a propriei presupuneri – iar cifra întâmplătoare devine temeiul hotărârii următoare.
Marketing care se configurează singur
Beta Studio Engine este deschisă. Rezervă-ți locul și contribuie de la început.
Participă la beta →