A/B-tesztek kevés forgalomnál: ami ennek ellenére működik
Egy A/B-teszthez elég eset kell ahhoz, hogy elválassza a véletlent a hatástól. Havi 300 látogatónál ez a határ elérhetetlen – akkor minden eredmény érmedobás. Öt másik eljárás ennek ellenére használható támpontot ad.
A lényeg röviden
- Változatonként nagyjából 1000 célcselekvés alatt az A/B-eredmények nem választhatók el a véletlentől – kis weboldalaknál tehát gyakorlatilag soha.
- Öt eljárás ennek ellenére működik: felhasználómegfigyelés, négymásodperces próba, negyedéves előtte-utána, kiugrási pontok és a kérdés az első beszélgetésen.
- Kevés forgalomnál a nagy változtatások érik meg a kicsik helyett – új felépítés, nem más gombszín.
- Aki mégis A/B-tesztelni akar, e-mail-listákon teszteljen a weboldal helyett: ott a számok gyakran elegendők.
Miért nem megy számításilag
Egy tesztnek azt kell megmutatnia, hat-e egy változtatás, vagy a különbség véletlen. Hogy ehhez hány esetre van szükség, két dologtól függ: a kiindulási aránytól és a várt különbség nagyságától.
Egy példa világossá teszi a nagyságrendet: 3 százalékos kiindulási aránynál és a remélt 3,6 százalékos emelkedésnél – vagyis 20 százalékos relatív javulásnál – változatonként több ezer látogatóra van szükség ahhoz, hogy a különbséget megbízhatóan elválasszuk a véletlentől. Havi 300 látogatónál a teszt évek múlva lenne kimondható erejű, és addigra megváltozott az ajánlat.
Az öt eljárás, amely működik
1. Öt embert végignézni
A célcsoportból, egy feladattal, magyarázat nélkül. Ahol haboznak, ott a hiba. Öt ember feltárja a durva problémák túlnyomó részét.
Ráfordítás: 2 óra · Kimondható erő: nagy a kezelhetőségre
2. A négymásodperces próba
Megmutatni az oldalt, négy másodperc után bezárni, és megkérdezni: miről volt szó, kinek szól, mit kellene tenni? Aki ezt nem tudja megválaszolni, nem értette meg a fejrészt.
Ráfordítás: 30 perc · Kimondható erő: nagy a belépésre
3. Negyedéves előtte-utána
Egy nagy változtatás, aztán három hónapon át mérés, és összevetés az azt megelőző három hónappal. Pontatlan, mert más hatások is közrejátszanak – de nagy változtatásoknál használható.
Ráfordítás: csekély · Kimondható erő: közepes
4. Kiugrási pontok mérése
Hol ér véget a görgetés, hol szakad meg az űrlap? Nem mutatja meg, mi lenne jobb – de nagyon pontosan megmutatja, hol ül a probléma.
Ráfordítás: egyszeri beállítás · Kimondható erő: nagy a behatárolásra
5. A kérdés az első beszélgetésen
„Mi vitte rá, hogy írjon nekünk – és mi tartotta volna vissza majdnem?” A második rész az értékes.
Ráfordítás: semmi · Kimondható erő: nagy, ha rendszeresen kérdezitek
Tudtad?
Kevés forgalomnál a nagy változtatások érik meg a kicsik helyett – mégpedig számítási okokból: minél nagyobb a tényleges különbség, annál kevesebb eset kell a felismeréséhez.
Egy másik gombszín néhány százalékkal változtatja meg az arányt, és kis számoknál elvileg nem kimutatható. Egy teljesen más oldalfelépítés megduplázhatja az arányt – és ezt 300 látogatónál is látni. Akinek kevés a forgalma, bátrabban változtasson, ne óvatosabban.
Hol mennek az A/B-tesztek kis cégeknél is
| Hely | Megvalósítható? | Megjegyzés |
|---|---|---|
| Tárgysorok az e-mail-kiküldésben | igen | már néhány száz címzettől durván használható |
| Hirdetésszövegek | igen | sok megjelenítés, gyors visszajelzés |
| Kezdőlap | ritkán | túl kevés célcselekvés |
| Kapcsolatfelvételi űrlap | nem | túl kevés elküldés |
| Ároldal | nem | túl kevés eset, túl nagy szórás |
A kis számokkal való legőszintébb bánásmód az, ha nem tesztereredményként adjátok ki a döntést. Ha egy változtatás jó okokból észszerűnek tűnik – rövidebb űrlap, világosabb fejrész, egy ár a semmilyen helyett –, valósítsátok meg, és írjátok mellé, mire alapozzátok az elvárást.
Három hónap múlva megnézitek, mozdult-e a beérkezési szám, és tudjátok: ez támpont, nem bizonyíték. Ez az őszinteség többet ér, mint egy teszt, amelynek az eredménye érmedobás – mert megakadályozza, hogy egy véletlen szám legyen a következő döntés alapja.
Segíts eldönteni, hogyan értékelhetem a weboldalunkon végzett egyik változtatást. A számaink: - Havi látogatók az érintett oldalon: [darabszám] - Havi célcselekvések ezen az oldalon: [darabszám] - Amit meg akarok változtatni: [leírás] - Mekkora hatásra számítok: [becslés] Feladatok: 1. Mondd meg, kimondható erejű lenne-e egy A/B-teszt a mi számainknál. Számolj hüvelykujjszabállyal, és mutasd meg a gondolatmenetet. Ha nem, mondd ki világosan. 2. Ajánld az öt alternatíva – felhasználómegfigyelés, négymásodperces próba, negyedéves előtte-utána, kiugrási pontok, kérdés az első beszélgetésen – közül azt a kettőt, amely illik a változtatásomhoz. Indokold meg. 3. Ítéld meg, elég nagy-e a tervezett változtatásom ahhoz, hogy a mi számainknál egyáltalán láthatóvá váljon. Ha nem, javasolj bátrabb változatot. 4. Fogalmazd meg a négymásodperces próbához azt a három kérdést, amelyet fel kellene tennem. 5. Fogalmazz egy mondatot a beszámolónkba, amely őszintén megmondja, mit fog mutatni az eredmény, és mit nem. Ne találj ki ágazati összehasonlító értékeket.
Összegzés
Kis számoknál a klasszikus A/B-teszt nem eszköz, hanem tudományos külsőt öltő véletlengép. Aki mégis beveti, zajra alapozva hoz döntéseket.
Ami működik: öt embert végignézni, a négymásodperces próba, a kiugrási pontok, a kérdés az első beszélgetésen – és bátor változtatások az óvatosak helyett, mert a nagy különbségek kevés esetnél is láthatóvá válnak.
Gyakori kérdések
Mikortól kimondható erejűek az A/B-tesztek?
Nagyságrendileg változatonként több ezer látogató kell akkor, ha egy néhány százalékos tipikus kiindulási arányt nagyjából egyötöddel akartok javítani. Havi 300 látogatónál egy ilyen teszt csak évek múlva lenne kimondható erejű – és addigra megváltozott az ajánlat.
Mit csináljunk helyette?
Öt eljárást: öt embert a célcsoportból használat közben végignézni, a fejrészre vonatkozó négymásodperces próbát, negyedéves előtte-utána vizsgálatot nagy változtatásoknál, a kiugrási pontok mérését, és az első beszélgetésen feltett kérdést, hogy mi tartotta volna vissza majdnem.
Miért érdemes kevés forgalomnál bátrabban változtatni?
Mert a nagyobb tényleges különbségekhez kevesebb eset kell a felismerésükhöz. Egy másik gombszín kis számoknál elvileg nem kimutatható; egy teljesen más oldalfelépítés megduplázhatja az arányt – és ezt néhány száz látogatónál is látni.
Hol működnek az A/B-tesztek kis cégeknél is?
Az e-mail-kiküldés tárgysorainál, ahol már néhány száz címzett is durva támpontot ad, és a sok megjelenítést kapó hirdetésszövegeknél. A weboldalon – kezdőlap, kapcsolatfelvételi űrlap, ároldal – a célcselekvések száma rendszerint nem elég.
Szabad megszakítani egy tesztet, ha az egyik változat vezet?
Nem. Kis számoknál a vezetés rendszeresen cserélődik; aki a kívánt eredménynél szakítja meg, mindig talál egyet. Az akkor nem teszt, hanem a saját feltételezés megerősítése – és a véletlen szám lesz a következő döntés alapja.
Marketing, amely magát állítja be
A Studio Engine bétája nyitva áll. Foglalj helyet, és alakítsd az elejétől fogva.
Csatlakozom a bétához →