A/B testy při malé návštěvnosti: co přesto jde
A/B test potřebuje dost případů, aby oddělil náhodu od účinku. Při 300 návštěvnících za měsíc je tahle hranice nedosažitelná – každý výsledek je pak mince. Pět jiných postupů přesto dodá použitelné vodítko.
To nejdůležitější
- Pod zhruba 1 000 cílovými akcemi na variantu nejdou A/B výsledky odlišit od náhody – u malých webů tedy prakticky nikdy.
- Pět postupů přesto funguje: pozorování uživatelů, čtyřsekundový test, srovnání před a po napříč čtvrtletími, body odchodu a otázka v prvním rozhovoru.
- Při malém provozu se vyplatí velké změny místo malých – nová stavba stránky, ne jiná barva tlačítka.
- Kdo přesto chce testovat A/B, testuje na e-mailových seznamech místo na webu: tam čísla často stačí.
Proč to početně nejde
Test má ukázat, jestli změna funguje, nebo jestli je rozdíl náhoda. Kolik případů je k tomu potřeba, závisí na dvou věcech: na výchozí míře a na velikosti očekávaného rozdílu.
Příklad ukáže řádové rozměry: při výchozí míře 3 procenta a doufaném vzestupu na 3,6 procenta – tedy 20 procent relativního zlepšení – je na variantu potřeba několik tisíc návštěvníků, aby se rozdíl dal spolehlivě odlišit od náhody. Při 300 návštěvnících za měsíc by test něco říkal až po letech a do té doby se nabídka změní.
Pět postupů, které fungují
1. Sledovat pět lidí
Z cílové skupiny, s jedním úkolem, bez vysvětlení. Kde váhají, tam je chyba. Pět lidí odhalí většinu hrubých problémů.
Náročnost: 2 hodiny · Výpovědní hodnota: vysoká pro ovladatelnost
2. Čtyřsekundový test
Ukázat stránku, po čtyřech sekundách zavřít, zeptat se: o co šlo, pro koho to je, co se má udělat? Kdo to nedokáže zodpovědět, nepochopil hlavičku.
Náročnost: 30 minut · Výpovědní hodnota: vysoká pro vstup
3. Před a po napříč čtvrtletími
Jedna velká změna, pak tři měsíce měřit a srovnat s třemi měsíci předtím. Nepřesné, protože působí i jiné vlivy – ale u velkých změn použitelné.
Náročnost: nízká · Výpovědní hodnota: střední
4. Měřit body odchodu
Kde končí posouvání, kde se opouští formulář? Neukáže, co by bylo lepší – ale velmi přesně, kde problém sedí.
Náročnost: jednorázové nastavení · Výpovědní hodnota: vysoká pro určení místa
5. Otázka v prvním rozhovoru
„Co vás přimělo nám napsat – a co by vás od toho málem odradilo?“ Cenná je ta druhá část.
Náročnost: žádná · Výpovědní hodnota: vysoká, když se ptáte pravidelně
Věděli jste, že…?
Při malém provozu se vyplatí velké změny místo malých – a to z početních důvodů: čím větší je skutečný rozdíl, tím míň případů je potřeba, aby se rozpoznal.
Jiná barva tlačítka změní míru o pár procent a u malých čísel je zásadně neprokazatelná. Úplně jiná stavba stránky může míru zdvojnásobit – a to je vidět i při 300 návštěvnících. Kdo má malý provoz, měl by měnit odvážněji, ne opatrněji.
Kde A/B testy fungují i v malých firmách
| Místo | Proveditelné? | Poznámka |
|---|---|---|
| Předměty při rozesílání e-mailů | ano | hrubě použitelné už od několika set příjemců |
| Texty inzerátů | ano | mnoho zobrazení, rychlá zpětná vazba |
| Úvodní stránka | zřídka | příliš málo cílových akcí |
| Kontaktní formulář | ne | příliš málo odeslání |
| Stránka s cenami | ne | příliš málo případů, příliš velký rozptyl |
Nejpoctivější zacházení s malými čísly je nevydávat rozhodnutí za výsledek testu. Když se změna z dobrých důvodů jeví jako smysluplná – kratší formulář, jasnější hlavička, cena místo žádné –, proveďte ji a připište, o co své očekávání opíráte.
Po třech měsících se podíváte, jestli se číslo přítoku pohnulo, a víte: je to vodítko, ne důkaz. Tahle poctivost má větší cenu než test, jehož výsledek je mince – protože zabrání tomu, aby se náhodné číslo stalo základem dalšího rozhodnutí.
Pomoz mi rozhodnout, jak můžu vyhodnotit změnu na našem webu. Naše čísla: - Návštěvníci za měsíc na dotčené stránce: [počet] - Cílové akce za měsíc na této stránce: [počet] - Co chci změnit: [popis] - Jak velký účinek očekávám: [odhad] Úkoly: 1. Řekni mi, jestli by při našich číslech A/B test něco vypovídal. Spočítej to podle hrubého pravidla a ukaž úvahu. Pokud ne, řekni to jasně. 2. Doporuč z těch pěti alternativ – pozorování uživatelů, čtyřsekundový test, srovnání před a po napříč čtvrtletími, body odchodu, otázka v prvním rozhovoru – ty dvě, které sedí k mé změně. Zdůvodni to. 3. Posuď, jestli je moje plánovaná změna dost velká, aby při našich číslech vůbec byla vidět. Pokud ne, navrhni odvážnější verzi. 4. Zformuluj pro čtyřsekundový test tři otázky, které bych měl položit. 5. Zformuluj větu do naší zprávy, která poctivě řekne, co výsledek ukáže a co ne. Nevymýšlej si srovnávací hodnoty z oboru.
Závěr
U malých čísel není klasický A/B test nástrojem, ale strojem na náhodu s vědeckým nátěrem. Kdo ho přesto nasadí, dělá rozhodnutí na základě šumu.
Co funguje: sledovat pět lidí, čtyřsekundový test, body odchodu, otázka v prvním rozhovoru – a odvážné změny místo opatrných, protože velké rozdíly jsou vidět i při málo případech.
Časté otázky
Odkdy A/B testy něco vypovídají?
Řádově je potřeba na variantu několik tisíc návštěvníků, když se má typická výchozí míra pár procent zlepšit asi o pětinu. Při 300 návštěvnících za měsíc by takový test něco vypovídal až po letech – a do té doby se nabídka změní.
Co dělat místo toho?
Pět postupů: sledovat pět lidí z cílové skupiny při používání, čtyřsekundový test na hlavičku, srovnání před a po napříč čtvrtletími u velkých změn, měření bodů odchodu, a otázka v prvním rozhovoru, co by od toho málem odradilo.
Proč se má při malém provozu měnit odvážněji?
Protože větší skutečné rozdíly potřebují míň případů, aby se rozpoznaly. Jiná barva tlačítka je u malých čísel zásadně neprokazatelná; úplně jiná stavba stránky může míru zdvojnásobit – a to je vidět i při několika stech návštěvnících.
Kde A/B testy fungují i v malých firmách?
U předmětů při rozesílání e-mailů, kde hrubé vodítko dá už několik set příjemců, a u textů inzerátů s mnoha zobrazeními. Na webu – úvodní stránka, kontaktní formulář, stránka s cenami – cílové akce zpravidla nestačí.
Smí se test přerušit, když jedna varianta vede?
Ne. U malých čísel se vedení pravidelně střídá; kdo přeruší u kýženého výsledku, vždycky nějaký najde. Pak to není test, ale potvrzení vlastní domněnky – a náhodné číslo se stane základem dalšího rozhodnutí.
Marketing, který se nastaví sám
Beta verze Studio Engine je otevřená. Zarezervujte si místo a podílejte se od začátku.
Zapojit se do bety →