A/B-Tests bei wenig Traffic: Was trotzdem geht

Das Wichtigste in Kürze

Unter etwa 1.000 Zielhandlungen je Variante sind A/B-Ergebnisse nicht von Zufall zu trennen – bei kleinen Websites also praktisch nie.
Fünf Verfahren funktionieren trotzdem: Nutzerbeobachtung, Vier-Sekunden-Test, Vorher-Nachher über Quartale, Absprungpunkte und die Frage im Erstgespräch.
Bei wenig Verkehr lohnen sich große Änderungen statt kleiner – ein neuer Aufbau, nicht eine andere Schaltflächenfarbe.
Wer trotzdem A/B testen will, testet auf E-Mail-Verteilern statt auf der Website: dort sind die Zahlen oft ausreichend.

Warum es rechnerisch nicht geht

Ein Test soll zeigen, ob eine Änderung wirkt oder ob der Unterschied Zufall ist. Wie viele Fälle dafür nötig sind, hängt von zwei Dingen ab: der Ausgangsrate und der Größe des erwarteten Unterschieds.

Ein Beispiel macht die Größenordnung deutlich: Bei einer Ausgangsrate von 3 Prozent und einem erhofften Anstieg auf 3,6 Prozent – also 20 Prozent relative Verbesserung – braucht es je Variante mehrere tausend Besucher, um den Unterschied verlässlich von Zufall zu trennen. Bei 300 Besuchern im Monat wäre der Test nach Jahren aussagefähig, und bis dahin hat sich das Angebot geändert.

Achtung Ein Test, der zu früh beendet wird, weil eine Variante „vorne liegt", ist kein Test, sondern eine Bestätigung dessen, was man ohnehin annahm. Bei kleinen Zahlen wechselt die Führung regelmäßig – wer beim gewünschten Ergebnis abbricht, findet immer eines.

Die fünf Verfahren, die funktionieren

1. Fünf Menschen zuschauen

Aus der Zielgruppe, mit einer Aufgabe, ohne Erklärung. Wo sie zögern, liegt der Fehler. Fünf Personen decken den Großteil der groben Probleme auf.

Aufwand: 2 Stunden · Aussagekraft: hoch für Bedienbarkeit

2. Der Vier-Sekunden-Test

Seite zeigen, nach vier Sekunden schließen, fragen: Worum ging es, für wen ist es, was sollte man tun? Wer das nicht beantworten kann, hat den Kopfbereich nicht verstanden.

Aufwand: 30 Minuten · Aussagekraft: hoch für den Einstieg

3. Vorher-Nachher über Quartale

Eine große Änderung, dann drei Monate messen und mit den drei Monaten davor vergleichen. Ungenau, weil andere Einflüsse mitwirken – aber bei großen Änderungen brauchbar.

Aufwand: gering · Aussagekraft: mittel

4. Absprungpunkte messen

Wo endet das Scrollen, wo bricht das Formular ab? Zeigt nicht, was besser wäre – aber sehr genau, wo das Problem sitzt.

Aufwand: Einrichtung einmalig · Aussagekraft: hoch für Verortung

5. Die Frage im Erstgespräch

„Was hat Sie dazu gebracht, uns zu schreiben – und was hätte Sie fast davon abgehalten?" Der zweite Teil ist der wertvolle.

Aufwand: keiner · Aussagekraft: hoch, wenn regelmäßig gefragt

Wusstest du schon?

Bei wenig Verkehr lohnen sich große Änderungen statt kleiner – und zwar aus rechnerischen Gründen: Je größer der tatsächliche Unterschied, desto weniger Fälle braucht es, um ihn zu erkennen.

Eine andere Schaltflächenfarbe verändert die Rate um wenige Prozent und ist bei kleinen Zahlen prinzipiell nicht nachweisbar. Ein völlig anderer Seitenaufbau kann die Rate verdoppeln – und das sieht man auch bei 300 Besuchern. Wer wenig Verkehr hat, sollte mutiger ändern, nicht vorsichtiger.

Wo A/B-Tests auch bei kleinen Unternehmen gehen

Ort	Machbar?	Anmerkung
Betreffzeilen im E-Mail-Versand	ja	schon ab einigen hundert Empfängern grob brauchbar
Anzeigentexte	ja	viele Einblendungen, schnelle Rückmeldung
Startseite	selten	zu wenige Zielhandlungen
Kontaktformular	nein	zu wenige Absendungen
Preisseite	nein	zu wenige Fälle, zu hohe Streuung

Aus der Praxis

Der ehrlichste Umgang mit kleinen Zahlen ist, die Entscheidung nicht als Testergebnis auszugeben. Wenn eine Änderung aus guten Gründen sinnvoll erscheint – kürzeres Formular, klarerer Kopfbereich, ein Preis statt keiner –, setzt sie um und schreibt dazu, worauf ihr die Erwartung stützt.

Nach drei Monaten schaut ihr, ob sich die Zuflusszahl bewegt hat, und wisst: Das ist ein Hinweis, kein Beweis. Diese Ehrlichkeit ist mehr wert als ein Test, dessen Ergebnis eine Münze ist – weil sie verhindert, dass eine zufällige Zahl zur Grundlage der nächsten Entscheidung wird.

Prompt

Hilf mir zu entscheiden, wie ich eine Änderung an unserer Website
bewerten kann.

Unsere Zahlen:
- Besucher pro Monat auf der betroffenen Seite: [Anzahl]
- Zielhandlungen pro Monat auf dieser Seite: [Anzahl]
- Was ich ändern will: [Beschreibung]
- Wie gross erwarte ich die Wirkung: [Schätzung]

Aufgaben:
1. Sag mir, ob bei unseren Zahlen ein A/B-Test aussagefähig
   wäre. Rechne mit einer Faustgrösse und zeig die Überlegung.
   Wenn nein, sag es deutlich.
2. Empfiehl aus den fünf Alternativen – Nutzerbeobachtung,
   Vier-Sekunden-Test, Vorher-Nachher über Quartale,
   Absprungpunkte, Frage im Erstgespräch – die zwei, die zu
   meiner Änderung passen. Begründe.
3. Beurteile, ob meine geplante Änderung gross genug ist, um
   bei unseren Zahlen überhaupt sichtbar zu werden. Wenn nicht,
   schlage eine mutigere Fassung vor.
4. Formuliere für den Vier-Sekunden-Test die drei Fragen, die
   ich stellen sollte.
5. Formuliere einen Satz für unseren Bericht, der ehrlich sagt,
   was das Ergebnis zeigen wird und was nicht.

Erfinde keine Vergleichswerte aus der Branche.

Fazit

Bei kleinen Zahlen ist der klassische A/B-Test kein Werkzeug, sondern eine Zufallsmaschine mit wissenschaftlichem Anstrich. Wer ihn trotzdem einsetzt, trifft Entscheidungen auf Basis von Rauschen.

Was funktioniert: fünf Menschen zuschauen, der Vier-Sekunden-Test, Absprungpunkte, die Frage im Erstgespräch – und mutige statt vorsichtiger Änderungen, weil große Unterschiede auch bei wenigen Fällen sichtbar werden.

Häufige Fragen

Ab wann sind A/B-Tests aussagefähig?

Als Größenordnung braucht es je Variante mehrere tausend Besucher, wenn eine typische Ausgangsrate von wenigen Prozent um etwa ein Fünftel verbessert werden soll. Bei 300 Besuchern im Monat wäre ein solcher Test erst nach Jahren aussagefähig – und bis dahin hat sich das Angebot geändert.

Was macht man stattdessen?

Fünf Verfahren: fünf Menschen aus der Zielgruppe beim Benutzen zuschauen, den Vier-Sekunden-Test zum Kopfbereich, ein Vorher-Nachher über Quartale bei großen Änderungen, die Messung von Absprungpunkten, und die Frage im Erstgespräch, was fast davon abgehalten hätte.

Warum sollte man bei wenig Verkehr mutiger ändern?

Weil größere tatsächliche Unterschiede weniger Fälle brauchen, um erkannt zu werden. Eine andere Schaltflächenfarbe ist bei kleinen Zahlen prinzipiell nicht nachweisbar; ein völlig anderer Seitenaufbau kann die Rate verdoppeln – und das sieht man auch bei wenigen hundert Besuchern.

Wo funktionieren A/B-Tests auch bei kleinen Unternehmen?

Bei Betreffzeilen im E-Mail-Versand, wo schon einige hundert Empfänger grobe Hinweise liefern, und bei Anzeigentexten mit vielen Einblendungen. Auf der Website – Startseite, Kontaktformular, Preisseite – reichen die Zielhandlungen in der Regel nicht.

Darf man einen Test abbrechen, wenn eine Variante führt?

Nein. Bei kleinen Zahlen wechselt die Führung regelmäßig; wer beim gewünschten Ergebnis abbricht, findet immer eines. Das ist dann kein Test, sondern eine Bestätigung der eigenen Annahme – und die zufällige Zahl wird zur Grundlage der nächsten Entscheidung.