A/B-Testing-Tool auswählen: 10 Fragen vor der Entscheidung
Funktionslisten sehen sich alle ähnlich. Diese zehn Fragen trennen Werkzeuge, mit denen man arbeiten kann, von solchen, die man später ersetzt.
Inhalt dieses Artikels
Jedes Testing-Tool kann Überschriften tauschen. Der Unterschied zeigt sich erst im dritten Monat: bei Umsatzmessung, bei mehreren Kunden, beim Erklären eines Ergebnisses in einer Runde, die nicht überzeugt ist.
Messen
- Kann das Tool Umsatz pro Besucher vergleichen, oder nur Conversion-Raten?
- Gibt es Leitplanken, also Kennzahlen, die sich nicht verschlechtern dürfen?
- Meldet es eine schiefe Traffic-Aufteilung von selbst, oder muss ich sie bemerken?
Entscheiden
- Rechnet es die Stichprobe vor dem Start aus, oder erst, wenn ich frage?
- Zeigt es Intervalle, oder nur einen Prozentwert mit grünem Haken?
- Korrigiert es, wenn mehrere Varianten gleichzeitig verglichen werden?
Betreiben
- Wo liegen die Daten, und lässt sich das Skript über unsere eigene Domain ausliefern?
- Bleibt das Tool still, bis eine Einwilligung vorliegt?
- Was passiert mit Experimenten und Ergebnissen, wenn wir kündigen?
- Passt das Preismodell zu unserem Wachstum, oder bestraft es Erfolg?
Wie du die Antworten prüfst
Nicht über die Funktionsliste, sondern über einen Testlauf: eine echte Seite verbinden, ein Umsatzziel einrichten, einen kleinen Test durchlaufen lassen. Nach zwei Wochen weißt du mehr als nach zehn Demos.
Achte dabei besonders darauf, wie das Tool ein unentschiedenes Ergebnis darstellt. Werkzeuge, die immer einen Gewinner finden, lösen kein Problem, sie verschieben es.