Testzeiträume richtig bemessen! Traffic und Anzahl der Varianten reicht da als Entscheidungsgrundlage nicht aus!

Kalender

Bei der Planung eines a/b-Tests für alternative Varianten einer Internetseite steht man schnell vor der Frage, wie lange man den Test laufen lassen muss, bis man erkennen kann, dass eine Variante signifikant bessere Ergebnisse erzielt als eine anderen. Für gewöhnlich werden zur Berechnung der Testdauer unter anderem die zu erwartenden Zugriffe (Traffic) während des Tests und die Anzahl der zu testenden Varianten herangezogen. Doch reicht dies tatsächlich aus, um den Zeitpunkt festlegen zu können, an dem der Test beendet werden kann?

Gehen wir einmal davon aus, dass auf dem Online-Shop eines Mobilfunkanbieters eine neue Produktdetailseite für den Vertrieb eines bestimmten Handys getestet werden soll. Als Marktführer kann davon ausgegangen werden, dass sehr hohe Zugriffszahlen pro Tag zu erwarten sind und die Anzahl der Varianten ist auf zwei begrenzt. Unter diesen Bedingungen würde bei der herkömmlichen Berechnung der Testdauer vermutlich eine sehr kurze Zeitspanne für die Ermittlung (scheinbar) signifikanter Ergebnisse festgestellt werden.

Wie trifft ein Interessent seine Entscheidung?
Diese Vorgehensweise folgt der Annahme, dass ein Besucher auf die Produktdetailseite kommt, das beworbene Handy spontan als erstrebenswert einstuft und direkt eine Bestellung in Auftrag gibt. Doch ist diese Annahme wirklich realistisch? Ich denke nicht!

Viel wahrscheinlicher ist, dass ein Besucher zunächst aufgrund des Auslaufens eines bestehenden Vertrags damit beginnt, den Handymarkt zu sondieren. Vermutlich informiert er sich grob zu unterschiedlichen Modellen und schaut sich dann auf der Produktdetailseite seines Vertragspartners ein bestimmtes Handy genauer an, welches er aus der Fernsehwerbung kennt. Nachdem er eine vorläufige Entscheidung für dieses Handy getroffen hat, diskutiert er diese in Gesprächen mit Freunden und Kollegen, die mehr Erfahrung in diesem Bereich haben. Auf einen interessanten Tipp hin vergleicht er seine Auswahl detailliert mit einem anderen Angebot. Da er sich aufgrund der nahezu identischen Ausstattung der beiden Angebote nicht direkt entscheiden kann, beschließt er seine Entscheidung auf den Anfang der folgenden Woche zu vertagen. Erst dann kommt er zu dem Schluss, dass seine ursprüngliche Wahl seinen Erwartungen eher entspricht und tätigt die Bestellung. Das Wesentliche an dem hier beschriebenen Prozess ist die Tatsache, dass es bis zur Entscheidung nicht nur einige Wochen dauern, sondern auch mehrere Besuche der Produktdetailseite des Angebots erfordern kann.

Falsch bemessene Testdauer = irreführende Ergebnisse!
Was sagt uns das nun über die Dauer eines Tests aus? Wenn man aufgrund der hohen Zugriffe und der geringen Anzahl der Varianten einen Test von einer Woche festlegt, die Entscheidung für ein Handy jedoch drei Wochen in Anspruch nimmt, so sind die Testergebnisse nahezu wertlos. Das liegt daran, dass diejenigen Besucher, die auf der neuen Variante konvertieren, sich auf der alten Variante informiert haben. Man misst also nicht die reine Conversion-Rate der neuen Variante, sondern eine durch den Informationsprozess der Besucher auf der alten Variante beeinflusste. Noch verheerender ist der Umstand, dass man über die tatsächliche Conversion-Rate der neuen Variante letztlich keinerlei Informationen erhält, da diejenigen, die sich auf der neuen Variante informieren, ihre Entscheidung erst in zwei Wochen treffen werden.

Stellen Sie sich also vor, man reduziert den Informationsgehalt der Seite und richtet diese konsequent auf die Ausführung der Conversion-Handlung aus, um den Übergang zum Bestellprozess zu verkürzen. Eine gesteigerte Conversion-Rate wäre also während des Tests nicht unwahrscheinlich, da ein großer Anteil der Besucher bereits ausreichend informiert ist, um eine Bestellung zu tätigen. Ob die dargebotenen Informationen jedoch genügen, um zu dieser Entscheidung zu kommen, wird man erst in einige Wochen erfahren, wenn die Besucher, die nur die neue Variante kennen, ihren Entscheidungsprozess abgeschlossen haben.

Wie diesem Problem entgehen?
Was ist also wichtig, um die Dauer eines Tests korrekt zu berechnen? Untersuchen Sie ausführlich das Informations- und Entscheidungsverhalten Ihrer Zielgruppe. Halten Sie detailliert fest, wo sich Ihre Konsumenten informieren und vor allem wie lange sie für die Entscheidung für eine bestimmte Leistung im Durchschnitt brauchen. Diese Informationen müssen bei der Berechnung der Dauer eines Tests berücksichtigt werden. Nur so können Sie sicher sein, dass ein Test signifikante Ergebnisse über die Conversion-Rate einer neuen Variante liefert, aufgrund derer Sie sich dann für eine der Varianten entscheiden können.

Service von Usabilityblog.de-Partnern » Werben auf Usabilityblog.de

Werben auf Usabilityblog.de

Vielen Dank für Ihr Interesse.

Bei Ihre Fragen und Wünsche bzgl. der Werbeschaltung werden Sie sich einfach an Herrn Wilhelm.

Daten zu den Nutzer des Blogs finden Sie in den aktuellen Nutzerstrukturdaten.

Diskutieren Sie mit:

Die E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder markiert mit *.