Wie sinnvolle Methodenkombinationen umfangreiche Multivariate Tests ersetzen können

Zahnräder

Multivariate Tests oder auch A/B-Tests, wenn es sich lediglich um zwei verschiedene Varianten einer Website/eines Teilbereichs handelt, sind heute ein wichtiger Bestandteil der kontinuierlichen Optimierung von Websites. Unbemerkt vom Nutzer, kann man hiermit bestimmte Elemente systematisch variieren und wertvolle Erkenntnisse zum Nutzerverhalten gewinnen. Da praktisch jeder Nutzer der Website ein Proband ist, kann man von einer quantitativen Erhebungsmethode sprechen. Multivariate Tests (MVT) sind mittlerweile so beliebt, dass manchmal fast alles auf diesem Wege optimiert wird. Warum das sehr nachteilig sein kann und wann sich eine Kombination mit qualitativen Methoden lohnt, wird nachfolgend an einem Beispiel erläutert.

Besteht bspw. die Zielsetzung, die Suche und die Trefferliste auf einem Online-Shop zu optimieren, wäre folgendes Vorgehen denkbar: Ein Team von Mitarbeitern setzt sich zusammen und überlegt, an welchen Stellen wie optimiert werden könnte und wo Probleme vermutet werden. Sie entwickeln Ideen, wie zum Beispiel den Neukundengutschein umzupositionieren, einen neuen Filter anzubieten und andere Filter abzuändern. Um zu testen, ob ihre Ideen gut sind und sich positiv auf die Conversion auswirken, setzen sie einen aufwändigen multivarianten Test auf. Jedes Merkmal wird mit jedem anderen kombiniert. Dann müsste man ja letztendlich die optimale Variante identifizieren können und alles wäre gut, oder?

Doch die Vorgehensweise hat gewisse Nachteile:

  • Der Aufwand für die Erstellung/Programmierung des Testdesigns ist sehr hoch, weil es viele kleine Veränderungen umzusetzen gilt bzw. viele Varianten umgesetzt werden müssen.
  • Es kann zu Umsatzeinbußen kommen, wenn über einen gewissen Zeitraum eine niedrigere Conversion erzielt wird. Denn oft ist es so, dass einige Varianten/Kombinationen schlicht eine Verschlechterung des Status Quo bedeuten.
  • Das Optimum wird nicht erreicht, weil die Nutzer und die Expertise von externen Consultants nicht einbezogen werden. Das tatsächliche Potenzial der Veränderungen wird also nicht ausgeschöpft.
  • Bei Website mit weniger Traffic, kann es recht lang dauern, bis die Ergebnisse signifikant werden. Es vergeht viel Zeit, bis die Probleme behoben oder eine Verbesserung final umgesetzt wurde.
  • Es wird zwar zumeist deutlich, welche Variante am besten konvertiert, es bleibt jedoch teilweise offen, warum das so ist. Es fehlt das unmittelbare Feedback des Nutzers bzw. Einblicke, in seine Denk- und Entscheidungsprozesse.

Die Alternative: Nutzerzentrierte Entwicklung und Methodenkombination

Warum nicht so: Die Ideen aus dem Team werden von erfahrenen Consultants zunächst vorselektiert. Sie geben Anregungen, was erfahrungsgemäß weniger gut funktioniert, was hinsichtlich der Bedienbarkeit beachtet werden muss und welche Interaktionseffekte zu berücksichtigen sind. Da zum Beispiel die Nutzung eines Gutscheins sehr stark von dessen Positionierung und Gestaltung (also der Wahrnehmung) abhängig ist, wird der Einsatz von Blickverlaufsmessungen empfohlen.

Das Setzen und Aufheben von Filtermöglichkeiten sollte in einem Usability-Test im Labor mit Nutzern aus der Zielgruppe überprüft werden. Nur so können valide Aussagen zur Bedienbarkeit getroffen und die Filter entsprechend optimiert werden. Und der Erfolg von Filtermöglichkeiten hängt nun mal in hohem Maße davon ab, wie einfach sie genutzt werden können. Um nur einmal rekrutieren zu müssen, könnte eine Blickverlaufsmessung direkt integriert werden. Hier stellen wir fest, inwiefern die aktuelle Blickverlauf vom gewünschten abweicht und warum. Die Nutzer im Labor liefern außerdem meiste weiterführende Anregungen zur Verbesserung der Website. Protokolle lauten Denkens erlauben Rückschlüsse auf ihre Interpretationen und helfen, ihren Blickwinkel besser nachvollziehen zu können.

Das Ergebnis ist eine optimale, neue Variante als echter Fortschritt zum Status Quo. Zur Sicherheit wird diese dann in einem A/B-Test gegen die aktuelle Version getestet. Hier kann dann gemessen werden, wie sich die Conversion verändert und es können Webanalyse-Daten gesammelt werden, die wertvolle Hinweise auf das Klick-Nutzungsverhalten einer großen Stichprobe liefern. Zudem gilt es oft, interne kritische Stimmen zu überzeugen und den Erfolg der Maßnahmen zahlenmäßig zu belegen. Auch dafür kann der abschließende A/B-Test dienen. Durch die gründliche Vorarbeit mit der Einbeziehung des Nutzers sind Umsatzeinbußen so gut wie ausgeschlossen. Zudem sind die Programmierarbeiten für die neue Variante nicht umsonst. Sie können nach dem A/B-Test mit ggf. nötigen geringfügigen Anpassungen eingesetzt werden.

Weiterer Vorteil der skizzierten Vorgehensweise: Durch die Einbeziehung des Nutzers können möglicherweise noch völlig neue Ideen entstehen, die vorher gar nicht in Betracht gezogen wurden. Und man denke an die unzufriedenen Nutzer, die bei einem MVT vielleicht eine schlecht bedienbare Variante bekommen haben.

Insgesamt dürfte die beschriebene Vorgehensweise auch zeitlich von Vorteil sein. Im Usability-Labor kann mit einfach zu erstellenden Prototypen gearbeitet werden. Das direkte Beobachten der Probanden, also die Anwesenheit von Entwicklern oder dem verantwortlichen eCommerce-Team, macht umfangreiche Ergebnisberichte teilweise überflüssig. Die Erkenntnisse aus den Tests werden noch vor Ort diskutiert, interpretiert und in Handlungsempfehlungen überführt.

Fazit

Multivariate Tests haben auch weiterhin ihre Daseinsberechtigung. Denn es gibt immer Fragestellungen, die nur mit quantitativen Methoden und am besten ohne direkte Frage an den Nutzer beantwortet werden können. Bei bestimmten Themen können von Nutzern keine validen Selbstaussagen erwartet werden. Dennoch sollte stets gut differenziert werden. In multivariaten Tests sollten zum Beispiel keine Fragen der Bedienbarkeit beantwortet werden – hier ist die Beobachtung von Nutzern im Labor sehr wichtig, um zu einem optimalen Ergebnis zu kommen. Ein bloßes „Ausprobieren“ von Varianten/Ideen ist also insgesamt weder effizient noch zielführend.

Ein Gedanke zu „Wie sinnvolle Methodenkombinationen umfangreiche Multivariate Tests ersetzen können

  1. Pingback: Wie Website-Testing unrepräsentive Labortests ersetzt - Conversion Boosting - Das Buch zu Conversion-Optimierung, Landingpage-Optimierung, Shop-Optimierung und mehr!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.