Test im Usability Labor vs. Multivariate Tests – ein Methodenvergleich

Website Optimierung (engl. Website Optimization) und im speziellen multivariates Testen ist aufgrund des Siegeszuges von Web Analytics momentan in aller Munde. Zwar ist der Anteil der Unternehmen welche sich mit Testingverfahren beschäftigen, in Deutschland immer noch niedriger als in den USA, doch der Trend „zum Testen“ ist bei uns klar erkennbar. Was steckt jedoch hinter den einzelnen Verfahren, welche Vor- / Nachteile hat multivariates Testen, ist es ganz und gar nur ein Buzz-Word? Und wie schneiden im Vergleich „klassische“ Testverfahren wie zum Beispiel das Usability-Labor ab? Werfen wir gemeinsam einen Blick auf die Thematik.

80% of the time you / we are wrong about what a customer wants / expects from our site experience.
Avinash Kaushik. Autor von „Web Analytics: An hour a day“

Das oben genannte Zitat legt recht eindeutig dar, dass Website Testing ein wichtiges Instrumentist um die Kundenbedürfnisse zu erkennen und daraufhin zu optimieren. Testen ist nichts schlimmes – es ist einfach unglaublich schwer sofort und auf einen Schlag den einen, 100%igen Treffer zu finden, der alle Kundenerwartungen deckt und alle Kunden zum gewünschten Ziel auf der Webseite bringt. Dazu sind zudem die Nutzerprofile einer Webseite viel zu unterschiedlich. Ohne Testen fast eine „Mission Impossible“.

Mit welchen Methoden können Webseiten getestet werden?

Hier gibt es unterschiedliche Methoden. Zum einen gibt es Tests direkt auf der Webseite (z.B. A/B-Test, multivariate Tests), zum anderen Tests im Usability-Labor.

Qualitative Erhebungen – Test im Usability Labor

Bei Tests im Labor werden Kunden eingeladen und mit unterschiedlichen Aufgabenstellungen konfrontiert. Bei der Bewältigung der Aufgabe werden sämtliche Aktionen auf dem Bildschirm von einer Kamera aufgezeichnet. Zudem werden die Testprobanden bei der Nutzung der Webseite inverviewt um durch die „Methode des lauten Denkens“ zusätzliche Wahrnehmungen festhalten zu können. Zusätzlich kann noch mit sog. Eye-Tracking-Kameras der Blickverlauf des Probanden gemessen werden, um die aufmerksamkeitsstärksten Elemente zu erkennen. Da die Wahrnehmung, die Bedienung und die Verständlichkeit im Vordergrund steht, kann man bei dieser Methode auch von einer qualitativen Erhebung sprechen.

Vorteile von Usability-Tests:

  • im Usability-Labor kann nicht nur das Verhalten (in Form eines messbaren Kickpfades) sondern auch die Wahrnehmung von einzelnen Elementen (in Form von Denkprotokollen) erfasst werden
  • Blickverläufe zeigen genau auf, wo die aufmerksamkeitsstärksten Bereiche einer Webseite liegen
  • vor allem in frühen Entwicklungsstadien kann bereits durch Prototypen die Funktionalität und Bedienbarkeit vorgetestet werden – wichtige Erkenntnisse bei Neuentwicklungen können so erfasst werden

Nachteile von Usability-Tests:

  • Um die Kosten nicht zu sprengen wird ein Test im Labor meist nur mit ca. 12 Testpersonen durchgeführt
  • Tests im Labor entsprechen nicht den echten Nutzungssituationen der Kunden zuhause am eigenen PC (vgl. Hawthorne Effect)

Quantitative Erhebungen – Multivariate Tests

Tests direkt auf der Webseite haben im Vergleich zum Usability-Labor-Test den Vorteil, dass eine viel höhere Anzahl an Probanden am Test teilnehmen. Daher kann man hier auch von einer quantitativen Erhebungsmethode sprechen.

In multivariaten Tests wird eine Webseite in unterschiedliche Teile modularisiert. Die einzelnen Module der Seite werden dann wiederum untereinander variiert. Zum Beispiel könnte der Header-Bereich dieses Blogs, das Bild oben rechts, die Kontextnavigation im rechten Bereich und die Schriftgröße der Überschriften in einzelne Module definiert werden, für die man dann wiederum unterschiedliche Ausprägungsformen definiert. So können Tests entstehen, die locker & leicht bis zu 1000 unterschiedliche Versionen einer Webseite vergleicht.

Am Anfang eines jeden Tests steht immer eine Hypothese: „Die prominentere Auslobung des „Zum Newsletter anmelden“-Buttons hat eine positive Auswirkung auf die Conversion Rate“ (Conversion Rate = Prozentualer Anteil der Leute, die mein gewünschtes Ziel – z.B. „…hat sich für Newsletter angemeldet“ – erreicht hat). Für jedes einzelne Testelement sollte es eine Hypothese geben, die dann im Testaufbau in den einzelnen Testmodulen und deren Ausprägungsformen widergespiegelt wird. Um die Hypothese zu bestätigen benötigt es natürlich noch einer geeigneten Zielgröße, mit derer der Erfolg belegt werden kann.

Im Prinzip sind Multivariate Tests ähnlich zu A/B-Tests (ein A/B-Test wäre in der MVT-Sprache ein Testmodul mit zwei Ausprägungsformen). Es wird jedoch die Möglichkeit geboten, mehr als 2 unterschiedliche Versionen von Webseiten zu testen. Dies vereinfacht die Entscheidung, da im gleichen Zeitraum dem Kunden viel viel mehr Testversionen zur Auswahl gegeben werden können.

Die Vorteile von Multivariaten Tests liegen auf der Hand:

  • die Durchführung von Multivariaten Tests ist inzwischen recht einfach, es gibt einige Anbieter am Markt (z.B. Memetrics, Optimost, Sitespect, Maxymiser, Divolution) die bei der Auswahl der Testmodule, der Ausprägungsformen und der Interpretation der Erkenntnisse behilflich sein können. Google bietet sogar mit Google Website Optimizer ein kostenloses Testingtool an.
  • die Implementierung erfolgt sehr einfach, es muss lediglich ein kleiner JavaScript-Code auf der Webseite eingebaut werden
  • der Erkenntnisgewinn ist immens und ein geschickter Aufbau von sequentiellen multivariaten Tests führt zu einem enormen Verständnis davon, was mein Kunde auf der Webseite macht und wie er auf bestimmte Veränderungen reagiert
  • es können Beziehungen zwischen den einzelnen Testmodulen erfasst werden (z.B. ein großer Headerbereich funktioniert im Zusammenspiel mit einem dezenten Bild besser als mit einem echten Eye-Catcher-Bild). So werden schnell Zusammenhänge zwischen verschiedenen Seitenelementen klar.
  • die statistische Aussagekraft eines multivariaten Tests ist hieb- und stichfest. Da am Anfang noch statistische Messgrößen wie z.B. das Konfidenzintervall festgelegt wird, sind die Erkentnisse wirklich „wasserdicht“.

Nachteile gibt es jedoch selbstverständlich auch:

  • ist auf der Webseite nicht genügend Traffic, so kann sich der multivariate Test lange hinausziehen, bis statistisch signifikante Ergebnisse vorliegen.
  • oft sind typische Webseite-Nutzungen nicht so linear wie sie in einem multivariaten Test angenommen werden (z.B. von der Mehrbildansicht auf die Produktseite in den Warenkorb). Nutzer springen von einer Seite auf die andere und dann wieder zurück – soetwas muss bei der Interpretation der Ergebnisse beachtet werden
  • es wird zwar immer so schön gesagt dass alles getestet werden kann, dennoch sollte für die sinnvolle Vorselektion von Ideen für einen Test immer noch die eigene Brainpower genutzt werden – ansonsten kann ein Phänomen auftreten, welches man als Garbage in – Garbage out bezeichnet

Fazit – beide Methoden werden ihre Daseinsberechtung weiterhin behalten

Durch neuere Testverfahren wie z.B. dem multivariatem Testen wird Verantwortlichen in Unternehmen ein mächtiges Werkzeug geboten, welches Entscheidungen für die Gestaltung von Webseiten deutlich erleichtert. Dennoch sollte multivariates Testen nicht als „Wunderheilmittel“ angesehen werden, welches alle anderen Usability-Werkzeuge ersetzt. Auch weiterhin wird es Problemstellungen geben, die lediglich im Usability-Labor gelöst werden können, v.a. immer dann wenn es um die Wahrnehmung der Seite und den Gedanken während der Nutzung geht. Bei multivariaten Tests kann lediglich das Verhalten, welches aus der Wahrnehmung resultiert, erfasst werden.

Dagegen holt ein multivariater Test die Kunden aber genau in einer realen Situation ab – und es wird noch nichtmal bemerkt, dass man sich gerade in einem Test befindet. Wenn meine Nutzer z.B. lieber in ihrer bequemen Freizeitmode vor Ihrem PC sitzen und so online shoppen, kann ich dann bei einem Test im Labor ebenso verlangen, dass sie so im Labor erscheinen? Ich glaube nicht 🙂

Nichtsdestotrotz, ich glaube dass beide Methoden weiterhin ihre Daseinsberechtigung haben werden. Je nach aufgefundener Problemstellung sollte das geeignete Werkzeug gewählt werden – evtl. auch in Kombination um die Vorteile beider Methoden zu vereinen. Bei der Auswahl der geeigneten Werkzeuge stehen nun lediglich Alternativen bereit – und Macht hat bekanntlich, wer Alternativen hat 🙂

Was denkt ihr über multivariates Testen? Habt ihr schon Erfahrungen gesammelt? Über Diskussionen über Kommentare würde ich mich freuen…

[Vielen Dank liebes eResult-Team für die Einladung als Gast-Autor im Usabilityblog – hat mich sehr gefreut.]

16 Gedanken zu „Test im Usability Labor vs. Multivariate Tests – ein Methodenvergleich

  1. Pingback: Usabilityblog.de gelauncht » BlogZwoNull

  2. Thorsten Wilhelm

    Klasse, super informativer Beitrag.
    Ich denke, dass multivariate Tests deutlich zunehmen werden.
    Dabei halte ich es für entscheidend, dass es Tools gibt, die die Funktionalitäten von MV-Testtools, Befragungstools und Nutzertracking-Tools (Web Analytiv) vereinen. So was gibt es aus meiner Sicht noch nicht. Zudem müssten diese Tools für den Anwender leicht bedienbar und sehr verständlich sein. Das trifft m.E. leider heut zu Tage noch nicht mal für die gängisten Web-Analytic Tools zu.
    Bleibt spannend … LG, Thorsten

    Antworten
  3. Sebastian Eschenauer

    Klasse Beitrag!
    Neben den klassischen Usability Testverfahren setzte ich mich momentan mit den Einsatzmöglichkeiten des Multivarianten Testens auseinander. Meines Erachtens kann man mit dieser Methode Erkenntnisse, bzw. Varianten aus dem Lab in einem internationalen Umfeld verifizieren. Gerade für internationale Corporate Auftritte eine spannende Möglichkeit, um im Rahmen des Corporate Designs auf landesspezifische Nutzeransprüche einzugehen.
    LG, Sebastian

    Antworten
  4. Moritz Habermann Beitragsautor

    @Sebastian:
    Hast Du bereits praktische Erfahrungen mit MVTs sammeln können? Wenn ja, welches Tool hast Du benutzt? Meine Erfahrungen gehen dahin, dass Test Designs schnell Probleme bereiten können, wenn dynamische Inhalte Gegenstand des MVTs sind. Prinzipiell versprechen die Anbieter ja immer alles – die „Kinderkrankheiten“ erkennt man dann meist immer erst im Einsatz. Daher ist es besonders wichtig je nach Problemstellung das geeignete Test-„Werkzeug“ zu verwenden, damit die Ergebnisse auch verwertbar sind.

    @Thorsten:
    Sicherlich ein spannender Ansatz, der noch mehr Erkentnisse aus einem MVT verspricht. Ich denke die Anbieter erkennen den Bedarf nach und nach und werden auf die Anforderungen der Anwender eingehen.

    Freue mich auf weiteren Erfahrungsaustausch!

    Viele Grüße,
    Moritz

    Antworten
  5. Sebastian Eschenauer

    @Moritz:
    Ich habe mir bisher nur Maxymiser angeschaut – die Frage nach der Implemetierung in unser CMS ist noch offen – dazu folgt ein Termin mit dem Anbieter. Hast Du schon positive Erfahrungen mit einem Anbieter gesammelt? Die Maxymiser Präsentation sah für meinen Geschmack „zu einfach“ aus 🙂

    Grüße,
    Sebastian

    Antworten
  6. Thorsten Wilhelm

    Ja, das haben wir auch schon oft beobachtet: Die Anbieter stellen ihre Lösungen und Tool viel zu positiv dar. Es wird so getan, als sei alles möglich, wenn es dann aber „ins Detail“ und die konkrete Implementierung geht, dann zeigen sich die Probleme. Wir haben dabei aber die Erfahrung gemacht, dass die Anbieter recht „flexibel“ auf solche Probleme reagieren (und aktuell auch Interesse an Pilotkunden haben). Ich würde auf jeden Fall versuchen verschiedene Anbieter zu testen, z. B. auf einem abgegrenzten Bereich der Website. Auch sollte man darauf achten, dass man bei den Anbietern der MV Testtools eine Ansprechpartner „vor Ort“ (spricht in Deutschland) hat, der auch mal bei Bedarf vorbeikommen kann. Halte letzteres für sehr wichtig.

    Kennt ihr eigentlich schon den Blog von Ralf Habernich rund um das Thema „Web Analytic“:
    –// http://www.webanalyticsblog.de/
    Leider gibt`s da noch wenig zu MV Tools, aber sicherlich auch eine Zielgruppe, die Erfahrungen hat.

    Blogs rein zum Thema „MV Tools“ gibts derzeit keine, oder?

    Antworten
  7. Moritz Habermann Beitragsautor

    @Sebastian:
    Praktische Erfahrungen habe ich mit Memetrics xOs Test&Learn sammeln können, welche Anfang des Jahres vom Beratungsriesen Accenture aquiriert wurden. Wer internationales Projektumfeld nicht gewöhnt ist, den mag das evtl. abschrecken, unsere Erfahrungen sind jedoch durchweg positiv. Durch die Eingliederung in Accenture klappt es evtl. bald mit deutschen Ansprechpartnern.

    @Thorsten:
    Jepp, den Webanalyticsblog von Ralf Haberich kenne ich, ist auch schon seit gefühlten Ewigkeiten in meinem Feedradar. Dort gibt es immer spannende Lösungsansätze zu Web Analytics Problemstellungen.
    Ein Blick in die Glaskugel sagt mir irgendwie, dass nun nach und nach die deutschen Web-Analytics Anbieter auf den fahrenden Zug aufspringen werden, und ihre Lösungen mit Testing-Tools (A/B sowie MVT) ergänzen werden.

    Meine ersten Anlaufstellen für MVTs sind bisher v.a. amerikanische Blogs. Zu meinen Favoriten zählt hier u.a.:

    http://www.clickz.com (Portal von Zaaaz – deren Gründer das empfehlenswerte Buch „Actionable Web Analytics“ geschrieben haben)

    Web Analytics Demystified Blog vom Guru Eric T. Peterson (gleichnamiges Buch…)

    Offizieller Google Website Optimizer Blog

    Grokdotcom Blog (mit immer spannenden Berichten über diverse Testszenarien)

    Deutschsprachiger Testland-Blog (meines Wissens vom Anbieter Divolution wenn ich mich nicht irre…)

    Weiterhin kann ich das Yahoo-Discussion Board empfehlen, wo immer wieder neben klassischen Web Analytics Fragestellungen auch MVTs aus Anwendersicht diskutiert werden.

    LG,
    Moritz

    Antworten
  8. Kerstin Schubert

    Ich bin auf diesen Block über eure Xing-Nachricht gekommen und gleich hier hängen geblieben.
    Zu dem Thema kann ich sagen, dass es immer mehr eine Kostenfrage ist, welche Verfahren angewandt werden. Es sind zwar immer mehr Kunden, die nach einer Studie fragen… aber leider selten sehen, welcher Aufwand dahinter steckt und daher die Kosten scheuen.
    Zur Auswahl der Verfahren selber bin ich der Meinung, dass eine gesunde Mischung die besten Resultate liefert.

    Antworten
  9. Thorsten Wilhelm

    @ Kerstin – diese Beobachtung machen wir auch. Kosten und auch Aufwand (Zeit und Geld) solcher Studien sind recht hoch, vor allem dann, wenn man sich mitten in dem Entwicklungsprozess befindet. Daher arbeiten wir immer mehr daran agile Methoden zur Evaluation und Optimierung von Websites zu finden und anzuwenden. So setzen wir immer öfters iterative Testkonzepte ein, bei denen man in verschiedenen Testschleifen mit 6-8 Personen testet, gewonnene Erkenntnisse umsetz und dann in einer folgenden Testschleife prüft. Vorteil ist, dass man Sicherheit bekommt und die Ergebnisse der 1. Testschleife bereits nach 1-2 Tagen vorliegen. Ein interessanter Ansatz, den es weiterzuentwickeln gilt.

    Antworten
  10. Kerstin Schubert

    Das Iterationsverfahren ist auch immer empfehlenswert, da gebe ich dir vollkommen recht. Nur schrecken viele Kunden vor dem – in ihren Augen – Aufwand zurück: Leider verstehen noch recht wenige, dass sie durch solche Testverfahren eigentlich Zeit und Kosten sparen…
    Irgendwie habe ich sehr oft den Eindruck, dass „Usability“ in vielen Augen noch ein Modewort ist… viele aber nicht wissen, was dahinter steckt. Da ist noch einiges an „Aufklärung“ nötig.

    Antworten
  11. Pingback: internetszene.com » Archiv » Optimierung von Online-Werbemitteln (1)

  12. Visiongraphix Webdesign

    Sehr informativ. Ich verwende seit kurzem das A/B-Testing von Google. Hat jemand schon Erfahrungen mit dem Multivarianztest? Ich habe auf meiner Seite nicht genug Traffic um da zu Ergebnissen zu kommen.

    Technik: Das JS schadet im IE meinem Layout weil es sich ausserhalb des HTML-codes befindet. Hat damit noch jemand Probleme gehabt?

    Antworten
  13. Thorsten Wilhelm

    Ja, da gibt es ein klasse Tutorial zur Erstellung eines multivariaten Tests mit dem Google Website Optimizer von Moritz Habermann:
    –// http://www.blogzwonull.de/e-commerce/tutorial-erstellung-eines-multivariaten-tests-mit-dem-google-website-optimizer.html

    Kann ich nur empfehlen. Moritz hat auch noch viele weitere, gehaltvolle Beiträge zu kostenlosen Tools von Google …
    –// http://www.blogzwonull.de/

    Schau da mal rein, es lohnt sich!

    Antworten
  14. Pingback: Startseite – Gestaltung der Startseite > Online-Shops, Webdesign > Design, gestaltung, homepage, Startseite

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.