Möchten Sie wissen, wie Kunden Ihren Webauftritt erleben? Dann messen Sie`s doch einfach … mit FUX!

Nachdem ich im letzten Beitrag darüber berichtet habe, welche Vorüberlegungen – „ein geeignetes Grundlagenmodell“ – und Vorbereitungen – „geeignete Items“ – für die Konstruktion des Fragebogen User Experience (FUX) nötig waren, geht es nun darum die Entwicklung bis zum endgültigen Fragebogen aufzuzeigen und das fertige Instrument vorzustellen.

FUX orientiert sich am holistischen Modell der User Experience und besteht aus drei Fragenkomplexen zu den User-Experience-Dimensionen (UX-Dimensionen) und einem Fragenblock zu den Konsequenzen der UX, der Fragen zur Gesamteinschätzung der Seite, und zur zukünftigen Nutzungsintension enthält [1].
Jede UX-Dimension bezieht sich auf ein bestimmtes Konstrukt, das gemessen werden soll, um das Erleben, speziell auf Websites, als Ganzes zu erfassen. Die Einschätzung der Usability einer Website wird durch die Fragen zu den instrumentellen Qualitäten abgedeckt. Unter den nicht-instrumentellen Qualitäten und den emotionalen Nutzerreaktionen wird erfasst, was gemeinhin als Joy of Use bezeichnet wird. Während sich die nicht-instrumentellen Qualitäten auf Eigenschaften von Seiten beziehen, z.B. eine besonders ästhetische Gestaltung oder ein besonderes Image, das vermittelt wird, sind die emotionalen Nutzerreaktionen als subjektive Einschätzung der erlebten Gefühle während der Interaktion zu sehen.

Nachdem in einem Expertenworkshop zusammen mit Mitarbeitern von eResult geeignete Items (einzelne Fragen) für jede UX-Dimension gefunden wurden, soll der so entstandene Itempool, bestehend aus 44 vorläufigen Items, nun verdichtet werden, d.h. die Fragen werden reduziert, so dass der fertige Fragebogen später nur noch Items enthält die exakt das vorgegebene Konstrukt erfassen.

Dazu wurde eine Panel-Umfrage, auf dem von eResult betriebenen Online-Panel Bonopolis.de, durchgeführt.¹ Bewertet wurden vier verschiedene Online-Shops von Vollsortimentlern. Warum gerade vier Online-Shops, dazu später mehr.

Um FUX zu kürzen wurden alle vorläufigen Items des Fragenpools mit statistischen Methoden (Faktorenanalyse und Itemkonsistenzanalysen), die zyklisch auf die erhobenen Daten angewandt wurden, untersucht. Ungeeignete Items wurden jeweils entfernt.

Zwei Kriterien sind dabei, für einen “guten“ Fragebogen, ausschlaggebend:

  • Beziehen sich alle Fragen einer Dimension auf den gleichen Sachverhalt (wenn, ja wird dies als Eindimensionalität bezeichnet, die entsprechenden Fragen können zu einer Skala zusammengefasst werden)?
  • Wie genau kann ich diesen Sachverhalt messen (die Genauigkeit wird in der Statistik auch Reliabilität genannt und kann in Zahlen durch Cronbach`s-Alpha-Werte ausgedrückt werden)?

Mit Hilfe der Faktorenanalyse wird die Eindimensionalität jedes Fragenkomplexes getestet. Jedes Item sollte möglichst nur auf einer Dimension laden, d.h. jeweils nur einen Sachverhalt beschrieben bzw. messen. Items die auf zwei Dimensionen luden wurden entfernt (Grenzwerte .40). Bei den Itemkonsistenzanalysen wurden Items ausgeschlossen, die die Reliabilität der gesamten Skala verschlechterten bzw. nicht in der Lage waren, sie zu verbessern. Dabei wurden zunächst nur die Items der drei UX-Dimensionen, instrumentelle und nicht-instrumentelle Qualitäten sowie emotionale Nutzerreaktionen berücksichtigt. Am Ende zeigte sich eine eindeutige und klare Itemstruktur für die Fragen der UX-Dimensionen (s. Abbildung unten), d.h. die Fragen bilden die zu Grunde liegenden Dimensionen inhaltlich ab und jede Frage ist ihrer Dimension exakt zuzuordnen. Die Fragen zu den Konsequenzen der UX wurden einzeln untersucht. Am Ende blieben 26 Items übrig, die den fertigen Fragebogen User Experience konstituieren. Die endgültigen Fragenblöcke haben eine hohe Genauigkeit, erkennbar an den hohen Cronbach’s-Alpha-Werten von mindestens .88, teilweise sogar erheblich darüber.

Faktorenanalyse FUX

Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung (Werte ab .4 unterdrückt)

Endgültige Itemstruktur und Cronbachs-Alpha-Werte je Skala des FUX

Die Frage, warum in der Untersuchung genau vier verschiedene Online-Shops bewertet wurden, spielt im Folgenden eine Rolle, wenn es darum geht zu zeigen, dass mit Hilfe des FUX die User Experience auf Websites differenziert erfasst werden kann:

Das Ziel bei der Auswahl der Websites war es prototypische Online-Shops für folgende Bedingungen zu finden:

  1. Ein Shop mit hoher Joy of Use und hoher Usability
  2. Ein Shop mit hoher Joy of Use, aber niedriger Usability
  3. Ein Shop mit niedriger Joy of Use aber hoher Usability
  4. Ein Shop mit niedriger Joy of Use und niedriger Usability

Die Bedingungen sind als Voraussagen (Hypothesen) zu sehen. Durch diese Hypothesen soll FUX auf seine Gültigkeit (Validität) getestet werden oder einfacher ausgedrückt: Misst FUX auch, was er messen soll? Sollten sich die Experten-Voraussagen zu den einzelnen Shops in den Bewertungen des Fragebogens widerspiegeln, so ist dies ein Beleg dafür, dass der fertige Fragebogen User Experience zwischen Seiten mit hoher und niedriger Joy of Use als auch Usability unterscheiden kann, also in der Lage ist Usability und Joy of Use getrennt zu messen.

In den beiden Joy-of-Use-Dimensionen unterscheiden sie sich die Shops signifikant voneinander, gemäß den gemachten Vorhersagen. Am deutlichsten wird dies bei den nicht-instrumentellen Qualitäten (s. Abbildung unten). Hier bestätigen sich die gemachten Vorhersagen vollends² und zeigen ein klar interpretierbares Profil jedes Shops – einen individuellen “Fingerabdruck“ der nicht-instrumentellen Qualitäten. Die Profile der Seiten mit vorhergesagter niedriger Joy of Use liegen dabei in deutlichem Abstand zu den beiden Shops, denen von Experten eine hohe Joy of Use attestiert wurde und die mit ihren Werten viel näher an die positiven Attribute heranreichen. Bei einigen Items zeigen sich Unterschiede von bis zu 14 Punkten (insgesamt erfasst der eingesetzte Schieberegler Werte von 1-100)! Ähnlich verhält es sich bei den emotionalen Nutzerreaktionen. Auch in dieser Dimension sind die Shops mit einer mutmaßlich höheren Joy of Use besser bewertet worden, als die beiden Anderen, auch wenn die Werte deutlich enger beieinander liegen². Die gemachten Voraussagen zur Joy of Use der einzelnen Seiten (ob hoch oder niedrig) sind damit bestätigt. Dies schlägt sich auch bei den Fragen zu den Konsequenzen der UX nieder: Beide Online-Shops mit hoher Joy of Use erhalten eine bessere Gesamteinschätzung², eine erneute Nutzung der Seiten ist wahrscheinlicher.

sem Profil

Darstellung der Skala nicht-instrumentelle Qualitäten: Polaritätenprofile aller vier getesteten Online-Shops. Gemessen mit Schieberegler (Werte von 1-100).

Bei den instrumentellen Qualitäten zeigen sich die vorhergesagten Unterschiede zwischen den Seiten nicht. Alle vier Shops haben ähnliche Bewertungen. Eine mögliche Erklärung ist, dass sich alle Online-Shops auf einem hohen Usability-Level bewegen, was durchaus anzunehmen ist, da seit etwa 10 Jahren im Bereich Web-Usability geforscht wird und weil Nutzungsfreundlichkeit das tägliche Geschäft des Online-Verkaufs entscheidend mitbestimmt. Die Forschung zur Joy of Use und das Bemühen in diese Zusatzqualitäten zu investieren sind dagegen neue Bereiche und stecken noch in den Kinderschuhen.

Um sicher zu gehen, dass die Fragen zu den instrumentellen Qualitäten trotzdem geeignet sind, die Usability zu messen, wurden sie einzeln getestet. Dazu wurden die vier Shops mit einer deutschen Version der System Usability Scale (SUS) getestet und die Ergebnisse der SUS mit dem Fragenblock der instrumentellen Qualitäten des FUX verglichen [2]. Die Ergebnisse der Bewertungen waren identisch mit denen, die bei der Bewertung durch den FUX erzielt wurden. Eine Korrelationsanalyse zeigte dementsprechend hohe Zusammenhänge (r= .88) zwischen der Usability-Skala des FUX und der SUS, was mit großer inhaltlicher Nähe der beiden abgefragten Konstrukte interpretiert werden kann. Die Skala instrumentelle Qualitäten kann sich daher mit etablierten Usability-Fragebögen messen, auch wenn sich die Hypothesen nicht bestätigen ließen.

Zusammenfassend ist FUX ein valides und standardisiertes Instrument, um die User Experience auf Websites global zu messen. Die hohen Reliabilitäten sprechen für die Genauigkeit des Fragebogens. Die Einsatzbereiche für FUX sind vielfältig. FUX kann Ihnen z.B. dabei helfen sich einen Überblick zu verschaffen, in welchem Bereich (Usability oder Joy of Use) eine Seite schon weit vorne ist und wo evtl. noch Nachholbedarf besteht. Regelmäßige Messungen mit FUX können dazu beitragen den Nutzen von Veränderungen an der Seite einzuschätzen, ebenso eignet sich der Fragebogen aber auch zum Vergleich zweier (oder mehr) verschiedener Internetseiten.

Haben Sie Fragen oder etwas anzumerken? Was halten Sie von der Vorgehensweise zur Identifikation endgültiger Items? Haben Sie vielleicht selbst schon einmal einen Fragebogen entwickelt und möchten von Ihren Erfahrungen berichten? An Ihrer Meinung und Ihren Anregungen zu diesem Thema sind wir sehr interessiert.

¹Es wurden 1199 Bewertungen analysiert. Jeder Teilnehmer wurde zufällig auf eine der Seiten geleitet und bewertete diese. Um eine Interaktion zu gewährleisten bekamen die Nutzer die Aufgabe dort ein bestimmtes Produkt zu suchen. Das Alter Teinehmer lag im Mittel bei 36 Jahren (SA: 12), 59 % der Befragten waren Frauen, 41 % Männer

² die gemachten Aussagen sind auf einem Alpha-Niveau von 0.05 signifikant

Quellen & weiterführende Links
[1] Mahlke, S. (2008): User Experience of Interaction with Technical Systems. Theories, Methods, Empirical Results, and Their Application to the Design of Interactive Systems. Saarbrücken: VDM Verlag. Online verfügbar.

[2] Brooke, J. (1996). SUS: A quick and dirty usability scale. In: Jordan, Patrick W.
(Hrsg.), Usability evaluation in industry (189-194). London: Taylor and Francis. Online verfügbar (zum Download als Word-Dokument).

Ein Gedanke zu „Möchten Sie wissen, wie Kunden Ihren Webauftritt erleben? Dann messen Sie`s doch einfach … mit FUX!

  1. Pingback: UX-Motion-Lab: Steigern Sie Ihre Conversion durch Messung der Aktivierungsleistung! | usabilityblog

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *