Möchten Sie wissen, wie Kunden ihren Webauftritt erleben? Dann messen Sie`s doch einfach… richtig!

User Experience (UX) ist ohne Zweifel eines der meistgebrauchtesten Schlagwörter, wenn es um neuere Ansätze in der Usability-Forschung geht. Sehen Sie sich allein die Begriffswolke dieses Blogs an! Ein Beweis dafür, dass immer mehr Betreiber von Webseiten wissen möchten wie ihre Kunden den eigenen Webauftritt erleben.

Trotz des enormen Interesses an diesem Thema gibt es nur eine handvoll Fragebögen, die versuchen das Konstrukt User Experience zu erheben. Einige davon habe ich Ihnen in vorangegangenen Beiträgen bereits vorgestellt. Bei einer genaueren Analyse dieser vorhandenen Instrumente zeigt sich jedoch, dass sie, in Bezug auf die ganzheitliche Evaluation von Websites, Schwächen haben. Einige Fragebögen messen nur einzelne, isolierte Konstrukte der User Experience, wie z.B. Lavie und Tractinskys “measurement instrument of perceived visual aesthetics of web sites” [1]. Bei Anderen ist die Anwendung auf Websites schwierig. So ist “AttrakDiff“ – obwohl ein sehr gut theoretisch fundierter und valider Fragebogen –  nur mit Einschränkungen für die speziellen Belange der Bewertung von Internetseiten geeignet [2]. Ein weiterer Kritikpunkt ist die fehlende Sensibilität für emotionale Prozesse, die ein positives Erlebnis bedeutend mitbestimmen. Bis jetzt bezieht kein Instrument eine emotionale Dimension ein, auch der “User Experience Fragebogen“ von Mahlke nicht, der sich ansonsten als recht zufriedenstellendes Instrument erwies [3].

Zusammenfassend lässt sich also feststellen, dass der Bedarf groß ist, das Angebot jedoch gering ausfällt und zudem deutliche Schwächen aufweist. Diese Lücke möchte der von Julia Müller und eResult entwickelte Fragebogen User Experience (FUX) füllen. Unser Ziel war es ein Instrument zu entwickeln, das sich speziell für den Einsatz auf Websites eignet und das globale Erlebnis mit allen relevanten UX-Aspekten erfasst. Dazu müssen neben der Usability auch Komponenten der Joy of Use gemessen werden. Zudem sollte sich unser Fragebogen an wissenschaftlichen Maßstäben orientieren, also valide und reliabel sein.

Am Anfang einer jeden Fragebogenentwicklung steht die Entscheidung für ein geeignetes Grundlagenmodell, das den theoretischen Rahmen für die nächsten Schritte vorgibt. FUX orientiert sich an einem holistischen Modell der User Experience von Mahlke [4], demzufolge das Erlebnis am Bildschirm von drei Faktoren entscheidend beeinflusst wird: der Wahrnehmung von instrumentellen und nicht-instrumentelle Website-Qualitäten und einer emotionalen Nutzerreaktion (s. Abbildung).  Zusammen bilden sie die Bausteine der User Experience.

User Experience Bausteine
Grundlagenmodell des “Fragebogen User Experience“ (angelehnt an Mahlke 2008)[4]. Die Bausteine der User Experience und die daraus resultierenden Konsequenzen bilden die Messdimensionen des FUX.

Die Usability einer Seite wird durch die wahrgenommenen instrumentellen Qualitäten abgebildet. FUX nutzt für die Operationalisierung dieser Dimension traditionelle Usability-Komponenten wie Effizienz und Effektivität im Umgang mit der Website sowie leichte Erinner- und Erlernbarkeit. [5,6]

Wahrgenommene nicht-instrumentelle Qualitäten und emotionale Nutzerreaktionen hingegen beziehen sich auf Aspekte, die mit der Joy of Use und damit der erfahrenen Freude während der Nutzung von Internetseiten zusammenhängen. Da gerade die nicht-instrumentellen Qualitäten von Websites ein entscheidender Faktor sind, um sich gegenüber funktional ähnlichen Websites anzugrenzen, wird diese Komponente inhaltlich sehr umfassend gemessen. FUX bezieht dazu die drei Subkonstrukte Motivation, Ästhetik und Symbolik ein. Motivation bezieht sich auf die Stimulation durch ein System, ob es z.B.  Neugierde oder Interesse weckt. Der Faktor Ästhetik misst die wahrgenommene visuelle Ästhetik auf Websites (klassische und expressive Ästhetik), wie sie Lavie und Tractinsky konzipieren [1]. Der dritte Aspekt, die Symbolik, bezieht sich auf die Nachricht, die eine Seite vermittelt, z.B. ein besonderes Image. Symbolische Qualitäten dienen der Darstellung der sozialen Identität und des Status`. Es geht um Selbstdarstellung, Gruppenzugehörigkeit oder der Abgrenzung zu anderen.

Im Zusammenhang mit Joy of Use wird eine emotionale Dimension während der Nutzung von Websites angenommen, die von der Wahrnehmung der Website-Qualitäten, insbesondere der Nicht-instrumentellen, bestimmt wird. Eine gute Usability erzeugt Zufriedenheit, eine besonders ästhetische oder motivierende Gestaltung führt im besten Fall zu noch stärkeren Gefühlen, wie Freude oder Vergnügen, während der Nutzung. Die Kritik an anderen Instrumenten, sie würden diese Dimension vernachlässigen, aufgreifend misst FUX emotionale Nutzerreaktion erstmals als eigenen Aspekt.

Aus dem Erleben aller drei Bausteine der UX ergeben sich die Konsequenzen, die der User aus seinem Besuch auf einer bestimmten Seite zieht. In erster Linie ist dies eine globale Bewertung der Website und natürlich das zukünftige Nutzungsverhalten (komme ich wieder oder nicht). FUX deckt auch diese Konsequenzen ab und misst neben der Gesamtbewertung der Seite die Nutzungsintension der User, um das tatsächliche Nutzungsverhalten vorherzusagen.

In einem nächsten Schritt müssen geeignete Items (einzelne Fragen) gefunden werden, die in der Lage sind die verschiedenen Dimensionen des Modells auch abzubilden bzw. sie zu messen. Die Itemsammlung für FUX erfolgte in einem zehnstündigen Expertenworkshop zusammen mit Anja Weitemeyer sowie Martin Beschnitt von eResult und mir. Als Ergebnis entstand ein Itempool, der dann in konkrete Fragen übersetzt wurde. Die Entscheidung für ein geeignetes Fragenformat fiel für die einzelnen Dimensionen unterschiedlich aus. Emotionale Nutzerreaktionen, instrumentelle Qualitäten und die Items für die Konsequenzen der UX wurden als Aussagen generiert und werden mit einer 6-stufigen Likert-Skala erhoben. Die Skalen haben verbale Bezeichnungen von „trifft voll und ganz zu“ bis „trifft überhaupt nicht zu“. Zusätzlich gibt es eine Kategorie „kann ich nicht beurteilen“.

Für die Items der nicht-instrumentellen Qualitäten fiel die Entscheidung auf ein semantisches Differential, wie es beispielsweise auch der AttrakDiff nutzt [2]. Die Stärken liegen darin, dass diese Art der Skala in der Lage ist, verschiedene Profile von Websites zu erzeugen. Dieser “Fingerabdruck“ der nicht-instrumentellen Qualitäten einer Website kann zum direkten Vergleich mit Profilen anderer Seiten herangezogen werden und helfen Potenzial für Veränderungen hinsichtlich dieser besonderen Qualitäten zu erkennen. Es wurden daher Polaritätenpaare aus dem Itempool zusammengestellt, die die gegensätzlichen nicht-instrumentellen Eigenschaften von Websites beschreiben. Die Skala wurde mit Hilfe eines Reglers realisiert, den man zwischen den Adjektivpaaren hin und her schieben kann und der Werte zwischen 0 und 100 annimmt (s. Abbildung). Die Überlegungen hinter dem Einsatz dieser Antworterfassung war es, das Konzept der Joy of Use auch im Fragebogen umzusetzen und den Probanden etwas Neues und Überraschendes zu bieten, auch mit dem Hintergedanken die Motivation zu steigern die Fragen bis zum Ende zu bearbeiten und möglichst genau zu bewerten.

Schieberegler FUX
Eingesetzter Schieberegler bei Fragen zu nicht-instrumentellen Qualitäten. Ein neues Antwortverfahren, das motivieren und Spaß machen soll.

Am Ende bestand FUX aus insgesamt 44 vorläufigen Items, die nun mit wissenschaftlichen Methoden weiter selektiert wurden. Dazu wurde FUX in einer Pilotstudie, auf dem von eResult betriebenen Online-Panel Bonopolis, getestet. Über die Ergebnisse dieser Studie, wie die Entwicklung von FUX weitergeht und wie der fertige „Fragebogen User Experience“ aussieht berichte ich in meinem nächsten Beitrag. Seien Sie also gespannt!

Was halten Sie bis jetzt von dem Instrument “Fragebogen User Experience“? Haben Sie vielleicht selbst schon einmal einen Fragebogen entwickelt und möchten von Ihren Erfahrungen berichten? An Ihrer Meinung und Ihren Anregungen zu diesem Thema sind wir sehr interessiert.

Quellen & weiterführende Links

  • [1] Lavie, T.; Tractinsky, N. (2004): Assessing dimensions of perceived visual aesthetics of websites. International Journal of Human-Computer Studies 60 (3)/2004, S. 269-298.
    Online verfügbar:
    burdacenter.bgu.ac.il/publications/finalReports1999-2000/TractinskyLavie.pdf
  • [2] Hassenzahl, Marc; Burmester, Michael; Koller, Franz (2003): AttrakDiff: ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. In: Szwillus, G.; Ziegler, J. (Hrsg.): Mensch & Computer 2003: Interaktion in Bewegung. Stuttgart: B. G. Teubner, S. 187-196.
  • [3] Mahlke, S. (2005): An integrative model on web user experience. In: Isaías, P.; Nunes, M. B. (Hrsg.): Proceeding of ICWI 2/2005. Lisbon, Portugal: IADIS, S. 91– 95.
    Online verfügbar:
    www.zmms.tu-berlin.de/~sma/ressources/papers/IADIS2005_Mahlke.pdf
  • [4] Mahlke, S. (2008): User Experience of Interaction with Technical Systems. Theories, Methods, Empirical Results, and Their Application to the Design of Interactive Systems. Saarbrücken: VDM Verlag.
    Online verfügbar:
    opus.kobv.de/tuberlin/volltexte/2008/1783/
  • [5] Nielson, J. (1994): Usability Engineering. San Francisco: Academic Press.
  • [6] ISO – International Organization for Standardization (1998): DIN EN ISO 9241- Ergonomie der Mensch-System-Interaktion – Teil 11: Anforderungen an die Gebrauchstauglichkeit –Leitsätze.

2 Gedanken zu „Möchten Sie wissen, wie Kunden ihren Webauftritt erleben? Dann messen Sie`s doch einfach… richtig!

  1. Marc Hassenzahl

    Ups, liebe Frau Müller,

    da hat sich wohl ein kleiner Fehler eingeschlichen. Sie schreiben: „So ist “AttrakDiff“ – obwohl ein sehr gut theoretisch fundierter und valider Fragebogen – nur mit Einschränkungen für die speziellen Belange der Bewertung von Internetseiten geeignet“. Da frage ich mich schon, warum eigentlich? Besonders wenn man bedenkt, dass das von Ihnen zitierte Paper von mir und Kollegen eine Validierung anhand dreier Websites vornimmt?
    Ansonten bin ich gespannt, wie sich „Motivation“ von „Hedonischer Qualität Stimulation“ unterscheiden wird, was der Unterscheid zwischen „Symbolik“ und „Identität kommunizieren“ ist und wie der Unterschied zwischen „pragmatischer Qualität und instrumentellen Qualitäten“ 😉 ausfällt …

    Viel Erfolg und Grüße Marc Hassenzahl

    PS: Übrigens sollten Sie bei Ihrer Aufzählung noch die Arbeit von Laugwitz und Kollegen und ihren Fragebogen UEQ aufnehen und Nielson schreibt sich Nielsen!

    Antworten
  2. Julia Müller

    Lieber Herr Hassenzahl,

    Wie bereits erwähnt, halte ich AttrakDiff wirklich für ein gutes und vor allem vielseitig einsetzbares Instrument bei einigen Items fällt es mir allerdings schwer sie im Zusammenhang mit der Rezeption von Websites zu sehen (z.B. menschlich – technisch; harmlos – herausfordernd). Dass AttrakDiff 2 auf Websites (aber nicht nur !) getestet wurde ist mir bekannt, allerdings fand ich z.B. den Einsatz für die Einschätzung der verschiedenen Skins von mp3 playern passender.

    den UEQ von Laugwitz, Schrepp und Held konnte ich leider aus Platzgründen nicht mehr erwähnen. Sehr pragmatisch orientiert – im Gegensatz zu AttrakDiff (und auch FUX) stimmen Sie mir zu?

    Bei dem guten Herrn Nielsen hat sich doch wirklich ein Schreibfehler eingeschlichen. Vielen Dank für diesen und auch für die restlichen Hinweise.

    Beste Grüße,
    Julia Müller

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *