Qualitativ & quantitativ: Fragebögen können den Usability-Test bereichern!

Vector checklist icon Unsere Usability-Tests sind eine rein qualitative Methode. Hier wird normalerweise nichts quantifiziert und mit Kennwerten dargestellt. Dennoch hören wir von Kunden ab und zu den Wunsch, eine Kennzahl zu sehen. Im Vergleich zu einem langen Ergebnisband mit einzelnen Problemdarstellungen ermöglichen es Zahlen und Diagramme, auf einen Blick den Status Quo zu erfassen und zu vergleichen. Dies ist ein eindeutiger Vorteil zu einem langen Ergebnisbericht!

Bei wissenschaftlich entwickelten Fragebögen stehen zudem sehr häufig gute Benchmarkwerte zur Verfügung. Dies bedeutet, dass auch bei einer erstmaligen Erfassung via Fragebogen ein direkter Vergleich möglich ist.

Wie sollte ein Fragebogen im Usability-Test eingesetzt werden?

Der Fragebogen ist ein standardisiertes Instrument – daher sollte auch die Erhebungssituation soweit wie möglich gleich gehalten werden. Die Fragebögen sollten möglichst früh im Test den Probanden vorgelegt werden. Bestenfalls beginnt das eigentliche Interview erst danach.

Optimalerweise erhalten die Probanden nur eine kleine Einführung bzw. Warm Up zum Test, dann eine (standardisierte!) Aufgabe, die jedem Probanden im gleichen Wortlaut gestellt wird (hier empfiehlt sich ggf. ein kurzes Nachfragen, um sicherzugehen, dass der Proband die Aufgabe richtig verstanden hat). Der Interviewer sollte nun den Raum verlassen und das Verhalten des Probanden im Beobachtungsraum ansehen. Sollte dies nicht möglich sein, muss sich der Interviewer stark zurücknehmen und darf nur bei Sackgassen helfen, aus denen der Proband ohne weitere Hilfe nicht mehr herausfindet. Im Anschluss kann nach dem gleichen Prinzip noch eine zweite oder dritte standardisierte Aufgabe gestellt werden. Wichtig hierbei ist, dass alle Probanden die gleiche Aufgabe bekommen. Direkt nach diesen Aufgaben erhalten die Probanden den Fragebogen. Während die Probanden den Fragebogen ausfüllen, sollte der Interviewer entweder wieder den Raum verlassen oder sich stark im Hintergrund halten und nur auf Nachfragen kurz antworten. Dies erhöht wahrheitsgemäße Antworten, da die Probanden sich anonym äußern können. Werden mehrere Fragebögen verwendet, sollte die Reihenfolge zwischen den Probanden rotiert werden, um einen Reihenfolgeeffekt zu vermeiden. Erst jetzt startet der eigentliche Usability-Test mit Interviewteil.

Weiterhin ist die Teilnehmerzahl wichtig! Bei 4 Probanden pro Testobjekt ist auch eine Kennzahl des Fragebogens nicht aussagekräftig! Die Statistik empfiehlt uns N = 30 Probanden pro Objekt, um eindeutige und signifikante Aussagen treffen zu können. Diese Fallzahl ist jedoch für einen Usability-Test im Labor utopisch! Wissenschaftlich und statistisch korrekt ist es daher nicht, einen Fragebogen mit weniger Probanden einzusetzen. Dennoch kann es hilfreich sein. Der System Usability Scale (SUS) liefert beispielsweise schon reliable Ergebnisse bei 8 bis 10 Probanden. Wir bei eResult nutzen daher folgende Eckpunkte als Orientierung, um das Ganze auch wirtschaftlich umsetzen zu können:

  • 10 Probanden pro Testobjekt als Orientierung, in Einzelfällen auch darunter.
  • Die Standardabweichung der einzelnen Skalen im Fragebogen wird IMMER betrachtet (ein Scatterplot der Verteilung ist hier ebenfalls hilfreich). Dies liefert sozusagen das Maß der Übereinstimmung der Probanden.
  • Bei zu hoher Standardabweichung kann der Fragebogenwert nicht als quantitative Kennzahl genutzt bzw. interpretiert werden. „Zu hoch“ ist dabei nicht festgelegt und hängt von der jeweiligen Antwortskala des Fragebogens ab.

Welche Fragebögen eignen sich für einen Usability-Test?

Die Zeit in einem Usability-Test ist kostbar und sollte daher möglichst effizient genutzt werden. Durch die standardisierten Aufgaben zu Beginn verliert man schon deutlich Zeit – daher sollte das Ausfüllen eines Fragebogens einfach und schnell sein und nebenbei auch noch das richtige Konstrukt messen. Es empfehlen sich daher wissenschaftlich entwickelte Fragebögen mit einer 5- bis 7-stufigen Likert-Skala zum Ankreuzen und ohne Textfelder. Für qualitative Ergebnisse gibt es schließlich noch den Usability-Test. Hilfreich bei der Auswahl der Fragebögen war für mich dieses Paper: Das Zusammenspiel von Website-Inhalten, Usability und Ästhetik. In dieser Studie wurde die Wirkung dieser drei Konstrukte auf Ersteindruck, Gesamteindruck, Wiederbesuchsintention und Weiterempfehlungsbereitschaft untersucht.


Konstrukte

Die Abbildung zeigt den Zusammenhang der 3 Konstrukte mit den abhängigen Variablen. Stärkere Pfeile stehen dabei für einen höheren Zusammenhang (Abbildung nach Thielsch & Moshagen (2014), ergänzt durch eResult)


Ästhetik spielt dabei vor allem für den Ersteindruck eine wichtige Rolle, aber auch Usability und Inhalt sind hier wichtig. Damit der Nutzer die Seite nicht sofort wieder verlässt, ist also die Ästhetik wichtig. Beim Gesamteindruck ist der Inhalt maßgeblicher – ist der Content für den Nutzer also interessant, bleibt er auch länger auf der Website. Für Wiederbesuchs- und Weiterempfehlungsbereitschaft ist ebenfalls der Inhalt am ausschlaggebendsten. Die Usability spielt dabei eine vermittelnde Rolle. In anderen Papern zeigt sich, dass Websites, die eine hohe Usability aufweisen, auch als ästhetisch wahrgenommen werden. Die Konstrukte sind demnach nicht unabhängig.

Welche Fragebögen, die diese Kriterien erfüllen, gibt es nun? Wir haben uns für folgende entschieden, um die zentralen Gestaltungselemente einer Website abzudecken:

Aktuell befinden wir uns noch auf der Suche nach einem standardisierten Fragebogen zur Erfassung der Inhaltsqualität der Website. Falls Sie hier einen Tipp für uns haben: Immer her damit! 🙂

Ich freue mich auf Ihre Meinung zu Fragebögen im Usability-Test und bin gespannt, wie Ihre Erfahrungen damit sind!

Mich würde zudem auch interessieren, wie Sie zu folgender Aussage stehen: „Fragebögen im Expert Review: Fragebögen als quantifizierbares Expertenurteil“ (bei N=2 Experten).

Portraitfoto: Melanie Wieland

Melanie Wieland

Senior User Experience Consultant

eresult GmbH

Bisher veröffentlichte Beiträge: 20

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.