Qualitative Usability-Methoden: Eine Entscheidungshilfe

Kennen Sie das? Kaum hat man alle Stakeholder davon überzeugt, einen nutzerzentrierten Ansatz für das Projekt zu verfolgen, stellt sich die Frage: Welche Methode soll genutzt werden? Klassischer Weise wird während der Entwicklungsphase ein formativer UX-Test angestrebt – dieser liefert qualitative Ergebnisse im Sinne von Optimierungspotenzialen. Summative UX-Tests (am Ende der Entwicklungsphase) dienen dazu, den Status Quo festzuhalten und sind meist quantitativ.

Wahrscheinlich stecken Sie mittendrin in der Entwicklung – qualitative Tests bieten sich daher an. Nur so erfahren Sie ganz konkret, was schon in Bezug auf Gebrauchstauglichkeit, Joy of Use, etc. sehr gut funktioniert und wo noch nachgebessert werden muss. In diesem Beitrag erhalten Sie einen kleinen Überblick, welche Vor- und Nachteile ausgewählte Methoden für qualitatives User Experience-Testing bieten.

Qualitative Methoden – unsere eresult-Auswahl

Um die Liste nicht ins bodenlose zu verlängern, beschränke ich mich auf unsere vier qualitativen Favoriten, welche bei eresult sehr häufig zum Einsatz kommen:

• Expertenevaluation (Expert Review)
• Asynchroner Remote Test (aRUT)
• User Feedback Day (UFD)
• Klassischer Usability Test im Labor

Zunächst werde ich die einzelnen Usability-Test-Methoden kurz erläutern – am Ende schließlich vergleichen. Dort finden Sie auch eine praktische Übersicht, die Ihnen die Auswahl für die ein oder andere UX-Methode in Ihrem konkreten Fall vielleicht sogar erleichtern kann.

Expertenevaluation

Bei der Expertenevaluation bewerten mindestens zwei geschulte Experten zunächst getrennt voneinander das Untersuchungsobjekt. Sie nutzen dabei die Methode des „Cognitive Walkthrough“ als auch Heuristiken, nach denen das Testobjekt in Hinblick auf die User Experience bewertet wird. Erst im Anschluss validieren die Experten ihre Ergebnisse gegenseitig in einem Workshop. Auch werden dort erst die Empfehlungen ausgearbeitet. Durch die Verwendung der Nutzersicht im Walkthrough und objektiver Checklisten bei der Heuristischen Evaluation (z. B. die Usability Heuristiken nach Niesen & Molich) erhält man so einen sehr guten Einblick in die Usability Probleme des Testgegenstandes.

Hervorzuheben ist, dass die Experten weniger „Kontext“ im Sinne von fertigen Screens / kompletten User Journeys etc. benötigen. Der Use Case muss nicht gänzlich fertig entwickelt sein und kann noch Lücken enthalten. UX-Experten können sich dennoch ausgiebig mit dem Testobjekt auseinandersetzen. Probanden in einem Nutzertest benötigen immer einen kompletten Use Case, ohne Lücken oder Sprünge. Auch der Entwicklungsgrad des Testgegenstands (Fidelity) kann noch sehr niedrig und unausgereift sein. Für Probanden ist – auch bei Papierprototypen – immerhin eine stringente Journey notwendig.

Asynchroner Remote Usability Test

Mein Kollege Dustin Rauch gab Ende letzten Jahres einen sehr guten Überblick über die Remote-Testing-Variante (synchron, asynchron, Desktop, mobile). Der große Vorteil von asynchronen Nutzertests (auch: automatisiert, unmoderiert) ist, dass sie im natürlichen Umfeld der Probanden und ohne den Einfluss eines Interviewers stattfinden. Die Probanden können durch die räumliche und zeitliche Unabhängigkeit den Test dann durchführen, wann es für sie am besten ist. Ein weiterer Vorteil: Tests können parallel stattfinden. Sie erhalten so also schon innerhalb eines oder weniger Tage sehr viel Input von Probanden – in einem klassischen Testsetup vor Ort ist es zeitaufwändiger.

Allerdings setzt ein asynchroner Test auch einiges voraus: Der Testgegenstand muss einwandfrei funktionieren. Zwar können auch Klickdummys getestet werden. Diese müssen aber über eine URL frei zugänglich sein und stabil performen. Nutzer attribuieren ansonsten die Performance sehr schnell auf den Testgegenstand im finalen Zustand.

Auch die Zielgruppe ist eingeschränkt: Methodisch bedingt ist diese sehr technikaffin. Planen Sie ein Projekt mit weniger technikaffinen Probanden, sind sie mit einem klassischen Labor-Test deutlich besser beraten. Dennoch gilt: Haben Sie eine Zielgruppe mit einer geringen Inzidenz, die auch noch weit verstreut (über Deutschland oder die Welt) ist, erreichen Sie diese mit einem asynchronen UX-Test deutlich effizienter!

Ein weiterer Nachteil: Man kann nicht nachfragen und den Probanden „bremsen“, wenn er in die falsche Richtung läuft. Daher ist es essentiell, die Aufgabenstellung so konkret wie möglich zu formulieren. Um dies zu gewährleisten, führen wir vor der Feldphase immer einen Pretest durch. Aber auch dann gibt es keine Garantie, dass alle Probanden die Aufgabenstellung korrekt verstehen.

User Feedback Day & klassischer Usability Test im Labor

Diese Methode ist die wahrscheinlich bekannteste – und ich finde, „am Augen öffnenste“. Der klassische Usability Test im Labor. Hier erhält man live Einblick in die Interaktionsmuster der Nutzer. Durch das Setting ist jederzeit ein Nachfragen, Nachsteuern, etc. möglich. Natürlich muss dies von geschulten User Experience- und Interview-Experten durchgeführt werden, um eine Beeinflussung der Probanden auszuschließen. So erhalten Sie auch die Erklärung auf das Stirnrunzeln, welches in einem aRUT-Test nicht weiter vom Nutzer kommentiert wird. Auch bei Verständnisschwierigkeiten können Sie hier gezielt nachfragen (und im Notfall unterstützen) als auch an der Aufgabenformulierung nachjustieren.

Der User Feedback Day und der Usability Test unterscheiden sich im Detailgrad der Konzeption und Auswertung:

• Ziel des User Feedback Days ist es, an einem Tag mit ca. 6 – 8 Nutzern (je nach Interviewlänge) die großen bis mittleren Optimierungspotenziale zu identifizieren. Durch die Stichprobengröße ist die Zielgruppenrepräsentativität eingeschränkt. Unsere Erfahrung zeigt jedoch, dass dies sehr wenig Einfluss auf die Zielsetzung hat. Der Vorteil: Schnelles Testen – schnelle Ergebnisse. Innerhalb weniger Tage liegen konkrete Optimierungspotenziale vor – sie erhalten hier die 15 – 20 größten UX-Probleme und Potenziale (die Key Findings). Der User Feedback Day findet dabei regelmäßig statt – alle 1 bis 2 Monate. Der Testgegenstand variiert dabei und muss nicht immer der gleiche sein.
• Bei einem klassischen Usability Test werden deutlich mehr Probanden eingeladen – die Zielgruppe wird repräsentativ abgebildet. So zeigen sich in der Analyse (welche ebenfalls detaillierter erfolgt) auch zielgruppenspezifische Ergebnisse. Man erhält einen tiefen Einblick in das Verhalten und die Motive der Nutzer. Je nach Stichprobengröße können hier sogar quantitative Methoden (wie z. B. standardisierte UX-Fragebögen) zum Einsatz kommen. Der Umfang eines Berichts aus einem klassischen Usability Test ist deutlich größer (ca. 2 – 3-mal so ausführlich wie bei einem User Feedback Day) und nimmt auch detaillierte Fragestellungen einzelner Fachabteilungen unter die Lupe.

Die Qual der Wahl – eine Entscheidungshilfe

Damit Sie nun einen schnellen Überblick über die vier vorgestellten Vorgehensweisen erhalten, habe ich folgende Tabelle zusammengestellt. Diese ist natürlich keineswegs vollständig – ich freue mich hier auf einen regen Austausch und ergänze gerne! Denn wie immer gibt es hier keine finale, umfängliche Antwort – es kommt drauf an! Wir führen alle 4 Methoden sehr häufig und mit großem Erfolg durch (auch kombiniert!).

Hier finden Sie unseren Usability Methoden-Vergleich auch als PDF: Methoden-Vergeich

Gerne unterstützen wir Sie bei der Planung Ihrer UX-Tests und stehen mit Rat und Tat zur Seite. Natürlich bieten wir bei eresult nicht nur diese vier Methoden an! Schauen Sie einfach mal auf unserer Website www.eresult.de vorbei oder rufen Sie an!