Nutzertest im Labor vs. Expertenbasierte Evaluation: Wann welche Methode?

In der amerikanischen Version unseres Features „Fragen an…“ auf uxmatters.com gibt es eine sehr ausführliche und meiner Meinung nach hochwertige Diskussion über die Stärken und Schwächen beider Methoden und der Frage, unter welchen Voraussetzungen man sich für eine der beiden Methoden entscheiden sollte.

Grundsätzlich: Um entscheiden zu können, welche Methode aus der umfangreichen Usability-Toolbox man am Ende auswählt, muss man sich zuallererst folgende Fragen stellen:

  • In welcher Entwicklungsphase befinde ich mich?
  • Was für Fragestellungen sollen beantwortet werden?
  • In welcher Form liegt die Anwendung bzw. Website vor (schematische Wireframes, grafisch ausgestaltete Screens, interaktiver Klick-Dummy etc.)?
  • Welche Ressourcen und welcher Zeitrahmen stehen zur Verfügung?
  • Welche Zielgruppe wollen Sie erreichen bzw. zum Testen heranziehen?

Im Groben sind dies auch die „main drivers“ die Daniel Szuc (Principal Usability Consultant at Apogee Usability Asia; Founding Member and President of the UPA China Hong Kong Branch) beschreibt. Und diese führen auch aus seiner Sicht nicht dazu, dass es zwangsläufig zu einer der beiden Usability-Methoden führen muss(!). Aber belassen wir es erst einmal bei der Diskussion dieser „Klassiker“.

Hier einmal eine Zusammenstellung der Stärken & Schwächen beider Methoden (ohne Anspruch auf Vollständigkeit):

Expertenbasierte Evaluation (nachfolgend auch Expert Review genannt)

Stärken Schwächen
  • Stellt eine zeiteffiziente und kostengünstige Alternative zu empirischen Erhebungen wie Usability-Tests dar.
  • Profitiert von den umfangreichen Erfahrungen und Kenntnissen der Evaluatoren zu Usability-Problemen und deren Lösung.
  • Benötigt keinen interaktiven Prototyp (Papier-Prototyp oder Spezifikation der Website reicht aus).
  • Kann bereits am Anfang des Entwicklungsprozesses durchgeführt werden.
  • Basiert auf anerkannten Prinzipien (Guidelines, Heuristiken, etc.)
  • Die Aufgabenstellung darf nicht allzu domänenspezifisch sein, ansonsten muss der Test mit echten Benutzern konzipiert werden.
  • Erfordert ein umfassendes Domänen- bzw. Branchenwissen.
  • Ergebnis ist stark vom Wissen des Evaluators abhängig.
  • Erfahrungsgemäß decken die Experten mehr (potentielle) Problemstellen auf, als reale Nutzer.

Usability-Test im Labor (nachfolgend auch Nutzertest genannt)

Stärken Schwächen
  • Liefert umfangreiche qualitative Daten, die zeigen, wie echte Benutzer eine Website handhaben.
  • Ermöglicht die Erhebung diverser Metriken bei der Aufgabenerledigung.
  • Vereint mehrere Erhebungsmethoden/Testverfahren in einem: Beobachtung und Befragung der Testpersonen, Eyetracking, Thinking aloud oder Retrospective Thinking.
  • Im Fokus steht nicht nur Gebrauchstauglichkeit auf funktionaler Ebene, sondern auch weiche Faktoren wie Joy of Use, brand awareness und Vertrauen.
  • Die Videoaufnahmen von Tests sind sehr aufschlussreich und überzeugend.
  • Benötigt mind. einen bedingt funktionalen Prototyp, damit die Testpersonen typische Aufgaben erledigen können.
  • Die Laborumgebung entspricht nicht immer 100% der realen Nutzungsumgebung.
  • In der Regel können aus Zeitmangel nur ausgewählte Funktionsbereiche getestet werden.
  • Es ist ein hoher Ausrüstungs- und Organisationsaufwand notwendig, um solche einen Tests durchzuführen.
  • Es besteht die Gefahr des „Versuchsleitereffekts“.
  • Erfordert Expertenkenntnisse sowohl in der Vorbereitung als auch bei der Auswertung.
  • Aufgrund des hohen Aufwandes ist die Durchführung meist auf eine kleine Stichprobe von ca. 10 bis 20 Testpersonen beschränkt.

Die Gegenüberstellung zeigt die deutliche Berechtigung beider Methoden.
Stephanie Rosenbaum (CEO of pioneering UX consultancy Tec-Ed, Inc., and a charter member of UPA) bringt es in Hinblick auf die Expertenbasierte Evaluation ganz gut auf den Punkt:

„The results of expert review are not actual, primary user data and should lead to – not replace – user research.“

Jim Ross (Principal of Design Research at Electronic Ink) ergänzt hierzu, dass…

„Expert reviews are especially useful for finding violations of usability standards and best practices. These are often obvious problems that may or may not cause problems during usability testing.“

Was aber nicht heißen soll, dass sich Expert Reviews nur auf das Abarbeiten von Checklisten oder Heuristiken beschränken (sollten). Es ist vielmehr wichtig und auch ein wesentliche Stärke der Methode, dass sich die Experten aufgrund Ihrer Methoden-Knowhows und Ihrer Branchenerfahrung sowohl den Kunden als auch seine Strategische Ausrichtung verstehen – von der Zielgruppe ganz abgesehen. Zudem fördern Expertenbasierte Evaluationen auch viele hilfreiche Informationen in bezug auf mögliche konzeptionelle Weiterentwicklungen – eben aufgrund der langjährigen Erfahrung der UX-Experten in anderen, vergleichbaren Projekten.

Später im Projekt macht dann ein Nutzertest Sinn, um laut Mike Hughes (User Assistance Architect at IBM Internet Security Systems; UXmatters columnist ) folgender Frage nachzugehen:

„How effective is a particular user interface in supplying a successful and satisfying user experience for a specific context?“

Rosenbaum fügt zudem an, dass…

„[…] In contrast, the behavioral data – often including metrics – of usability testing is reassuring to corporate managers, especially in engineering-driven organizations. Usability testing also has a strong psychological benefit for the observers.“

Daraus ableitend sollte eine Expertenbasierte Evaluation bestenfalls nicht die einzige Evaluationsmethode sein/bleiben bei der (Neu-)Entwicklung einer Website oder Applikation. Aufgrund der relativ kurzen Projektdauer und dem hohen Erkenntnisgewinn kann eine Expertenbasierte Evaluations als „Projektauftakt“ gesehen werden – vorbereitend für weitergehende Analyse wie z. B. einen Nutzertest im Labor. Teilweise aber auch einfach nur, damit sich Agentur und Kunde besser kennenlernen und einander verstehen.

Diese Vorgehensweise macht aus der allgemeinen Sicht der UX-Experten Sinn, da ein…

„[…] Expert review harvests the low-hanging fruit. We can make improvements immediately, so our test participants don’t spend half their sessions struggling with the same obvious usability problems. Plus, these problems can mask other equally important issues that we would have found if we had already addressed the problems we identified during an expert review.“

D.h. dort wo der Erkenntnisgewinn der expertenbasierten Evaluation aufhört, sollte der Usability-Test im Labor ansetzen, um die Reaktionen und Emotionen der Nutzer im Umgang mit dem Testobjekt ganzheitlich zu beleuchten. Diese Meinung teilt auch Daniel Szuc mit folgender Aussage:

„Usability testing’s main advantage is hearing the voice of the customer – quotations, frustrations, sighs, needs, and suggestions for improvements. You can better understand whether your product meets a user’s expectations through usability testing.“

Aufgrund dieser Tatsache läuft man jedoch ggf. Gefahr zu denken, dass Usability-Testing sich immer etwas am finalen Produkt abspielen muss(!) Quasi der Usability-Test als finaler Meilenstein. Dieses „falsche“ – teilweise immer noch vorherrschende – Verständnis soll durch die angesprochene Methoden-Kombination keinesfalls aufkommen. Durch mehrstufiges Testing mit Nutzern (teilweise auch Rapid Prototyping genannt) ist es möglich und auch sinnvoll schon ohne vollständig funktionale Beta-Version zu testen.

Fazit

Dem Resümee der UXmatters-Autoren kann man sich nur anschließen: „There Is No User-Centered Design Without Users.“ Zuallererst sollte eine Expertenbasierte Evaluation im Projekt durchgeführt werden, auf die dann ein Usability-Test mit repräsentativen Nutzern folgt.

Sollten Sie sich doch einmal zwischen den beiden Methoden entscheiden „müssen“, sollte Sie (laut UXmatters) vier wesentliche Punkte beachten:

  • Schedule – If your time is extremely limited and you have experts readily available, expert review can yield faster results than usability testing.
  • Budget – Similarly, a modest expert review costs less than a modest usability test.
  • Impact and validity – If no other user research will take place before a product’s release, conducting only an expert review puts you in a risky situation. If you don’t test with users before release, you will be testing with customers after release.
  • Corporate culture – How much does your organization value expert advice? Will they act on it? If you’re in doubt, make a greater effort to find the time and budget for usability testing.

Bedenken Sie aber auch, dass es noch andere zahlreiche UX-Methoden gibt, wie z. B. den sog. Pluralistic Walkthroughs. Bei dieser Methode evaluieren erfahrene Usability-Experten gemeinsam mit Entwicklern und Nutzern im Rahmen einer Gruppenexploration/-diskussion eine Website bzw. Applikation anhand typischer Nutzungsszenarien. Meist handelt es sich dabei um eine erste Beschreibung der Website bzw. Applikation (z. B. in Form eines Papierprototypen oder einer schriftlichen Spezifikation).

4 Gedanken zu „Nutzertest im Labor vs. Expertenbasierte Evaluation: Wann welche Methode?

  1. Pingback: Twitter Trackbacks for Nutzertest im Labor vs. Expertenbasierte Evaluation: Wann welche Methode? | usabilityblog.de [usabilityblog.de] on Topsy.com

  2. Pingback: uberVU - social comments

  3. Pingback: Themen im Oktober 2009: Protyping, Kinder & Internet und Shop-Usability | usabilityblog.de

  4. Pingback: Die Qual der Methodenwahl - Helfen Methodenmatrizen? - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *