Die Qual der Methodenwahl – Helfen Methodenmatrizen?

In jedem Projekt stellt sich unseren Kunden und uns die Frage, welche Methode die Fragen an den Untersuchungsgegenstand am besten beantworten kann. Es exisitieren zahlreiche Versuche User Experience und Usability Methoden zu klassifizieren, so dass die Auswahl einer passenden Methode zumindest eingegrenzt wird. Doch wie hilfreich sind diese Methodenmatrizen in der Praxis?

Feedback einholen – Aber wie?

Wer sich mit der Entwicklung von komplexen Systemen auseinandersetzt, sollte Feedback von Nutzern des Systems einholen. Häufig wird hierzu ein klassischer Usability-Test im Lab als optimale Lösung erachtet – Oft auch weil es die bekannteste Methode ist. Dabei gibt es so viele Methoden mit völlig unterschiedlichen Stärken – und natürlich Schwächen. Doch welche Methode liefert die passenden Antworten für die nutzerzentrierte Weiterentwicklung?

Mit Sicherheit sind die Methoden, die wir momentan bei eResult hauptsächlich nutzen, nicht vollständig. Ihre Anzahl macht jedoch bereits deutlich, dass es neben dem klassischen Usability-Test eine Vielzahl weiterer Methoden gibt.

Wir unterstützen unsere Kunden zumeist mit Expert Reviews, Tiefeninterviews, Contextual Inquiry, Fokusgruppen, Personas, Ideation und Creation Workshops, Nutzertagebüchern, Customer Journey Maps, online oder offline Card Sorting, iterativen Klickdummy-Tests, UX Labtests, synchronen und asynchronen Remote Usability Tests, AB-/ multivariaten Testing, Eye-Tracking, Webtracking Analysen, Online-Umfragen und Kunden-Communities.

Wie erleichternd wäre es doch, wenn man anhand weniger Kriterien die passende Methode auswählen könnte. Diesem Wunsch entsprechend gibt es zahlreiche Versuche die gängigen Methoden zu klassifizieren. Lässt sich die multdimensionale Methodenauswahl wirklich so weit herunterbrechen? Lassen sich mit Hilfe dieser Matrizen wirklich die passenden Methoden bestimmen?

Klassifizierungskriterien: Gegenstand der Beobachtung und Erhobene Daten

Christian Rohrer von Capital One beschäftigte sich mit dieser Fragestellung in Jacob Nielsens beliebter Alertbox. Rohrer unterscheidet die Methoden zunächst anhand zweier Dimensionen (siehe hierzu auch Martin Beschnitts Beitrag):

  • Gegenstand der Beobachtung: Was muss beobachtet werden? Verhalten oder Aussagen? Was Nutzer tun oder was Nutzer sagen?
  • Beschaffenheit der erhobenen Daten: Welche Art von Daten sollen erhoben werden? Qualitative oder quantitative Daten? Sollen eher “Warum”- oder “Wie viel”-Fragen beantwortet werden?



2D-Matrix

Abb. 1: 2D-Matrix: Gegenstand der Beobachtung und Beschaffenheit der erhobenen Daten


Diese erste Unterscheidung ist sicher hilfreich, um die Suche nach einer geeigneten Methode weiter einzugrenzen. Rohrer erweitert diesen Ansatz in einem weiteren Schaubild um den Aspekt:

  • Produktnutzung: Muss die Nutzung des Produktes bei der natürlichen Nutzung beobachtet werden? Sollte der Nutzer ohne die konkrete Nutzung von seinen Erlebnissen mit dem Produkt berichten? Kann die Nutzung im Lab anhand eines szenariobasierten Tests stattfinden? Oder handelt es sich bei der Methode um ein Hybrid aus zuvor genannten Ansätzen?



3D-Matrix

Abb. 2: 3D-Matrix: Gegenstand der Beobachtung/ Beschaffenheit der erhobenen Daten/Produktnutzung


In Abbbildung 2 stellt Rohrer somit dar

  • welche Arten von Daten wir erhalten (attitudinal/ behavioral und qualitativ/quantitative), wenn wir bestimmte Methoden verwenden
  • und inwiefern die Methoden eine natürliche Nutzung des Produktes dokumentieren (freie Nutzung/szenariobasierte Nutzung/keine Nutzung/Kombination).

Klassifizierungskriterien: Projektphase im User-Centered Design Prozess

In einer zusätzlichen Tabelle ordnet Rohrer die Methoden verschiedenen Projektphasen zu: Befindet sich das Produkt noch in der Konzeptionsphase? Sollen einzelne Designs in der Entwicklung getestet werden? Soll ein vorhandenes System bewertet werden?


Projektphasen

Abb. 3: Zuordnung der Methoden zu Projektphasen


Die Visualisierung dieser Überlegungen ist nicht einfach. Dies zeigt sich auch darin, dass Rohrer diese weitere Dimension nicht in Abb.2 integriert hat.

Auch wir bei eResult haben die Methoden nach den Phasen im User Centered Design (UCD) Prozess geordent. Diese Zuordnung sollte nicht zu eng interpretiert werden. Beispielsweise kann eine Fokusgruppe durchaus auch während der Phase “Research” Sinn machen. In unserer Abbildung 4 werden die Methoden auch Endprodukten im UCD Prozess zugeordnet (siehe orangene Boxen). So lässt sich erkennen welche Methoden genutzt werden können um ein bestimmtes Produkt im UCD Prozess zu erzeugen: Um eine Informationsarchitektur zu prüfen oder neu zu erstellen bietet sich beispielsweise Card Sorting an.


Phasen

Abb. 4: Phasen im UCD Prozess/ Ziel/ Methoden


Klassifizierungskriterien: Aktivitäten der UX-Professionals

Um es noch ein bisschen komplizierter zu machen, lassen sich die Methoden auch darin unterscheiden, ob sie sich besonders eignen, um Ideen zu validieren, Probleme zu erkennen, Ideen zu sammeln oder Ideen zu bewerten (siehe Abbildung 5). Hier werden die Methoden im Hinblick auf die Aktivitäten des UX Professional geordnet.


Methoden_und_Aktivitäten

Abb. 5: Methoden und Aktivitäten


Klassifizierungskriterien: Akteure und Usability Richtlinie

Es lassen sich noch weitere Kategorien finden, nach denen man die zahlreichen Methoden klassifizieren kann. So kann man diese auch in Methoden unterteilen, welche auf das Know-How von Experten angewiesen sind und in solche, bei denen die wirklichen Nutzer im Vordergrund stehen. Der Expert-Review gehört dann zur ersten Kategorie. Der Lab-Test kann zur zweiten Kategorie gezählt werden.

Außerdem ist es denkbar die Methoden danach zu ordnen, welcher Aspekt der Usability eines Systems (Effektivität, Effizienz und Zufriedenstellung) sich mit der Methode untersuchen lässt. Die Zufriedenstellung der Kunden mit einem bestimmten Produkt lässt sich hervorrragend mit standardisierten Fragebögen, wie dem UEQ, SUS oder SUMI testen. Effektivität und Effizienz eines Systems lassen sich gut in einem Lab-Test untersuchen. Die Effizienz eines Systems kann auch mit einem Tree-Testing Tool (z. B. Treejack von Optimal Workshop) unter die Lupe genommen werden. Hierbei wird unter anderem die Zeit gemessen, die Nutzer benötigen um eine bestimmte Aufgabe zu lösen.

Fragestellungen müssen klar definiert werden

Wie wir sehen, gibt es viele Möglichkeiten UX und Usability Methoden zu klassifizieren – und ich erhebe keinesfalls einen Anspruch auf Vollständigkeit. In unserer längjährigen Projekterfahrung zeigt sich jedoch, dass eine noch so ausgefeilte Methodenmatrix nicht das Know-How von Experten ersetzen kann. So zeigen die hier vorgestellten Matrizen vor allem wieviele verschiedene Facetten einer Methode gekannt und beurteilt werden müssen um die passende Methode auszuwählen.

Dabei haben ich darauf verzichtet die Stärken und Schwächen einzelner Methoden zu thematisieren (siehe hierzu beispielsweise Martin Beschnitts Beitrag). Das Abwägen der Stärken und Schwächen ist bei der Methodenwahl entscheidend. Dabei zeigt sich, dass praktische Erfahrungen nicht durch theoretisches Wissen zu ersetzen sind. Erlebte Stärken und Schwächen einer Methode bleiben sehr gut in Erinnerung.

Ein wesentlicher Faktor muss hier noch erwähnt werden: Um eine passende Methode auszuwählen müssen Fragen und Probleme klar definiert werden. Nur dann können die passenden Methoden ausgewählt werden um im UCD Prozess effektiv und effizient voranzuschreiten.

Da diese Fragestellungen immer sehr individuell und einzigartig sind, ist es schwierig eine “Methode von der Stange” zu empfehlen. Oft passen wir Methoden an die Bedürfnisse unserer Kunden an und entwickeln diese weiter. Ein nicht zu vernachlässigender Faktor ist hierbei auch die zur Verfügung stehende Zeit. In agilen Sprints fehlt oft die Zeit, um zeitaufwendige Research Methoden anzuwenden (siehe dazu Jan Pohlmanns Beitrag).

Es gibt aus meiner Sicht somit keine Methodenmatrix, die mir die Entscheidung abnehmen kann. Diese Frage ist zu multidimensional. Dennoch können Methodenmatrizen als grobe Richtlinie und als Überblick hilfreich sein. Letztendlich kommen immer mehrere Methoden in Frage. Häufig ist es hilfreich Methoden und ihre jeweiligen Stärken zu kombinieren. Bei der Methodenwahl hilft es jedoch immer sich zunächst einige Fragen zu beantworten:

  • In welcher Entwicklungsphase befinde ich mich?
  • Was für Fragestellungen sollen beantwortet werden?
  • In welcher Form liegt die Anwendung bzw. Website vor (schematische Wireframes, grafisch ausgestaltete Screens, interaktiver Klick-Dummy etc.)?
  • Welche Ressourcen und welcher Zeitrahmen stehen zur Verfügung?
  • Welche Zielgruppe wollen wir erreichen bzw. zum Testen heranziehen?

3 Gedanken zu „Die Qual der Methodenwahl – Helfen Methodenmatrizen?

  1. Pingback: Quant + Qual - Ein effektives Methodenteam - Usabilityblog.de

  2. Pingback: Unterschied UX und Usability am Beispiel der Nutzung einer Kaffeemaschine - Usabilityblog.de

  3. Pingback: Usability-Forschung im agilen Kontext: Wie können wir sie besser integrieren? - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.