Messen, zählen, vergleichen – diese Metriken können Usability-Tests bereichern

Abacus Euro

Die Beobachtung von Nutzern im Usability-Labor ist immer spannend und aufschlussreich. Ihr Verhalten, ihre Aussagen und Reaktionen sind ehrliches Feedback – direkt von denen, für die eine Website oder mobile Anwendung entwickelt wurde. Da es sich um eine qualitative Methode handelt, werden die Daten in der Regel nicht in Form von Zahlenwerten oder Häufigkeiten interpretiert.

Dennoch kann es gute Gründe geben, die Beobachtungsdaten zu quantifizieren. Vor allem, wenn Vergleiche zu früheren Erhebungen angestellt werden sollen, sind eindeutige bzw. nummerische Messdaten von Vorteil. Der folgende Beitrag zeigt eine Auswahl von Metriken, die im Rahmen eines Usability-Tests gemessen werden können.

Aus den unzähligen Möglichkeiten möchte ich nur geläufige bzw. in der Praxis oft verwendete Metriken aufführen. Meist werden sie in folgende Kategorien eingeteilt:

Effectiveness – Metriken zur Messung der Zielerreichung

  • tasks completed: Wie viele Aufgaben wurden erledigt? Erfassung der absolut erledigten Aufgaben und des Verhältnisses zu den insgesamt gestellten Aufgaben (Prozentwerte). Jeder Testperson wird eine bestimmte Anzahl von Aufgaben gestellt. Es wird festgehalten, ob eine Aufgabe erledigt wurde oder nicht.
    Außerdem ist noch interessant festzuhalten, ob die Aufgabe einfach oder mit gewissen Schwierigkeiten gelöst wurde. Manchmal wird eine Aufgabe vielleicht auch nur teilweise gelöst, was auch in die Auswertung einfließen kann.
  • number of features used: Wie viele Funktionen wurden während der Bearbeitung einer Aufgabe genutzt? Auch hier können absolute oder relative Werte angegeben werden. Wenn es um Hilfe-Funktionen geht, gibt es Überschneidungen zur Zufriedenheit. Jedoch ist gerade bei Anwendungen mit einer Vielzahl von angebotenen Funktionen interessant, inwiefern diese auch genutzt werden.
    In Verbindung dazu kann auch erfasst werden, bei wie vielen Funktionen der Zweck vom Nutzer erfasst wurde (auch wenn sie nicht genutzt wurden).

Efficiency – Metriken zur Messung der Effizienz

  • time per task: Wie lange hat es gedauert, bis die Aufgabe gelöst wurde? Hierbei die Zeit gestoppt, bis der Nutzer ans Ziel gelangt ist. Meist werden Durchschnittswerte berechnet und diese dann nach bestimmten Zielgruppenmerkmalen differenziert.
  • time to learn: Zeit, die zum Erlernen einer Funktion o.ä. benötigt wurde. Es muss jedoch eindeutig festzulegen sein, wann eine Funktion als erlernt gilt. Auch Lernschritte sind ein mögliches Kriterium.
  • controllability: In Anlehnung an die Heuristik „Steuerbarkeit“ wird erfasst, wie viele Einflussmöglichkeiten es gibt und wie viele Eingaben tatsächlich getätigt wurden. Sehr interessant, um überflüssige Elemente/Funktionen zu identifizieren. Wenn also entdeckt wurde, dass nur ein geringer Prozentsatz der Möglichkeiten genutzt wird, können die Ursachen erforscht werden: Werden Elemente nicht gesehen, nicht gebraucht oder wird der Zweck nicht verstanden? Deshalb kann neben den genutzten auch die Anzahl von verstandenen Funktionen erfasst werden.

Satisfaction – Metriken zur Messung der Zufriedenheit

  • functions/features rating: Es existieren viele unterschiedliche Messinstrumente zur Messung der Zufriedenheit in Bezug auf Funktionen oder ganzen Anwendungen. Meist soll der Nutzer hierbei im Anschluss an die Bearbeitung einer oder mehrerer Aufgaben einen kurzen Fragebogen ausfüllen. Dabei kann entweder der Nutzen oder die Zufriedenheit mit einer Funktion in den Vordergrund gestellt werden.
  • times of frustration/anger: Wie oft wurde Ärger oder Unmut kundgetan? Wenn nicht verbal: Wie oft gab es mimische Ausdrücke von Ärger oder Unverständnis?
  • support: Hierunter würde ich Messungen in Bezug auf die Unterstützung des Nutzers durch Hilfefunktionen oder Fehlermeldungen fassen. Vor allem ist interessant, inwiefern der Nutzer die Meldungen wirklich hilfreich fand, sie verstanden und umgesetzt hat.

Diese kleine Sammlung könnte sicherlich problemlos ergänzt werden. Bei der Entwicklung und Evaluation von Software sind zum Beispiel auch oft Metriken in Bezug auf Mausklicks und Klickpfade gefragt. Bevor man wild drauf los misst, sollte man sich jedoch überlegen, welche Kennzahlen für den jeweiligen Untersuchungsgegenstand wirklich relevant sind. Auch Thesen in Bezug auf Schwachstellen der Anwendung sind wichtig. Wie genau die Metriken im Rahmen eines Usability-Tests erhoben werden, erfahren Sie in spätestens zwei Wochen in einem weiteren Beitrag zu diesem spannenden Thema.

2 Gedanken zu „Messen, zählen, vergleichen – diese Metriken können Usability-Tests bereichern

  1. Pingback: Usability-Metriken – Was hat es damit auf sich und welchen Nutzen haben sie? | usabilityblog

  2. Pingback: New York, Rio, Tokyo,…International Usability Testing | Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.