Es wird Zeit die Zeit zu messen: UX Metriken für noch mehr Qualität bei Usability-Tests!

Laptop zeigt Grafiken und Diagramme.

Wann haben Sie das letzte Mal eine Metrik im Labtest gemessen, beispielsweise die benötigte Anzahl an Tätigkeiten beim Lösen einer Aufgabe und die dafür nötige Zeit?

Sollte die Antwort lauten „Beim letzten Mal. Das mache ich immer.“, dann gehören Sie zur Mehrheit der UX Tester in Deutschland: Aus mehr als 3 Dutzend Gesprächen mit UX Professionals in Deutschland während zahlreichen UX Stammtischen, Usability-Testessen und UX Veranstaltungen habe ich erfahren, dass 6 von 10 UX-Professionals stets Metriken in ihren Tests mit Nutzern erheben.

Die Erfassung der Erfolgsrate, Anzahl an Handlungen und Zeit bei der Aufgabenbearbeitung und auch der Einsatz von Fragebögen (SUS, UEQ) finden besonders häufig statt. Und das nahezu unabhängig davon, ob die Tests im Lab oder als Remote UX Tests durchgeführt werden.

Für mich nachvollziehbar, sind solche Erhebungen doch mehr als nützlich:

  • UX Metriken erlauben vielfältige Vergleiche,
    beispielsweise hinsichtlich diesen Fragestellungen:
    • Welche Effekte haben Weiterentwicklungen zwischen zwei Erhebungen auf die Zufriedenheit und die Effizienz beim Umgang mit den Anwendungen?
    • Wie effizient und zufriedenstellend lässt sich eine Anwendung im Vergleich zu den Anwendungen von Mitbewerbern bedienen?
  • UX Metriken helfen Wissen aufzubauen:
    Werden die Metrik-Daten mit beschreibenden Merkmalen der jeweiligen Anwendung verknüpft, dann lassen sich über die Zeit Datenbankabfragen stellen wie beispielsweise:
    Reduziert die Anzahl an Rubriken in der Navigation die wahrgenommene Zufriedenheit mit und Schnelligkeit bei der Suche nach Informationen?

UX Metriken steigern damit den Aussagegehalt von Tests deutlich und tragen mittel- und langfristig auch dazu bei, dass Tests immer effizienter geplant und durchgeführt werden können.

In meinem Beitrag möchte ich Ihnen einige Metriken vorstellen und beschreiben, wie Sie diese erheben, dokumentieren und verwerten können, um die beschriebenen Vorteile zu erschließen. Das auch mit dem Ziel, dass die Ermittlung und die Verwendung von Metriken bald zur Basisleistung jedes (guten) UX Tests gehören.

Los geht’s mit der wohl bekanntesten und nahezu immer eingesetzten Metrik: Der Ermittlung von Usability-Problemen. Diese sollten kategorisiert und in der Häufigkeit des Auftretens ausgewiesen werden auf Basis der Grundsätze der Dialoggestaltung (ISO 9241-110).

Häufig wird die Problemsammlung und Kategorisierung angereichert um eine Bewertung der Schwere des Problems. 3 bis 5 wertige Abstufungen haben sich dabei bewährt.

Ebenfalls ein Klassiker unter den Metriken: Erfolgsrate.

Diese Metrik zeigt an, wie viele Testteilnehmer/-innen ein zielführendes Verhalten bei der Bearbeitung einer Aufgabe zeigten. Je nach Untersuchungsgegenstand und Aufgabenstellungen ist es ratsam, neben der objektiven Erfolgsmessung (Ziel erreicht: Ja/Nein) auch eine subjektive Bewertung der Zufriedenheit mit der Aufgabenbearbeitung zu erfragen. Das bietet sich vor allem dann an, wenn eine Aufgabe komplex in der Bearbeitung oder die Aufgabe auf unterschiedliche Weise lösbar ist.

Die Messung der Erfolgsrate kann ergänzt werden um eine Bewertung der Aufgabenschwierigkeit. Diese Metrik sollte unmittelbar nach der Formulierung der Aufgabe (Use-Case) erfragt werden. Gemessen wird damit im Prinzip die Erwartung an die Aufgabenschwierigkeit. Diese Messung ermöglicht die im Test gestellten Aufgaben mit einem Schwierigkeitsgrad auszuweisen, danach in eine Rangfolge zu bringen und mit der Erfolgsrate sowie der wahrgenommenen Zufriedenheit mit der Aufgabenbearbeitung zu kombinieren.

Bestenfalls wird die Aufgabenschwierigkeit noch einmal am Ende der Aufgabenbearbeitung bewertet und mit der zuvor angegebenen Erwartung an die Aufgabenschwierigkeit verglichen. Bei einer Betrachtung über mehrere Aufgaben hinweg können auf diese Weise Lern- und Gewöhnungseffekte und die Schnelligkeit deren Eintretens beobachtet werden.

Die Anzahl an Fehlern bei der Aufgabenbearbeitung bietet ebenfalls eine gute Grundlage zur Analyse der UX und Herleitung von Optimierungsempfehlungen. Es ist jedoch sicherlich eine der am schwierigsten zu messenden Metriken, worin dann auch deren geringe Verbreitung begründet ist.

Nicht immer ist es eindeutig und objektiv möglich eine gezeigte Tätigkeit während der Aufgabenbearbeitung als nicht-zielführend einzustufen. Daher muss diese Metrik im Team von 2-3 UX Experten ermittelt werden, getrennt voneinander, und im Nachgang die Ergebnisse gegenübergestellt werden.

Die Aufgabenbearbeitungsdauer („Task Time“) und die Anzahl an Klicks („Page-Views“) bzw. Handlungen je Aufgabenstellungen lassen sich dagegen wieder sehr einfach und oft auch mit Hilfe von Tools „maschinell“ auswerten.

Das gilt auch für die Ermittlung der Zufriedenheit mit einer Anwendung mit Hilfe von UX-Fragebögen und Skalen (z. B. SUS, UEQ).

Zur Messung von Metriken sind neben der nötigen Erfahrung und Kenntnis von UX-Normen und Richtlinien, einem Team aus Interviewer(n) und Beobachter(n) auch Tools nötig.

Empfehlenswert sind bewährte Skalen, eine Befragungssoftware, die auch für mobile Anwendungen einsetzbar ist, nicht zwingend aber hilfreich Eye-Tracker und Instrument zur Messung der Aktivierung (z. B. über die Erfassung der Veränderungen bei Hautleitwiderstand), und natürlich eine Event-Logging-Software, um Verhalten aufzuzeichnen und zuverlässig auswerten zu können.

UX Tests mit einer Ermittlung von Metriken sind damit nicht billig, jedoch auf jeden Fall ihren Preis wert!

Portraitfoto: Thorsten Wilhelm

Thorsten Wilhelm

Gründer & aktiver Gesellschafter

Nutzerbrille

Bisher veröffentlichte Beiträge: 11

3 Kommentare

  • Martina

    Klasse Beitrag, ich finde es wichtig, UX ‚be-greifbar‘ zu machen.
    Bei der ‚Bewertung der Schwere des Problems‘ versuche ich hingegen, ungerade Nummern an Auswahlmöglichkeiten zu vermeiden, um die Probanden zu einer Entscheidung zu bewegen, anstatt den gemütlichen Mittelweg zu nehmen. Es gibt hier unterschiedliche Meinungen drüber.

  • Patrick

    Vielen Dank für Ihren Beitrag. Wenn man die einzelnen Aktionen von Nutzern aufzeichnet, dann lassen sich daraus auch automatisiert die gleichartigen Aktionskombinationen der Nutzer als Repräsentation der Lösung einer Aufgabe ermitteln. Mann kann also ermitteln, welche Nutzer die gleichen Schritte für die Lösung einer Aufgabe gegangen sind. Wenn man dann von den aufgezeichneten Aktionen die gleichartigen Aktionskombinationen mit den nicht-gleichartigen ins Verhältnis setzt, lässt sich eine Metrik ableiten, die die Nutzerführung (user guidance) repräsentiert. Klingt etwas kompliziert, ist aber voll automatisierbar und demnach recht einfach einzusetzen. Beschrieben ist das ganze zusammen mit anderen automatisierbaren Auswertungen hier: http://ediss.uni-goettingen.de/handle/11858/00-1735-0000-0028-8684-1.

  • Pingback: 20 UX KPIs/-Metriken, die Sie lieben werden - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert