Usability-Metriken – Was hat es damit auf sich und welchen Nutzen haben sie?

Stoppuhr

Usability-Tests werden hauptsächlich eingesetzt um Schwachstellen und Optimierungspotentiale einer Anwendung zu identifizieren. Z.B. im Sinne einer Status-quo-Analyse vor einem anstehenden Redesign oder am Anfang des nachfolgenden Entwicklungsprozesses, wo zwingend notwendige Änderungen an der neuen Anwendung noch kostengünstig zu realisieren sind. Diese qualitativen Studien dienen vor allem der Gewinnung von detaillierten Einsichten in die Nutzung bzw. den Umgang der Nutzer mit der Anwendung.

Meist handelt es sich dabei um punktuelle Studien, die in dieser Form nicht mehr wiederholt werden.

Eigentlich schade, denn durch das zusätzliche Erheben von formalen Usability-Metriken (auch Performanzwerte genannt) ergibt sich die Möglichkeit, die Ergebnisse von qualitativen Usability-Tests messbar und somit vergleichbar zu machen!

Was sind Usability-Metriken?

Usability-Metriken gibt es viele. Anbei einmal eine Auswahl der geläufigsten (geclustert nach der technischen Definition von Usability)

  • Effectiveness (Z.B. Percent of tasks completed, Ratio of successes to failures etc.)
  • Efficiency (Time to complete a task, Percent or number of errors, Frequency of help or documentation use)
  • User satisfaction (Rating scale for satisfaction with functions and features, Number of times user expresses frustration or anger)

Weitere Beispiele siehe unter http://www.usabilitymetrics.com/usability-metrics.html

Welchen Nutzen haben Sie von Usability-Metriken?

Die Erhebung von Usability-Metriken eröffnet u.a. folgende Möglichkeiten:

  • Erfolgskontrolle zwischen zwei Releases: Funktioniert die neue Version „besser“ als die alte? Wenn ja/nein, wie hoch ist die Verbesserung/Verschlechterung? Was sind die Gründe dafür?
  • Wettbewerbsbenchmark: Wie kommt die Zielgruppe zurecht mit den Anwendungen der Wettbewerber? Wie stehen Sie im Vergleich zu diesen? An welchen Stellen besteht Optimierungspotential?
  • Jährlicher Gesundheitscheck: Was hat sich seit dem letzten Jahr getan bei Ihrer Zielgruppe? Wo stehen Sie aktuell? Haben veränderte Anforderungen und Erwartungen Ihrer Zielgruppe Auswirkungen auf die Metriken bzw. die Bewertung Ihrer Anwendung (gerne auch kombiniert mit einem Wettbewerbsbenchmark)?
  • Freigabetest/Qualitätssicherung: Ist das neue Design „gut“ genug um live zu gehen? Wurden bestimmte, vorab definierte Werte (Metriken) erreicht?
  • Überzeugung Ihres zahlenverliebten Vorgesetzten!

Die konkret erhobenen Zahlen machen dies möglich. Voraussetzung ist natürlich, dass das Studiendesign und die Rahmenbedingungen der Usability-Tests dieselben bleiben.

Sicherlich lassen sich ein paar Metriken auch per Web-Analytics-Tool ergründen. Aber hier ist das Rauschen meist zu hoch. Sie wissen einfach nicht genau, welche Intention die Nutzer z.B. auf der Produktdetailseite oder im Warenkorb genau hatten. Zudem werden Sie auch keinen Zugriff auf die Kennzahlen Ihrer Wettbewerber haben. Ein Benchmark im Usability-Labor anhand von Metriken ist die einzige Methode, um einen solchen Vergleich anzustreben und Erkenntnisse daraus abzuleiten.

Fazit

Mithilfe von Metriken bekommen Sie eine bessere Argumentationsbasis. Sie können Versionen Ihrer Anwendung miteinander und mit denen Ihrer Wettbewerber vergleichen. Anhand der Betrachtung des Längsschnittes (kontinuierliche Betrachtung in fest definierten Zeitabständen) können Sie Erfolge belegen und wichtige Entscheidungen für die Zukunft treffen.

Nicht ohne Grund werden jährlich durchgeführte Usability-Tests mittels definierter Metriken bei vielen unserer Kunden zum Standard.

Einziger Wehrmutstropfen ist die für die Erhebung von Metriken erforderliche, höhere Stichprobengröße als bei normalen Usability-Test. Es geht ja nun nicht mehr nur um qualitatives Identifizieren von Problemen, sondern auch um die Erhebung quantitativer Daten. Somit sollten so angelegte Tests mit mindestens 20 Probanden durchgeführt werden – natürlich in Abhängigkeit von den jeweiligen Zielgruppenspezifika.

Jakob Nielsen spricht von 4x so hohen Kosten. Dies kann ich verneinen. Aus unserer Erfahrung läuft es eher auf einen max. Faktor von 2 hinaus .

Ausblick

Im nächsten Artikel zum Thema Usability-Metriken werden Sie einen Einblick in das WIE bekommen. D.h. wie erhebt man welche Metriken und auf was sollte man dabei achten (in Hinblick auf das Studiendesign und die Interviewführung).

Anbei schon einmal ein fortführender Artikel von Elske Ludewig zur Vertiefung der Thematik: Messen, zählen, vergleichen – diese Metriken können Usability-Tests bereichern

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *