Metriken und KPIs zur Messung der User Experience

Der Fokus im Bereich UX liegt bei den meisten Unternehmen stark im qualitativen Bereich: Methoden wie Usability-Tests und Nutzerinterviews sind häufig gut etabliert. Das ist auch sehr wichtig, denn sie liefern unersetzliche Erkenntnisse zur konkreten Entwicklung eines Produktes.

Doch je mehr User Experience auch im Unternehmen nach oben wandert und je strategischer es angegangen wird, desto mehr stellen sich auch andere Fragen:

  • Wie steuere ich die UX meiner Produkte?
  • Wie messe ich den Erfolg meiner UX-Maßnahmen?
  • Wie kommuniziere ich mit Stakeholdern und belege den Wert von UX?

An dieser Stelle wird es wichtig, auch quantitative Daten zur User Experience zu sammeln. Metriken und KPIs werden immer schon zur Steuerung von Produkten und Projekten eingesetzt, und sie werden selbstverständlich auch durch die User Experience beeinflusst. Wirklich reine UX-Metriken werden jedoch noch eher selten erhoben. Das sollte sich ändern – heute gebe ich einen Überblick über die Möglichkeiten und erkläre, worauf man dabei achten muss.

KPIs und Metriken – was und warum?

Der Begriff KPI wird häufig etwas inflationär gebraucht. KPI steht für „Key Performance Indicator“ und unterscheidet sich so von dem allgemeineren Begriff „Metrik”. Zwar ist jeder KPI auch eine Metrik, aber eine Metrik ist nur unter bestimmten Bedingungen ein KPI:

  • Es gibt nur wenige KPIs, dafür steht das „Key“ im Namen
  • KPIs sind sehr eng mit dem Geschäftserfolg verknüpft und haben meist eine direkte, monetäre Relevanz
  • Deshalb sind KPIs häufig die Grundlage aller wichtigen Entscheidungen in einem Unternehmen
  • Oft wird auch die Erfolgsbewertung von Mitarbeitern an KPIs geknüpft

Ob KPI oder Metrik, der Einsatz von quantitativen Daten in der Produktentwicklung bietet entscheidende Vorteile:

  • Sie verhindern Entscheidungen basierend auf persönlichen Meinungen
  • Sie ermöglichen eine objektive Sicht auf die Entwicklungen
  • Sie erlauben eine bessere und klarere Kommunikation im Team und mit Stakeholdern
  • Sie belegen den Erfolg (oder Misserfolg) von Maßnahmen
  • Sie machen eindeutige Vergleiche möglich, auch zur Konkurrenz

Basierend auf diesen Vorteilen ergeben sich eine Reihe von Gründen, warum es gerade im Bereich der User Experience wichtig ist, stärker mit Metriken und KPIs zu arbeiten.

Gerade in der User Experience ist es wichtig, stärker mit Metriken und KPIs zu arbeiten. Denn leider hängt dem Bereich vielerorts immer noch etwas Geschmäcklerisches an, so wie auch Design im Allgemeinen. Die Quantifizierung hilft zu zeigen, dass es tatsächlich ein systematisches, datengetriebenes Vorgehen gibt.

Ohne Metriken lässt sich weder vorher, in der Planung, noch im Nachgang begründen, warum UX-Maßnahmen sinnvoll sind. Zwar gibt es allgemeine Untersuchungen zum ROI von UX, doch diese sind meist veraltet und nicht gut anwendbar. Wer dagegen konkrete, belastbare Daten vom eigenen Produkt hat, kann ganz anders argumentieren. So können Sie Stakeholder überzeugen und Budgets ausweiten.

Wenn tatsächlich im Unternehmen ein oder mehrere reine UX-KPIs eingeführt werden, setzt dies ein deutliches Zeichen: Die Wichtigkeit des Themas und die zentrale Relevanz für den Geschäftserfolg ist erkannt. Erst dann ist User-Centered Design wirklich im Unternehmen angekommen, denn dann werden auch strategische Entscheidungen darauf basierend getroffen.

Allgemeine Metriken für Produkte und Projekte

In den meisten Fällen werden zu digitalen Produkten bereits viele Metriken erhoben, die auch die User Experience betreffen, etwa:

  • Allgemeine Webanalytics-Daten wie Visits, Pageviews, Bounce Rates, Besuchszeit und die Anzahl der besuchten Seiten
  • Allgemeine Metriken der Kundenzufriedenheit, etwa der Net Promoter Score (NPS)
  • Branchen-/produktspezifische Metriken:
    • Durchschnittlicher Warenkorbwert
    • Retention Rate (welcher Anteil von Nutzern, die sich registrieren, werden auch zu regelmäßigen Nutzern)
    • Retourenquoten
    • Conversion-Rates zu unterschiedlichen Website-Zielen, insbesondere auch zusammengefasst in Funnel-Analysen über die verschiedenen Schritte einer Customer Journey

Aus UX-Sicht sind diese Metriken zwar durchaus interessant, aber bergen auch Probleme: Sie sind nicht rein auf die UX zurückzuführen, so dass Änderungen nicht gut interpretiert werden können. Der NPS etwa umfasst die gesamte Markenwahrnehmung durch den Kunden, die weit über die UX einzelner Touchpoints hinaus geht. Häufig werden Metriken wie die Webanalytics-Zahlen auch sehr stark durch kurzfristige Maßnahmen in anderen Unternehmensbereichen beeinflusst. So wird eine Rabatt- oder Newsletter-Aktion bei einem Online-Shop jede UX-Maßnahme komplett überschatten. Zudem sind viele dieser Metriken mehrdeutig: Eine höhere Besuchsdauer kann sowohl auf ein erhöhtes Engagement (positiv) hindeuten als auch auf Probleme der Nutzer, die gewünschten Inhalte zu finden (negativ).

Somit sollten solch allgemeine Metriken und KPIs zwar auf jeden Fall im Auge behalten werden, doch es sind unbedingt noch spezifischere UX-Metriken von Nöten.

UX-spezifische Metriken und KPIs

Auch klassische Webanalytics-Metriken können für die UX hilfreich sein, wenn sie weniger auf einem globalen Level gemessen werden und viel mehr an einzelne Seiten oder Features genau angepasst sind. Beispielsweise könnten für den Download-Bereich einer Website folgende Zahlen erhoben werden:

  • Anteil von abgeschickten Suchen, die zu Ergebnissen geführt haben
  • Anteil von Besuchern mit abgeschickter Suche, die etwas heruntergeladen haben
  • Aufgewendete Zeit vom Abschicken der Suche bis zum Download einer Datei

Diese Metriken lassen sich sehr gut auf Aspekte der UX zurückführen, da sie nur einen kleinen Ausschnitt des Gesamtproduktes betrachten. So können Sie UX-Optimierungsmaßnahmen ableiten und Ihren Erfolg messen.

Aber auch übergreifend kann die User Experience gemessen werden: Es existiert eine große Menge von bewährten Instrumenten wie die System Usability Scale (SUS), der User Experience Questionnaire (UEQ) und weitere. Über solche standardisierten Fragebögen berichtete meine Kollegin Melanie Jotz schon hier im Blog.

Eine weitere Möglichkeit, die User Experience zu messen, stellen aufgabenbasierte Metriken dar. Anders als etwa SUS und UEQ, die mit einem Fragebogen die subjektive Einschätzung der UX erheben, werden dabei objektive Messungen der Usability vorgenommen.

Übliche Metriken für die Effektivität und die Effizienz eines Produktes sind:

  • Erfolgsrate
  • Fehleranzahl
  • Aufgabenbearbeitungsdauer
  • Anzahl an Klicks

Meine Kollegin Elske Ludewig schrieb in der Vergangenheit schon über das Thema Metriken in Usability-Tests. Und auch Jeff Sauro hat eine gute Liste veröffentlicht, die viele aufgabenbasierte Metriken enthält.

Dabei muss beachtet werden, dass diese Metriken immer für bestimmte Aufgaben erhoben werden müssen. Um Rückschlüsse auf die allgemeine UX zu ziehen sollten wenige, zentrale Use Cases der Anwendung ausgewählt und vermessen werden. Nur wenn die Art der Erhebung konsistent bleibt, können Sie die Werte auch vergleichen. Bei Bedarf können Sie die Metriken der verschiedenen Aufgaben auch aggregieren, um so einen Eindruck der Gesamt-UX zu erhalten.

Messung von UX-Metriken

Im einfachsten Fall sind die Daten zur Erhebung einer Metrik bereits in existierenden Systemen vorhanden, etwa:

  • Webanalytics
  • Warenwirtschaftssysteme
  • Existierende Kundenbefragungen

Meist gibt es aber für die wirklich interessanten, UX-spezifischen Metriken noch keine Datenbasis. Dann bleibt nur die Möglichkeit, diese selber zu erheben. Je nach Metriken kann dabei auf unterschiedliche Messverfahren zurückgegriffen werden:

  • Erhebung durch Befragung: Gerade für standardisierte Fragebögen wie SUS und UEQ ist dies der geeignetste Weg. Bestenfalls findet diese Messung dabei unmittelbar nach der tatsächlichen Nutzung statt, etwa live auf der Website oder nach einem Usability-Test. Interessant ist, dass auch die Befragung von Nutzern über Online-Panel durchaus respektable Ergebnisse ermöglicht, wie Jeff Sauro ermittelt hat.
  • Erhebung per automatisiertem Usability-Test: Bei der automatisierten Durchführung von Usability-Tests, mit Tools wie etwa Loop11 oder UserZoom, können durch die höhere Anzahl von Probanden auch quantitative Daten erhoben werden. Dies ist besonders für aufgabenbezogene Metriken geeignet. Solche Tests können problemlos repliziert werden, auch für Konkurrenzwebsites.
  • Modellbasierte Berechnung: Einige UX-Metriken können auch anhand von wissenschaftlichen Modellen berechnet werden. Mein Kollege Paul Pagel berichtete kürzlich hier im Blog über GOMS.

Neben der Art der Erhebung einer Metrik ist auch der Zeitraum von entscheidender Bedeutung. Metriken sollten immer im Längsschnitt erhoben werden, um so eine Betrachtung im Zeitverlauf zu ermöglichen. Damit dies auch valide möglich ist, müssen die erhobenen Zeiträume vergleichbar sein. Schwankungen in der Nutzung können sehr individuell für jedes Produkt sein, so dass sich keine allgemeinen Aussagen treffen lassen. Häufig finden die stärksten Veränderungen aber in einem Wochen- und Tageszyklus statt: Die Nutzung variiert in ähnlichen Mustern nach Wochentag und Uhrzeit. Ein sinnvoller Vergleichszeitraum würde in diesem Fall immer komplette Wochen umfassen.

Sehr spannend ist neben der Erhebung von Metriken zum eigenen Produkt auch der Vergleich mit der Konkurrenz. Der Vorteil vieler der genannten UX-Metriken ist dabei, dass diese (anders als etwa Webanalytics-Zahlen oder finanzielle Daten) auch für jedes andere Produkt erhoben werden können. Panel-Befragungen und automatisierte Usability-Tests etwa sind problemlos möglich. So lässt sich ein kontinuierliches UX-Benchmarking etablieren.

UX-Metriken individuell auswählen und erheben

Insgesamt halte ich die Einführung von speziellen UX-Metriken für sinnvoll und notwendig, um das User-Centered Design in einem Unternehmen auf einen höheren Reifegrad zu heben. Es gibt jedoch kein Patentrezept, welche Metriken wann und wie erhoben werden sollten. Entscheiden Sie dies vielmehr individuell.

Ein erster Anhaltspunkt könnte die Liste von Joe Leech sein, die viele interessante Vorschläge aufführt. Auch eine schöne Inspiration: Das HEART-Framework von Google Ventures (Happiness, Engagement, Adoption, Retention, Task Success).

Grundsätzlich empfiehlt es sich aber, UX-Metriken selber zu entwickeln, basierend auf den eigenen Zielen für Produkt und Unternehmen. Google Ventures beschreibt dazu den Goals-Signals-Metrics-Prozess:

  1. Im Team wird Einigkeit über die Ziele für das Produkt geschaffen
  2. Es werden positive und negative Signale für die Erreichung dieser Ziele identifiziert
  3. Diese Signale werden in konkrete Metriken übersetzt, inklusive der Art der Erhebung

Abschließend aber noch ein Appell: Vergessen Sie bei all den Zahlen nicht die qualitative Komponente – nur so können Sie auch das Warum hinter all den neuen Metriken ergründen und das Produkt entsprechend optimieren. Dazu gibt es eine Vielzahl von Research– und Testing-Methoden.

Sie brauchen Unterstützung bei der Auswahl und Einführung von UX-Metriken? Gerne unterstützen wir Sie im Rahmen eines UX Strategie Workshops dabei. Zum Weiterlesen empfehle ich auch folgende Links:

Verwenden Sie im Unternehmen schon UX-spezifische Metriken oder sogar KPIs? Mich würde sehr interessieren, welche das sind und welchen Erfolg Sie damit haben.

Portraitfoto: Jan Pohlmann

Jan Pohlmann

UX Designer

BMW AG

Bisher veröffentlichte Beiträge: 60

Ein Kommentar

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.