Neues aus dem UX Lab: 101 Dinge, an die man bei der Durchführung von Usability-Tests denken sollte – Teil 2/2

Nach den bereits im ersten Teil der Artikelserie thematisierten Projektphasen: Kickoff und initiale Projektorganisation, Studienkonzeption inkl. Pretest sowie Erhebung folgen nun die Phasen Auswertung und Präsentation der Ergebnisse eines Usability-Tests.

Wir erinnern uns noch vage aus dem ersten Artikel: Wir stehen am Ende der Feldphase.
Wir haben uns bereits um den Papierkrams gekümmert: Quittungen, Einverständniserklärungen, etc.
Wir haben dem Rekrutierer und dem Studio Feedback gegeben sowie die Daten der Studie entsprechend gesichert.
Zudem haben wir mit dem Auftraggeber geklärt, bis wann er in welcher Form die Ergebnisse geliefert haben möchte (PPT oder Word, ausführlicher Ergebnisbericht vs. Exceltabelle + Managment summary, Blitzlicht / top level report nach 2 Auswertungstagen, etc.)

Ab ans Auswerten, Aufbereiten und Kommunizieren der Ergebnisse aus dem Usability-Test!

4 Auswertung

Vorbereitende Tätigkeiten / erforderliches Knowhow

  • Das Common Industry Format (CIF) for usability test reports kennen und berücksichtigen.
    Das CIF gibt ein gelungenes Rahmengerüst für die Berichtslegung summativer(!) Usability Evaluationen. Die häufigste Art von Usability-Tests ist jedoch formativ, d.h. es geht darum, Usability-Probleme zu identifizieren und zu beheben. Eine etwas veraltete Version von 1999 findet sich hier; eine neuere – meiner Meinung nach inoffizielle – hier.
  • Klarheit schaffen: Was ist ein Usability Problem? Und auf welcher Skala bewerten wir dessen Schwere?
    Nach Lavery, Cockton & Atkinson (1997): “A usability problem is an aspect of the system and/or a demand on the user which makes it unpleasant, inefficient, onerous or impossible for the user to achieve their goals in typical usage situations.”
    Jeff Sauro bringt es auf MeasuringU auf den Punkt: Ein Usability-Problem sollte immer einen Namen, eine Beschreibung und einen Schweregrad besitzen.
    Je nach Autor gibt es severity rating-Modell mit 3 bis 5 Abstufungen (anbei eine tolle Auflistung der Ansätze im Vergleich von den Kollegen bei MeasuringU. Wir bei eResult verwenden übrigens schon lange eine ABC-Priorisierung (A=kritisch, B=moderat, C=kosmetisch).
  • Usability-Probleme beschreiben
    Die identifizierten Usability-Probleme können hervorragend unter Zuhilfenahme der gängigen Heuristiken beschrieben bzw. begründet werden. Anbei ein Handzettel, der die Guidelines aus der DIN EN ISO 9241-10 (1996) sowie die Heuristiken von Brau und Sarodnick (2006) sowie Nielsen & Molich (1994) auf Deutsch gegenüberstellt.
  • Was man nicht im Kopf hat… relevante UX Guidelines-Sets
    Bei der Erarbeitung bzw. Ausarbeitung von konkreten Handlungsempfehlungen (Lösungen zur Behebung der UX-Probleme) ist es ratsam, die aktuellen und relevanten UX Guidelines zu kennen. Deutlich an Relevanz gewinnen wird sicherlich folgendes Set: Apple Watch Human Interface Guidelines

Eyetracking-Daten auswerten (lassen)

Interner Ergebnisworkshop (durch 2 UX-Experten)

  • Auflistung der identifizierten Usability-Probleme (grob formuliert) anhand der Interview-Protokolle, der eventuell vorliegenden Eyetrackingdaten und der Tageszusammenfassungen durch das Projektteam(!) – geclustert nach Use Cases / Seitentemplates / …
  • Bestimmung des Schweregrades jedes einzelnen Problems – Konsensbildung(!)
  • Erarbeitung konkreter Lösungsansätze (grob formuliert/skizziert) im Team – nach absteigendem Schweregrad der Probleme im Sinne des Zeitmanagements

Berichtslegung

  • Arbeitsteilung / Zeitmanagement
    • Aufteilung der Kapitel innerhalb des Projektteams
    • Festlegung, wer und wann das Management Summary schreibt (Projektleiter), die Highlight-Videos schneidet (meist Projektmitarbeiter) und die Korrekturen & Anmerkungen aus dem Lektorat vor dem Raussenden des Reports einarbeitet
    • Vereinbarung von morgendlichen daily stand-ups, um sich gegenseitig über den aktuellen Arbeitsstand und Herausforderungen zu informieren
  • Runterschreiben des Ergebnisberichts auf Basis des Resultats des Ergebnisworkshops -> Ausformulierung von Problemen und Empfehlungen, Hinzufügen von Screenshots und eventuellen Scribbles zur Verdeutlichung der Lösungsansätze
    • Mit Fokus auf die kritischen Probleme aus vielerlei Gründen: a) es gibt immer begrenzte Ressourcen beim Auftraggeber und er will vor allem die Dinge angehen, die den größten impact haben, b) zu viele (unwichtige) Findings verwirren / lenken vom Wesentlichen ab und zu guter Letzt c) auch wir als UX-Agentur haben aufgrund der Fixkalkulation ein zeitliches Budget, welches es einzuhalten gilt
    • Sofern möglich, bereits technische Implikationen mitbedenken
  • Highlight-Videos schneiden
    • Erst gegen Ende der Berichtslegung einplanen
    • „It’s propaganda, not a documentary!” Den 7 Tipps von David Travis (userfocus) ist nichts mehr hinzuzufügen! Extrem sehenswertes Video: Usability testing: How to create a usability test highlights video – 7 tips
  • Managagement summary verfassen
    • Schreiben, wenn der Report beim Korrekturlesen ist (Prüfung von Rechtschreibfehler, Formulierung & Ausdruck, allg. Verständlichkeit, einheitliche Termini, …)
    • Zielgruppe im Hinterkopf behalten (Management, welches sicherlich vorab weder im Detail in die Angebotserstellung, Abstimmung der Use Cases und Rekrutierungskriterien involviert war noch die Interviews mit beobachtet hat)
    • Wichtig: Es gibt keine zweite Chance für den ersten Eindruck! Zudem werden die meisten Entscheidungen auf Basis dessen gefällt

5 Ergebnispräsentation

Vor der Präsentation

  • Inhalte bzw. Fokus und Ziel der Präsentation mit dem Auftraggeber abstimmen
  • Präsentationsversion erstellen (bloß nicht 1 zu 1 den Ergebnisbericht runterlesen, sondern auf 75 min. Vortrag + 15 min. Q&A fokussieren)
  • Besser wenige, zentrale Dinge präsentieren als zu viele Details und Fakten. Auch mal das Flipchart zur Hilfe nehmen und idealerweise am Ende den Vortrag mit einer Fazit-Folie beenden
    • Falls der Kunde dennoch den kompletten Bericht präsentiert haben möchte, die Präsentation splitten: 60min. Zusammenfassung fürs Management, 120-180min. Workshop mit der Fachabteilung / dem Projektteam auf Auftraggeberseite

Während der Präsentation

Anbei nur wenige Tipps zum Präsentieren, das dies ja bereits eigene Bücher füllt:

  • Der erste Satz muss begeistern!
  • Überflüssige Formulierungen schwächen gute Sätze!
  • Zwischen den Sätzen Pausen machen: Verhindert „ähm“ oder ähnliche Füllwörter. Zudem bekommen die Zuhörer Zeit, das Gehörte zu verarbeiten
  • Immer im Stehen vor dem Publikum: Die Stimme kann sich somit besser entfalten (ein Opernsänger tritt auch nicht im Sitzen auf) und Zuhörer müssen sich nicht entscheiden, sehen sie Richtung Folie oder zum Vortragenden
  • Stets zum Publikum reden: Touch (auf die Folie zeigen), Turn (zum Publikum drehen), Talk (zum Publikum sprechen, Blickkontakt aufnehmen, dabei die Zuhörer in M- oder W-Form überfliegen, so führt sich jeder einmal angesehen)
  • Vereinbarungen mit den Zuhörern treffen: z.B. „Fragen für Diskussion bitte notieren“, „die Präsentationsfolien werden im Nachgang zu Verfügung gestellt“

Nach der Präsentation

  • Überarbeiteten Bericht zu Verfügung stellen inkl. Highlight-Videos sowie Antworten auf Fragen, die im Termin nicht erörtert / final geklärt werden konnten
  • Feedback einholen: Sowohl beim Kunden als auch innerhalb des Projektteams -> Learnings dokumentieren

Somit wären wir am Projektende des Usability-Tests. Würde mich freuen, wenn Ihnen der Artikel bei Ihren alltäglichen Herausforderungen weitergeholfen hat. Ich freue mich auf Ihr Feedback und den Erfahrungsaustausch!

Viele Grüße aus dem eResult UX Lab,
Martin Beschnitt

Ein Gedanke zu „Neues aus dem UX Lab: 101 Dinge, an die man bei der Durchführung von Usability-Tests denken sollte – Teil 2/2

  1. Pingback: Neues aus dem UX Lab: mit den Interviewer-Skills steht und fällt die Usability-Studie - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.