UX-Test Auswertung zum Teamsport machen – Aber wie?

Wie bereits in meinen Artikeln „UX im agilen Alltag“ und „User Feedback Days: Den regelmäßigen Kontakt mit den Nutzern schaffen“ beschrieben, lohnt es sich einen UX-Test mit dem Entwicklungsteam zu beobachten und gemeinsam auszuwerten. Dadurch bekommt das Entwicklungsteam nicht nur aus erster Hand die Usability-Probleme des Produkts zu sehen, sondern lernt auch mit jedem Test den Nutzer ein Stück besser kennen. Die Frage stellt sich nun: Wie macht man so einen Workshop am besten?
Wer soll dabei sein?

Gestalte den Workshop so, wie es für die Teilnehmer passt.
Möchte man also den positiven Effekt eines UX-Tests breit in das Entwicklungsteam und bei allen Stakeholdern streuen, ist es ratsam, Teilnehmern auch nur punktuelle Einblicke zu erlauben. Möchte man hingegen eine Kerngruppe haben, die sich intensiv und umfassend mit dem Test beschäftigt, sollte man eine Anwesenheitspflicht verlangen.
In jedem Fall ist es ratsam, dass mindestens 2 Personen alle Tests sehen. Derjenige der den Workshop moderiert, muss neu hinzukommenden Teilnehmern die Regeln erklären und einen kurzen Einblick in das Studienkonzept und den Ablauf geben. Die andere Person kann sich 100-prozentig auf alle Tests konzentrieren und hat somit den besten Überblick über alles was gelaufen ist.
Die Entscheidung, wann wer zu schauen soll und darf bestimmt zudem stark die Workshop-Konzeption. Daher sollte diese Entscheidung nicht leicht fertig getroffen werden, doch dazu im Folgenden noch mehr.
Den Rahmen schaffen

Um einen erfolgreichen Workshop zu machen, sollte immer ein passender Rahmen gesetzt werden.
Am Tag vor der Erhebung oder am Morgen sollte der Raum etwas vorbereitet werden. Spezielle Wandbereiche sollten durch Klebezettel oder Wireframes markiert werden, so dass eine initiale Zuordnung der späteren Klebezettel einfacher ist.
Sobald die Beobachter eingetroffen sind, sollten die Regeln für die Beobachtung kommuniziert werden. Diese werden am besten auch visuell nochmal auf ein Blatt Papier ausgelegt.
Diese Regeln könnten sein:
- Wertschätze die Testperson
- Nicht nach einem Test urteilen
- Keine Diskussion während eines Tests
- Ein Finding pro Klebezettel
- Groß und leserlich schreiben
- Nur Beobachtungen und Zitate, keine Interpretation
- Kurzfassen und auf den Punkt bringen
- Klebezettel mit Probanden verknüpfen
Neben den Regeln sollte der Ablauf des Workshops, sowie die vorbereiteten Wände erläutert werden. Zudem ist auch ratsam alle Beobachter nochmal mit der Fragestellung und dem Ablauf des UX-Tests abzuholen, falls diese nicht in die Planung involviert waren.
Der Workshop-Ablauf hängt von den Teilnehmern ab
Wie bereits beschrieben, muss man sich entscheiden ob man den Teilnehmern frei stellt, punktuell teilzunehmen oder komplett. Entsprechend dieser Entscheidung bestimmt sich der Ablauf des Workshops.

Diese Variante ist optimal für wechselnde Workshop Teilnehmer
Jeder Proband bekommt eine Klebezettelfarbe zugewiesen, d. h. alle Beobachter nutzen pro Test eine Farbe. Jeder schreibt mit. Nach dem Test werden die Klebezettel grob nach den vorbereiteten Bereichen aufgehängt. Nachdem alle Tests fertig sind, werden zu erst die Doppelungen innerhalb einer Farbe aussortiert, die durch die vielen Beobachter entstehen. Hier ist es auch in Ordnung, wenn Klebezettel neu geschrieben werden, um zwei zusammen gehörigen zu vereinen oder nicht leserliche zu korrigieren. Im zweiten Schritt werden dann doppelte Aussagen verschiedener Farben übereinander geklebt. Hierdurch sieht man, wie häufig eine Aussage getätigt wurde. Im letzten Schritt werden die Pakete dann geclustert und ggf. Zusammenfassungen geschrieben. Alternativ kann man auch eine Management Summary zu den Clustern auf ein Flipchart schreiben.
2. Beobachten die Teilnehmer alle Tests kann man alternativ auch folgendermaßen vorgehen:

Diese Variante hat weniger Schritte erfordert aber mehr Disziplin
Die Nachbereitung nicht vergessen
Um die Ergebnisse festzuhalten, können Fotos gemacht werden, die Zusammenfassung der Cluster in ein Kollaborationstool der Wahl (bspw. Confluence) geschrieben oder direkt in einem Ticketsystem (bspw. JIRA) erfasst werden.
Wichtig ist, dass die Ergebnisse festgehalten und Entscheidungen, die im Workshop getroffen werden, auch angegangen werden. Hier lohnt es sich ggf. auch einen Folgetermin am nächsten Tag zu vereinbaren, so dass Entscheidungen, wie man mit den Ergebnissen umgeht, mit frischem Kopf getroffen werden können. Die Eindrücke die man an einem Testtag sammelt, plus der anschließende Workshop, können nämlich sehr Kräfte zerrend für Körper und Geist sein. Daher ist es häufig konstruktiver, Entscheidungen am Folgetag zu treffen.
Letztlich ist noch zu raten, für ausreichend Snacks und Schokolade bei dem Workshop zu sorgen und das Ganze als eine Art Erlebnis zu gestalten, da es keine bessere Methode als den UX-Test gibt, um das Entwicklungsteams und Stakeholder von der Bedeutsamkeit von UX Design zu überzeugen.