UX-Test Auswertung zum Teamsport machen – Aber wie?

Wie bereits in meinen Artikeln „UX im agilen Alltag“ und „User Feedback Days: Den regelmäßigen Kontakt mit den Nutzern schaffen“ beschrieben, lohnt es sich einen UX-Test mit dem Entwicklungsteam zu beobachten und gemeinsam auszuwerten. Dadurch bekommt das Entwicklungsteam nicht nur aus erster Hand die Usability-Probleme des Produkts zu sehen, sondern lernt auch mit jedem Test den Nutzer ein Stück besser kennen. Die Frage stellt sich nun: Wie macht man so einen Workshop am besten?

Wer soll dabei sein?

Die Teilnehmer eines Workshops bestimmen immer wie der Workshop abläuft. Daher ist die Entscheidung wer bei einem UX-Test-Workshop teilnehmen soll natürlich von großer Bedeutung. Man kann den Teilnehmern freistellen, sich nur einige wenige Tests anzuschauen oder man bittet sie, alle Tests zu beobachten. Sollen alle Tests beobachtet werden, sprechen wir jedoch im Regelfall nur von einem Tag, mit beispielsweise 5-6 Interviews je 45 Minuten. Doch einen kompletten Tag für UX-Tests frei zu räumen, ist für viele Teammitglieder bereits eine unmögliche Aufgabe. Daher muss man sich bewusst sein, dass die Teilnehmerzahl deutlich schrumpft, wenn man eine Anwesenheitspflicht für alle Tests veranschlagt.

Möchte man also den positiven Effekt eines UX-Tests breit in das Entwicklungsteam und bei allen Stakeholdern streuen, ist es ratsam, Teilnehmern auch nur punktuelle Einblicke zu erlauben. Möchte man hingegen eine Kerngruppe haben, die sich intensiv und umfassend mit dem Test beschäftigt, sollte man eine Anwesenheitspflicht verlangen.

In jedem Fall ist es ratsam, dass mindestens 2 Personen alle Tests sehen. Derjenige der den Workshop moderiert, muss neu hinzukommenden Teilnehmern die Regeln erklären und einen kurzen Einblick in das Studienkonzept und den Ablauf geben. Die andere Person kann sich 100-prozentig auf alle Tests konzentrieren und hat somit den besten Überblick über alles was gelaufen ist.

Die Entscheidung, wann wer zu schauen soll und darf bestimmt zudem stark die Workshop-Konzeption. Daher sollte diese Entscheidung nicht leicht fertig getroffen werden, doch dazu im Folgenden noch mehr.

Den Rahmen schaffen

Wie bei jedem Workshop ist es wichtig, dem Ganzen einen ordentlichen Rahmen zu geben. Das bedeutet, dass die Teilnehmer im Vorfeld über die Testslots informiert werden sollten. Falls die Teilnehmer nur punktuell zuschauen, sollte man ihnen die Möglichkeiten bieten, sich in eine Beobachterliste einzutragen, so dass man bei jedem Probanden Zuschauer hat und nicht bei manchen Slots keine Sitzplätze mehr frei sind.

Am Tag vor der Erhebung oder am Morgen sollte der Raum etwas vorbereitet werden. Spezielle Wandbereiche sollten durch Klebezettel oder Wireframes markiert werden, so dass eine initiale Zuordnung der späteren Klebezettel einfacher ist.
Sobald die Beobachter eingetroffen sind, sollten die Regeln für die Beobachtung kommuniziert werden. Diese werden am besten auch visuell nochmal auf ein Blatt Papier ausgelegt.

Diese Regeln könnten sein:

• Wertschätze die Testperson
• Nicht nach einem Test urteilen
• Keine Diskussion während eines Tests
• Ein Finding pro Klebezettel
• Groß und leserlich schreiben
• Nur Beobachtungen und Zitate, keine Interpretation
• Kurzfassen und auf den Punkt bringen
• Klebezettel mit Probanden verknüpfen

Neben den Regeln sollte der Ablauf des Workshops, sowie die vorbereiteten Wände erläutert werden. Zudem ist auch ratsam alle Beobachter nochmal mit der Fragestellung und dem Ablauf des UX-Tests abzuholen, falls diese nicht in die Planung involviert waren.

Der Workshop-Ablauf hängt von den Teilnehmern ab

Wie bereits beschrieben, muss man sich entscheiden ob man den Teilnehmern frei stellt, punktuell teilzunehmen oder komplett. Entsprechend dieser Entscheidung bestimmt sich der Ablauf des Workshops.

1. Stellt man den Teilnehmern frei punktuell zu zuschauen, empfiehlt sich folgendes Vorgehen:

Jeder Proband bekommt eine Klebezettelfarbe zugewiesen, d. h. alle Beobachter nutzen pro Test eine Farbe. Jeder schreibt mit. Nach dem Test werden die Klebezettel grob nach den vorbereiteten Bereichen aufgehängt. Nachdem alle Tests fertig sind, werden zu erst die Doppelungen innerhalb einer Farbe aussortiert, die durch die vielen Beobachter entstehen. Hier ist es auch in Ordnung, wenn Klebezettel neu geschrieben werden, um zwei zusammen gehörigen zu vereinen oder nicht leserliche zu korrigieren. Im zweiten Schritt werden dann doppelte Aussagen verschiedener Farben übereinander geklebt. Hierdurch sieht man, wie häufig eine Aussage getätigt wurde. Im letzten Schritt werden die Pakete dann geclustert und ggf. Zusammenfassungen geschrieben. Alternativ kann man auch eine Management Summary zu den Clustern auf ein Flipchart schreiben.

2. Beobachten die Teilnehmer alle Tests kann man alternativ auch folgendermaßen vorgehen:

Man unterscheidet die Probanden nicht durch farbige Klebezettel, sondern schreibt die Nummer des Probanden als Identifikation auf den Zettel. Man versucht eine Aussage nur einmal aufzuschreiben, dies geschieht dann über Blickkontakt der Beobachter. Falls doch etwas doppelt aufgeschrieben wird, kann es beim Aufhängen gleich aussortiert werden. Kommen dann doppelte Aussagen in den folgenden Tests, wird einfach die Zahl des Probanden auf den existierenden Klebezettel geschrieben. So sieht man an einem Klebezettel direkt die Häufigkeit. Bei der Auswertung erspart man sich durch dieses Vorgehen, die Aufwendige Aussortierung und Zuordnung der doppelten Aussagen und kann direkt zum letzten Schritt des Clusterns übergehen. Auch hier können Klebezettel als Zusammenfassung für Cluster dienen oder eine Management Summary auf ein Flipchart geschrieben werden. Zudem besteht hier der Vorteil, dass man theoretisch auch die Farben der Klebezettel für beispielsweise positive und negative Ergebnisse verwenden kann und damit eine weitere visuelle, klare Unterscheidung macht. Letztlich ist diese Variante in der Auswertung schneller und man sparte eine Menge Klebezettel. Jedoch muss man bei dieser Variante auch sehr diszipliniert sein und je mehr Teilnehmer mitschreiben, desto schwieriger wird es, den Überblick zu behalten.

Die Nachbereitung nicht vergessen

Um die Ergebnisse festzuhalten, können Fotos gemacht werden, die Zusammenfassung der Cluster in ein Kollaborationstool der Wahl (bspw. Confluence) geschrieben oder direkt in einem Ticketsystem (bspw. JIRA) erfasst werden.

Wichtig ist, dass die Ergebnisse festgehalten und Entscheidungen, die im Workshop getroffen werden, auch angegangen werden. Hier lohnt es sich ggf. auch einen Folgetermin am nächsten Tag zu vereinbaren, so dass Entscheidungen, wie man mit den Ergebnissen umgeht, mit frischem Kopf getroffen werden können. Die Eindrücke die man an einem Testtag sammelt, plus der anschließende Workshop, können nämlich sehr Kräfte zerrend für Körper und Geist sein. Daher ist es häufig konstruktiver, Entscheidungen am Folgetag zu treffen.

Letztlich ist noch zu raten, für ausreichend Snacks und Schokolade bei dem Workshop zu sorgen und das Ganze als eine Art Erlebnis zu gestalten, da es keine bessere Methode als den UX-Test gibt, um das Entwicklungsteams und Stakeholder von der Bedeutsamkeit von UX Design zu überzeugen.