Tipps und Tricks für erfolgreiche Informationsarchitektur Projekte – Durchführung und Auswertung

Auf Basis der langjährigen eresult-Projekterfahrung erfahren Sie in diesem zweiteiligen Blogbeitrag was typische Stolpersteine bei Card Sortings und Tree Tests sind und worauf Sie achten sollten.
Im ersten Teil ging es um Tipps und Tricks zur Vorbereitung. Der zweite Teil befasst sich mit Tipps zur Durchführung und Auswertung.

Im zweiten Teil wird auf folgende Themen eingegangen:

  • Beobachtung von Card Sortings
  • Tipps für die Durchführung von Card Sortings
  • Auswertung von Card Sortings
  • Auswertung von Tree Testings

Falls Sie sich einen tieferen Einblick in das generelle Thema Card Sorting verschaffen möchten, empfiehlt sich unser Whitepaper „Basiswissen Card Sorting – Nutzerzentriert Informationsarchitekturen entwickeln“.

Beobachtung von Card Sortings

Bei offenen moderierten Card Sortings, ist die Beobachtung nicht ganz so einfach, wie bei Usability-Tests, bei denen der Bildschirm des Probandens auf einen Bildschirm im Beobachtungsraum gespiegelt wird. Dies liegt zum einen an der begrenzten Größe der Karten und an der Schwierigkeit des Abfilmens. Das Abfilmen des Tisches von der Decke ist nicht optimal, da häufig vieles durch den Körper der Probanden beim Einsortieren verdeckt wird. Die Karten sind außerdem schwer im Beobachtungsraum zu lesen. Es empfiehlt sich daher, einen Beobachter mit in den Raum zu nehmen. Dieser notiert u. a. welche Karten nicht eindeutig oder nur schwer zuordbar waren, welche Begriffe unklar waren oder nicht verstanden wurden und welche Inhalte fehlen etc. Zitate der Probanden helfen, um allen Projektbeteiligten einen Eindruck des Card Sortings zu vermitteln. Der Versuchsleiter kann sich durch die Unterstützung des Beobachters ganz auf die Interaktion mit dem Probanden konzentrieren.

Tipps für die Durchführung von Card Sortings

Bei der Durchführung von Card Sortings, sollten einige Warm-up-Fragen gestellt werden. Auf diese Weise können sich die Probanden langsam an die, für sie ungewohnten Situation herantasten und Sie können mehr über den Probanden erfahren (z. B. Vorkenntnisse etc). Die Aufgabe muss den Probanden klar verständlich kommuniziert werden. Folgende Formulierung bietet sich für die eigentliche Card Sorting-Aufgabe an:

  • „Kommen wir nun zum Card Sorting. Wir möchten die Struktur der Anwendung XY verbessern und sicherstellen, dass die Nutzer alle Informationen so einfach wie möglich finden können. Deshalb führen wir dieses Card Sorting durch, bei dem Sie kleine Karten, die mit Informationen der Anwendung beschriftet sind, in Gruppen sortieren. Diese benennen Sie bitte im Anschluss. So können wir besser verstehen, welche Struktur in der Anwendung für Sie Sinn macht.“

Bevor dem Probanden die Karten überreicht werden, ist folgender Hinweis wichtig:

  • „Ich gebe Ihnen gleich die Karten mit den verschiedenen Informationen. Auf jeder Karte steht eine Überschrift für Informationen, die in der Anwendung enthalten sind. Verschaffen Sie sich bitte zuerst einen Überblick über die Karten und bilden Sie dann Gruppen von Karten, die für Sie zusammengehören. Es gibt dabei keine richtige oder falsche Gruppierung. Es geht um die für Sie passende Sortierung.“
  • „Falls eine Karte nirgendwo dazu passen sollte, können Sie diese auf Seite legen. Falls eine Karte aus Ihrer Sicht gleichwertig in mehrere Gruppen passt, schreiben Sie den Namen auf eine weitere Karte und sortieren Sie diese in diese Gruppen ein.“

    „Nachdem Sie die Karten gruppiert haben, geben Sie den Gruppen Namen oder eine kurze Beschreibung, warum diese für Sie zusammengehören. Schreiben Sie dies bitte auf eine dieser Karten auf.“

Wie gehen Sie vor, wenn das Zielbild der Informationsarchitektur drei Ebenen vorgibt?

Die Probanden erzeugen bei der Methode Card Sorting zwei Ebenen. Eine Ebene der gruppierten Karten und eine Ebene mit der Benennung dieser Gruppen. Es kann notwendig sein, dass die Informationsarchitektur aus drei Ebenen besteht. Probanden drei Ebenen sortieren zu lassen, ist allerdings nicht empfehlenswert, da dies schnell zu Überforderung führt. Die Probanden versuchen dann Hierarchien mit den vorhandenen Karten zu erzeugen, statt diese zu gruppieren. Der methodische Ablauf und die ursprünglichen Vorteile des Card Sortings gehen dabei verloren.

Mit Hilfe von viel zusätzlicher Zeit und einen kleinen Umweg lassen sich jedoch drei Ebenen erzeugen.

Die Probanden sollen das Card Sorting normal durchführen – also zwei Ebenen erzeugen (gruppieren und diese benennen). Anschließend wird der Proband gebeten, weiter zu unterteilen und die gebildeten Untergruppen ebenfalls zu benennen. Auf diese Weise lassen sich drei Ebenen bilden.

Auswertung von Card Sortings

Für die Auswertung von Card Sortings muss betrachtet werden, welche Inhalte gemeinsam gruppiert wurden – weniger wie genau diese benannt wurden. Hierfür bieten sich eine Similarity Matrix und Dendogramme an. Irrelevante Unterschiede wie unterschiedliche Schreibweisen sollten vor der Auswertung entfernt und Benennungen normalisiert werden.
Zur Unterstützung bei der Auswertung existieren verschiedene Tools:

  • Excel-Spreadsheet von Donna Spencer
  • OptimalSort (Offline und Online Daten können ausgewertet werden)
  • Syntagm (für fortgeschrittene Auswertungen)

Abbildung 2: Similarity-Matrix in OptimalSort. Anhand der Zahlen lässt sich erkennen welche Karten besonders häufig zusammen gruppiert wurden.

Auswertung von Tree Tests

Durch die drei wichtigen Metriken

  • Erfolgsquote
  • Direktheit
  • Zeit

lässt sich für jede Aufgabe eine erste Einschätzung vornehmen. Aufgaben mit Erfolgsquoten über 80 % stellen generell kein Problem dar. Sind die Werte niedriger oder die Direktheit auffällig gering, sollte die Aufgaben im Detail analysiert werden. Aufschlussreich sind außerdem die Stellen, an denen die Probanden „fälschlicher Weise“ die Inhalte erwartet haben.

Abbildung 3: Visualisierte Navigationspfade in der Pietree-Auswertung von TreeJack. Grün sind die korrekten Ergebnisse. Rot sind die „falschen“ Pfade in denen die Probanden gesucht haben. Gelb sind die „falschen“ Bereiche die von den Probanden als korrektes Ergebnis angegeben wurden.

Dies kann ein Hinweis dafür sein, dass die Strukturierung und Benennungen nicht dem mentalen Modell der Nutzer entsprechen. Um eine erwartungskonforme Informationsarchitektur zu entwickeln, müssen Sie an diesen Stellen erneut ansetzen.

Beachten Sie, dass analoge Probleme oft auch auf andere Bereiche zutreffen, die nicht getestet wurden. Wägen Sie ab, ob Sie die gewonnenen Erkenntnisse übertragen können.

Ich hoffe in diesem zweiten Teil konnten Sie einige Tipps und Tricks zur Durchführung und Auswertung erfahren, die Sie beim nächsten Card Sorting oder Tree Testing anwenden können. Im ersten Teil ging es um die Vorbereitung.
Für einen tieferen Einblick in das generelle Thema Card Sorting, empfiehlt sich das eresult-Whitepaper „Basiswissen: Card Sorting“. Dieses steht – nach vorheriger Anmeldung im Download-Bereich – als kostenloses PDF zum herunterladen bereit.

Haben Sie weitere Themen, zu denen Sie sich Tipps & Tricks wünschen? Haben Sie hilfreiche Tipps zur Anwendung von Card Sortings und Tree Tests? Was sind Ihre Meinungen dazu?

Ein Kommentar

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.