Aufschlussreiche Irrwege – Auswertung von Tree Testing

Baumkronen von unten fotografiert.

Bei einem Tree Testing suchen Probanden in der rohen Menüstruktur anhand von klar formulierten Aufgaben nach Informationen. Es wird ihnen die oberste Ebene des Menüs oder Trees angezeigt und sie klicken sich durch die Ebenen durch, bis sie meinen, den Zugang zur Information gefunden zu haben. Die korrekte Lösung, immer ein oder mehrere Menüelemente der untersten Ebene, ist festgelegt. Der Erkenntnisgewinn der Methode liegt darin zu sehen, ob und mit welchen Umwegen diese Lösung gefunden wurde.

In diesem Beitrag soll es um die Auswertung von Tree Testing Daten gehen. Welche Kennzahlen sind wichtig, wie interpretiert man sie und wie lassen sich Ergebnisse gut darstellen?

Wozu Tree Testing?

Die Einsatzmöglichkeiten von Tree Testing sind vielfältig. Zunächst können bestehende Menüstrukturen auf Schwachstellen und Probleme hin evaluiert werden. Die Ergebnisse eines Tree Testing zeigen etwa, ob die Logik der Hauptrubriken funktioniert. Sie lassen Wording-Probleme an Knotenpunkten deutlich werden. Und man kann an den kumulierten Wegen durch den Tree sehen, wo Zugänge erwartet werden. Bei sehr schlechten Ergebnissen ist eine Neukonzeption über ein offenes Cardsorting angeraten. Wir von eresult bieten im Vorfeld eines IA Projektes eine expertenbasierte Evaluation an, um von Anfang an die richtige Methodenwahl zu treffen. Oft reichen die Ergebnisse aus einem Tree Testing jedoch aus, um eine Informationsarchitektur besser an das mentale Modell des Nutzers anzupassen.

Tree Testing eignet sich zudem sehr gut für Variantentests. Es können sich etwa aus einer Neukonzeption mit offenen Cardsorting mehrere alternative Lösungen ergeben. Auch bei der Anpassung von Menüs an mobile Anforderungen können in Hinblick auf die Zahl der Hauptrubriken und die Tiefe und Breite der unteren Ebenen Varianten entstehen, die gegeneinander getestet werden. Denkbar ist auch, eine neue Informationsarchitektur gegen eine alte zu testen.

Tree Testing ermöglicht Nutzerfeedback zu einem sehr frühen Zeitpunkt.

Tree Testing ermöglicht Nutzerfeedback zu einem sehr frühen Zeitpunkt noch vor der aufwändigen Entwicklung von Navigationsdesigns. Es können anhand der rohen Menüstruktur bereits grundlegende Entscheidungen für die Konzeption der Informationsarchitektur getroffen werden.

Im Folgenden werden die wichtigsten Kennzahlen aus einem Tree Testing vorgestellt und genauer beleuchtet, welche Fragestellungen mit ihnen beantwortet werden können.

Erfolgsrate

Wichtige Kennzahl ist zum einen die Erfolgsrate. Die Besonderheit beim Tree Testing ist, dass man keine klaren Benchmarks setzen kann, ab welcher Erfolgsrate ein Tree gut funktioniert. Die Werte sind unterschiedlich einzuschätzen, je nachdem, wie umfangreich und tief eine Menüstruktur ist und auf welcher Ebene die Lösung einer Aufgabe verortet ist. Gerade bei Variantentests ist der Erfolg aber als Vergleichswert eine wichtige Kennzahl.

Differenziert wird der Erfolg in direkten und indirekten Erfolg. Der Anteil der direkten Erfolge erfasst, wie viele Probanden die Lösung direkt und ohne Umwege gefunden haben. Ist der Erfolg bei einer Aufgabe schon gut, kann ein niedriger Anteil an direkten Erfolgen dennoch ein Problem aufzeigen. Probanden haben die Information zwar größtenteils gefunden, jedoch erst nach Umwegen durch den Tree. Sie haben also die Information zuerst woanders erwartet.

Übersichttabellen schaffen Strukturen.

Es empfiehlt sich bei 15, manchmal auch 30 Aufgaben eine Übersichttabelle zu erstellen, diese nach Menübereichen zu gliedern und für jede Aufgabe den Gesamterfolgsanteil und den Anteil der direkten Erfolge einzutragen. So sind die Schwachstellen des Trees gut zu erkennen.

Der Blick auf die Erfolgsrate ist wichtig, um Probleme im ersten Schritt einzugrenzen und die weitere Analyse dann auf diese Problemstellen zu fokussieren.

First Klicks

Eine weitere wichtige Kennzahl, vor allem zur Evaluation der Hauptrubriken auf erster Ebene sind die First Klicks. Es wird also geschaut, welche Rubrik auf erster Ebene Probanden nach der Aufgabenstellung als erstes angeklickt haben. Es kann sinnvoll sein, die Daten von allen Aufgaben, die sich auf eine Hauptkategorie richten, für die First Klick Analyse zusammen zu fassen.

First Klicks: Ergebnis im positiven Bereich


Die Verteilung dieser First Klicks auf allen Hauptrubriken gibt Aufschluss zu mehreren Fragestellungen:

Sind die Hauptkategorien gut abgegrenzt?
Probleme in diesem Bereich können damit zusammenhängen, dass Hauptrubriken nicht trennscharf sind und Nutzer etwa immer zwischen zwei Hauptrubriken schwanken bei ihrer Suche nach einer Information. Dies kann man an den First Klicks erkennen: zwei Hauptkategorien ziehen in etwa gleich viele First Klicks auf sich.
Zeigt sich dieses Muster nur bei einer Aufgabe, sollte das Menüelement in beiden Hauptkategorien verortet werden. Ist dieses Bild bei mehreren Aufgaben zu sehen und manifestiert sich etwa auch in den über mehrere Aufgaben einer Hauptkategorie gemittelten First Klicks, gibt es hier ein tiefergehendes Problem. Manchmal kann es über eine Anpassung des Wordings behoben werden. Wenn die beiden Kategorien inhaltlich nicht trennscharf sind, muss an dieser Stelle die logische Einteilung neu entwickelt werden.

First Klicks: Zwei Kategorien sind nicht trennscharf


Gibt es grundlegende Probleme mit der Logik der Hauptkategorien?
Schwerwiegende Probleme mit der logischen Einteilung der Hauptkategorien zeigen sich, wenn bei mehreren Aufgaben die First Klicks auf mehreren Hauptrubriken einen erhöhten Anteil haben. Nutzer können dann eine gesuchte Information keiner der Hauptrubriken eindeutig zuordnen. Hier sollte dann ein Schritt zurückgegangen und etwa über offenes Cardsorting die Struktur auf erster Ebene nochmal grundlegend neu entwickelt werden.

First Klicks: grundlegendes Problem mit der Logik bei dieser Aufgabe

Pietrees

Wertvollen visuellen Aufschluss zu problematischen Knotenpunkten im Tree und zu Wording-Problemen gibt der Pietree. Unser derzeit bevorzugte Erhebungstool TreeJack von Optimalworkshop bietet diese Art der Auswertung. Auch Erwartungsmuster werden sehr deutlich, wenn ein großer Anteil der Probanden eine Information an anderer Stelle als vorgesehen gesucht hat.

Pietree: Visualisierung von kumulierten Klickpfaden durch den Tree


Man kann hier sehen, wie viele Probanden den falschen Weg genommen haben (rot), wie viele an einem Knotenpunkt wieder umgekehrt sind (blau) und wie viele Probanden den richtigen Weg gegangen sind (grün). Gelb kennzeichnet das Menüelement, das als Lösung gewählt wurde.

Über die Pietrees können ebenfalls verschiedene Fragestellungen beantwortet werden:

Gibt es Unsicherheit an bestimmten Knotenpunkten des korrekten Pfades?
Wenn ein Knotenpunkt des korrekten Weges einen hohen roten und blauen Anteil zeigt, und die Knotenpunkte auf der nächsten unteren Ebene alle ungefähr gleich groß sind, dann ist dies ein Anhaltspunkt dafür, dass Probanden mit der Gliederungslogik oder mit dem Wording an dieser Stelle Probleme haben.

Wo wird eine nicht gefundene Information stattdessen erwartet?
Es ist in dem Pietree gut zu sehen, wo Probanden eine Information erwarten, die sie nicht an der korrekten Stelle gefunden haben. Gerade, wenn ein größerer Anteil an Probanden diesen alternativen Weg eingeschlagen hat, ist dies ein guter Anhaltspunkt dafür, wo der Zugang, möglicherweise zusätzlich, verortet werden sollte.

Im Umweg liegt die Erkenntnis

Aus den Daten eines Tree Testing können also reichhaltige Erkenntnisse für die Optimierung einer Informationsarchitektur gewonnen werden. Die Ergebnisse lassen sich anschaulich und klar visualisieren und Probleme in der Menüführung können identifiziert und behoben werden. Gerade auch bei Variantenvergleichen lassen sich die jeweiligen Stärken und Schwächen durch die quantitativen Daten meist gut feststellen.

Haben Sie auch bereits Erfahrung mit der Auswertung von Tree Testing gemacht? Haben Sie Fragen oder fehlen Ihnen Aspekte. Ich freue mich über Ihre Kommentare.

Portraitfoto: Rita Strebe

Rita Strebe

Senior User Experience Consultant

Alumni-eresult GmbH

Bisher veröffentlichte Beiträge: 9

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert