Usability-Tests im Lab – mehr als Interviews mit Testperson!

Usability-Tests im Lab erleben einen “2. Frühling” – und das ist gut so!

Ich kann das sehr gut an den eingehenden Auftragsanfragen der eResult GmbH beobachten: Hatten wir in den Jahren 2007 und 2008 unter 10 Kundenanfrage ca. eine darunter, bei der explizit ein Usability-Test im Lab angefragt wurde, so waren es 2009 im Mittel 3. Ein Anstieg von 20 Prozentpunkten. Und auch 2010 zeichnet sich diese steigende Entwicklung weiter ab. Labtests sind wieder “In”.

Grund genug sich mit dieser Methode zu beschäftigen – und “ungünstige Marktentwicklungen” aufzuzeigen und abzuschwächen.

Welche “ungünstige Marktentwicklung” gibt es?

Eine differenzierte Analyse von Marktteilnehmern, Mitbewerbern und Anfragen ergab, dass immer öfter auf den Einsatz von Maus-Tracking, Protokolle lauten Denkens, Eyetracking und die Messung von Erfolgsraten bei der Aufgabenbearbeitung verzichtet wird.

In vielen Fällen werden den Testpersonen lediglich Aufgaben gegeben und zum Abschluss ein Interview geführt. Das ist eine bedauerliche Entwicklung. Denn jedes der genannten Erhebungsverfahren hat Stärken und damit im Rahmen einer ganzheitlichen Analyse im Usability-Lab seine volle Berechtigung.

Interviews mit Testpersonen stellen ein notwendiges Erhebungsverfahren dar, es ist jedoch keinesfalls so, dass dieses Verfahren ausreichend ist. Über Interviews ist es z. B. nicht möglich Probleme in der Bedienung zu erfassen, oder zu erkennen welche Elemente einer Webseite stärker hervorgehoben werden sollten.

Da gibt es weitere und deutlich bessere Verfahren…

Eyetracking – es gibt keine Alternative:
Mit diesem Erhebungsverfahren wird der Prozess der Informationsaufnahme abgebildet. Ein alternatives Verfahren zur Messung der Informationsaufnahme gibt es einfach nicht. Es ist unmöglich den Prozess der Informationsaufnahme zu erfragen und auch durch ein Tracking von Mausbewegungen kann die Informationsaufnahme noch nicht mal annähernd abgebildet werden. Nur mit dem Verfahren der Blickbewegungsmessung kann z. B. erkannt werden, ob Nutzer ein für die Aufgabenbearbeitung zielführendes Element wahrnehmen oder eben nicht.

Protokolle lauten Denkens – viel zu wenig beachtet:
Wie das Eyetracking-Verfahren ein Erhebungsverfahren, mit dessen Hilfe Daten unmittelbar während der Aufgabenbearbeitung erfasst werden können. Protokolle lauten Denkens ermöglichen die Erhebung von spontanen Gedanken, Bewertungen und Empfindungen. Die Testpersonen können diese in dem Moment aussprechen, in dem sie sich einstellen.
Ein Vorteil z. B. im Vergleich zu Interviews nach einer Aufgabenbearbeitung: In nachträglich durchgeführten Interviews können spontan aufgetretene Gedanken nicht erfasst werden, da sich die Testpersonen an diese schlicht und ergreifend nicht mehr erinnern können. Unser Arbeitsgedächtnis ist ein Speicher mit einer geringen Kapazität. Aufgetretene Gedanken und Empfindungen während einer Aufgabenverarbeitung werden dort nur kurz zwischengespeichert. Will man diese Gedanken und Empfindungen erfassen, dann muss man den Testpersonen die Möglichkeit einräumen ihre Gedanken laut auszusprechen. Anders geht das (noch) nicht.

Maus-Tracking – die Bedeutung steigt:
Ein noch recht “junges” Erhebungsverfahren zur Erfassung der Klickhandlungen und Mauszeigerbewegungen. Es lohnt sich aber immer über dessen Einsatz im Rahmen von Labtests nachzudenken. Wir haben es auch hier mit einem Verfahren zu tun, das permanent Daten liefert – über den gesamten Prozess einer Aufgabenbearbeitung im Usability-Lab.
Mit Hilfe der Beobachtung und Analyse von Klicks ist es z. B. möglich “nicht zielführende Handlungen” zu erkennen. Also “Fehlklicks” im Sinne einer Aufgabenstellung. Auf diese Weise werden Probleme in der Bedienung erkannt: Wählt eine Testperson den für die Aufgabenstellung nicht effizienten Klickpfad, dann gibt es ganz offensichtlich Bedienungsprobleme.
Die Gründe für Bedienungsprobleme können durch die reine Beobachtung und Messung von Klicks jedoch nicht erfasst werden – da braucht es zusätzlich Protokolle lauten Denkens und nachträglich durchgeführte Interviews. Ob überhaupt ein Problem der Bedienung vorliegt, das kann jedoch ausschließlich beobachtet werden. Eine ergänzende Erfassung und Analyse der Mauszeigerbewegungen liefert zusätzliche Erkenntnisse, z. B. bei der Analyse von Formularen.

Interviews – notwendig aber keinesfalls ausreichend:
Mündlich geführte Interviews im Nachgang einer Aufgabenbearbeitung oder zum Ende eines Usability-Tests im Lab ermöglichen ein “gezieltes Nachfragen” und die Erfassung von Bewertungen.
Zusammen mit dem Interviewer können sich die Testpersonen einzelne Seiten der Anwendung im Interview noch einmal und in aller Ruhe anschauen, eine Bewertung dieser Seiten im Detail vornehmen und gezielt auf Bereiche eingehen, welche sie als z. B. unverständlich oder nicht erwartungskonform angesehen haben. Geführt und geleitet wird dieses nachgelagerte Gespräch von einem erfahrenen Interviewer, der sich an einem Gesprächsleitfaden orientieren sollte (muss).
Fehlende Erwartungskonformität, ein nicht gelungenes Wording, unverständliche Beschreibungen und/oder eine optisch als nicht ansprechend empfundene Gestaltung können nicht beobachtet werden, solche Themen und Aspekte müssen erfragt werden, gezielt und im Nachgang zu einer Aufgabenbearbeitung. Mit Interviews ist es jedoch nicht möglich die Informationsaufnahme zu erfassen oder Bedienungsprobleme zu erkennen (die müssen (!) beobachtet werden – das geht nicht anders).

Ich könnte zu den einzelnen Verfahren der Datenerhebung noch viel mehr erzählen, erläutern und darstellen. An dieser Stelle möchte ich jedoch bewusst darauf verzichten. Mir war es wichtiger – und ich hoffe es ist mir gelungen – ein Plädoyer für den Einsatz mehrerer Erhebungsverfahren zu halten und Ihnen so aufzuzeigen, dass erst die Verfahrenskombination eine ganzheitliche Analyse und Optimierung einer Anwendung, z. B. Website oder iPhone-App, ermöglicht.

Usability-Tests im Lab bei denen lediglich Aufgaben gegeben werden und nach deren Bearbeitung ein Interview stattfindet sind wenig wertvoll. Protokolle lauten Denkens und die Beobachtung der Handlungen müssen unbedingt zum Einsatz kommen. Eyetracking ist immer dann einzusetzen, wenn die Vermutung besteht, dass für die Aufgabenbearbeitung wichtige (“zielführende”) Elemente übersehen werden könnten. Maus-Tracking im Sinne einer Erfassung von Mauszeigerbewegungen sollte z. B. zum Einsatz kommen, wenn die Analyse von Formularen und dynamischen Bedien- oder Seitenelementen im Vordergrund steht.

Ich hoffe mit meinen Überlegungen und Anmerkungen ein wenig dazu beigetragen zu haben, dass in Zukunft wieder mehr “richtige” Labtests durchgeführt werden, mit einer sinnvollen Kombination mehrerer Erhebungsverfahren.

Uns – der eResult GmbH – ist dies bereits gelungen. Wir kombinieren bei unseren Labtests stets mindestens vier Erhebungsverfahren.

Welche Erfahrungen haben Sie? Wie stehen Sie zu meinen Überlegungen?
Ich freue mich auf Ihre Kommentare und die weitere Diskussion zu dieser spannenden Methode.

Service von Usabilityblog.de-Partnern » Werben auf Usabilityblog.de

Werben auf Usabilityblog.de

Vielen Dank für Ihr Interesse.

Bei Ihre Fragen und Wünsche bzgl. der Werbeschaltung werden Sie sich einfach an Herrn Wilhelm.

Daten zu den Nutzer des Blogs finden Sie in den aktuellen Nutzerstrukturdaten.

4 Kommentare zu „Usability-Tests im Lab – mehr als Interviews mit Testperson!

  1. Broschart

    Der Einsatz mehrerer Verfahren zur möglichst differenzierten Aufdeckung und Abbildung von Nutzermotivationen und Problemen bei der Bedienung ist ohne Frage der richtige Ansatz. Allerdings zeigen Untersuchen aus der Konsumentenpsychologie ja immer wieder, wie stark das Ergebnis von den Untersuchungsbedingungen abhängig ist. Um diesen Einfluss der “Laborsituation” zu kompensieren, wäre natürlich die Kombination mit anderen Methoden, wie dem nicht-reaktiven Mousetracking, interessant.

    Beste Grüße,
    Steven Broschart

  2. Pingback: Eyetracking (Blickbewegungsmessung) ist teuer - stimmt das wirklich? | usabilityblog.de

  3. Pingback: Conversion Rate Optimierung (kurz: CRO) - machen wir das richtig oder läuft da aktuell was falsch? | usabilityblog.de

  4. Pingback: Usability-Tests mal anders: Kontinuierlich & thesengenerierend anstatt punktuell & thesengetrieben | usabilityblog.de

Diskutieren Sie mit:

Die E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder markiert mit *.