Denkprotokolle und Videokonfrontation als verhaltensbasierte Evaluationsmethode

Die Methode des lauten Denkens (in der Literatur u.a. auch als Denkprotokollierung und Protokolle lauten Denkens bezeichnet) dient der Erfassung von Gedanken und Emotionen, die mit einer Handlung oder Tätigkeit (z.B. Surfen auf einer Website) einhergehen.
Auf Basis dieser Daten kann u.a. auf Probleme der Gebrauchstauglichkeit (Usability) von Websites geschlossen werden.

In der Literatur werden verschiedene Varianten bzw. Ansätze dieser Methode unter- schieden – differenziert nach dem Zeitpunkt der Erfassung: Prä,- peri,- und postaktionaler Erhebung von Gedanken und Emotionen.

Bei der periaktionalen Varianten (klassische Protokolle lauten Denkens) werden die Untersuchugsteilnehmer/-innen aufgefordert, ihre Gedanken und Emotionen während der Websitenutzung (spontan) zu äußern. Da die Fähigkeit zum „lauten Denken“ unterschied- lich ausgeprägt ist, sollte vorab ein Training mit den Untersuchungsteilnehmern/ -innen durchgeführt werden.

Idealerweise werden die Aussagen und die Bildschirminhalte simultan aufgezeichnet und mit Hilfe einer speziellen Software zur Analyse von Beobachtungsdaten ausgewertet (z.B. INTERACT aus dem Hause Mangold). Diese Vorgehensweise erfordert auch besondere Hardware-Komponenten (z.B. Scan-Converter, Videokamera, Mikrofon).

Beim sog. postaktionalen lauten Denken (in der Literatur als als Nachträgliche Protokolle lauten Denkens bezeichnet) wird das Surfverhalten zunächst mit Hilfe einer Videokamera (zur Erfassung der Gestik und Mimik) und/oder einer ScreenCam (zur Erfassung des Click- streams) aufgezeignet.
Anschließend wird den Untersuchungsteilnehmern/-innen das Videomaterial vorgeführt, mit der Bitte ihre handlungsbegleitenden Gedanken und Emotionen nachträglich zu verbalisie- ren. Doppelbelastungen wie beim periaktionalen lauten Denken werden somit ausgeschlossen.

Vergleich: Periaktionale und postaktionale Denkprotokolle
Vergleichsuntersuchen belegen, dass die postaktionale Datenerhebung qualitativ höher- wertige Informationen bereitstellt (siehe dazu Ohnemus & Biers, 1993). Nachteilig ist bei dieser Variante jedoch der Verlust an Spontanität – wodurch emotionale Reaktionen weniger stark verbalisiert werden. Dies konnten wir im Rahmen verschiedener Usability- Tests, in denen die Erhebung der Gedanken/Emotionen variierte wurde, beobachten.

Die Technik der Videokonfrontation wird seit Mitte der 80er Jahre eingesetzt, zunächst im Bereich der Aufgabenanalyse und Softwaregestaltung, bisher noch nicht so häufig bei der Evaluation von Websites.

Ähnlich wie bei postaktionalen Denkprotokollen wird der Surfprozess der Untersuchungs- teilnehmer/-innen zunächst per entsprechender Videotechnik aufgezeichnet und im Anschluss präsentiert.
Dabei findet jedoch ein qualitatives, halbstandardisiertes Interview statt – keine (offene) Erhebung von Gedanken und Emotionen. Auf Basis eines Leitfadens wird über aufgetretene Probleme, die Gestaltung von Prozessen und die formale/inhaltliche Gestaltung ausgewähl- ter Seiten des Webangebots gesprochen.
Nachteilig ist auch bei diesem Ansatz, dass bis zu einem gewissen Grad Spontanität verloren geht. Auch ist die Qualität des Videomaterials entscheidend für die Qualität der Interviewdaten: Können die Untersuchungsteilnehmer aufgrund mangelnder Videoqualität die Gestaltung der Webseiten nicht deutlich erkennen, dann besteht die Gefahr, dass nicht alle Usability-Probleme aufgedeckt werden.

Sog. stimulusorientierte Interviews – bei denen die Webseiten nach dem Surfprozess erneut am Bildschirm aufgerufen werden – weisen diesen Nachteil nicht auf. Gekoppelt mit periaktionalen Protokollen lauten Denkens können solche Interviews eine sinnvolle und effiziente Alternative zur Videokonfrontation darstellen.

Wie sind euere Erfahrungen mit den genannten Methoden?
Gibt es vielleicht weitere Varianten oder auch Alternativen?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *