Mit dem Notizblock im Labor: Interviewer = Protokollant – funktioniert das?

Interviewerin und Protokollant in Doppelrolle

Quelle: Fotolia.com/master1305

Die Idee entstand wie so viele gute Ideen: bei einem Feierabendbier mit Kollegen. Wir sprachen über vergangene Projekte und interessante Tests, die wir erlebt hatten. Irgendwann kam auch das Thema Protokollieren zur Sprache. Ich trat dabei auf als Verfechterin einer klaren Trennung der einzelnen Rollen: der Interviewer soll sich rein auf die Testaufgaben und Antworten des Probanden konzentrieren können und daher keine weiteren Aufgaben wie das Protokollieren übernehmen. Meine Kollegen hielten dagegen. In vergangene Projekten hatten sie zwangsläufig beide Rollen gleichzeitig innegehabt, beispielsweise weil das Budget stark limitiert war oder im Testgegenstand im Automobilbereich einfach kein Platz für eine zweite Person und keine Übertragungsmöglichkeit bestand. Sie berichteten davon die Tests in dieser Doppelrolle durchaus geschätzt zu haben und fokussiertere Interviews geführt zu haben. Ich hatte aber auch schon Stimmen von anderen Kollegen gehört, die von chaotischen Tests und Problemen im Anschluss an den Test bei der Auswertung sprachen. Anlass für die Forscherin in mir, das mal zu untersuchen.

Literaturrecherche – erstmal schauen wie es andere machen

Schaut man im Netz bekommt man schnell den Eindruck, dass es recht vermessen scheint den Interviewer in die Doppelrolle zu stecken. So setzt die German UPA (Berufsverband der Deutschen Usability und UX Professionals) einen Protokollanten als einen der Qualitätsstandard für Usability-Tests voraus. Auch auf usability.gov, einer der besten Websammlungen zum Thema Usability, wird klar getrennt zwischen dem Interviewer und einem „Note-Taker“. Im CPUX-F Curriculum des UXQB (International Usability and UX Qualification Board) wird sogar in drei verschiedene Rollen bei einem Test unterschieden. Neben dem Interviewer und Protokollanten wird hier noch der Beobachter aufgeführt. Die Usability-Branche scheint sich darauf geeinigt haben, dass die Doppelrolle nicht in Frage kommt. Na gut, nicht ganz: in dem fortführenden Curriculum CPUX-UT des UXQBs wird der „Discount-Test“ aufgeführt. Bei diesen Tests gibt es die Beschreibung einer Doppelrolle, in der der Interviewer auch den UX-Test mitprotokolliert. Im „Discount-Test“ steht – wie der Name verrät – Kostenreduzierung im Vordergrund. Beim Durchlesen der Definition entstand für mich der schale Nachgeschmack einer Kompromiss- oder sogar Notlösung. Jede Reduzierung im Testdesign resultiert in einer geringeren Test-Qualität und damit der Brauchbarkeit der Ergebnisse. Es bleibt der Eindruck, dass der Interviewer in der Doppelrolle in der Usability-Fachwelt als Persona non grata behandelt wird.

Testdurchführung via Test Pirating

Neben zahlreichen Tests, die wir im Kundenauftrag erheben, führen wir bei eresult in regelmäßigen Abständen eigene Studien durch. Praktischerweise stand eine solche Studie an, sodass ich den Test als Versuchsfläche für meine eigene Fragestellung nutzen konnte.

Das Studiendesign meines Tests im Test war dabei auffällig simpel: bei der Hälfte der Tests protokolliere ich als Interviewerin handschriftlich mit, bei der anderen Hälfte nicht. Um der Wahrheit Rechnung zu tragen, ein Kollege protokollierte bei allen Tests mit. Ich wollte die Ergebnisse der Studie nicht riskieren, wenn ich am Ende meine eigenen Notizen nicht mehr entschlüsseln könnte.

Bevor die eigentlichen Tests starteten befolgte ich den Rat eines Kollegen. Den Pretest nutzte ich nicht nur zur Optimierung des Interviewleitfadens, sondern arbeitete parallel auch an meiner Protokollvorlage, die ich in den Test verwenden wollte. Zu jeder Frage im Leitfaden machte ich mir Gedanken zu möglichen Antworten der Probanden, um diese ggf. schon vorher festzuhalten und im Test nur noch ankreuzen zu müssen. Sinn macht das besonders bei Fragen, die auch in einem klassischen Fragebogen Checkboxen enthalten würden, z. B. In welchen Shops haben Sie zuletzt Mode eingekauft? Amazon, Asos, bonprix….

Das erste Interview in der Doppelrolle verlief zugegebenermaßen noch etwas holprig. Ich bin es gewohnt, gerade bei Tiefeninterviews den Blickkontakt zum Probanden zu suchen, um Aufmerksamkeit und Empathie zu signalisieren. Mit dem Block in der Hand wanderte mein Blick immer wieder hinunter zu meiner Mitschrift, dann schnell wieder nach oben zum Probanden. Für Außenstehende mag das wie ein ständiges Nicken gewirkt haben oder wie jemand, der nach Sekundenschlaf immer wieder hochschreckt. Nachdem ich aus dem ersten Test mitgenommen hatte, dass auch ohne Blick auf die Notizen die Schrift lesbar ist und nicht auf der Tischplatte landet, wurde es in den folgenden Test besser. Der Fokus blieb bei den Probanden und der Block wurde nur wichtig, wenn ich manchmal um eine Pause bat, um mit den Notizen hinterher zu kommen.

Was mir im Test wiederholt auffiel, war die Verstärkung der Versuchsleitereffekte. Wer selbst Interviews durchführt kennt das Problem, dass jede (oft unbeabsichtigte) Geste des Interviewers Einfluss auf den Probanden nimmt: ein Nicken kann als Bestätigung, ein Verschränken der Arme kann als Desinteresse gedeutet werden. Mit dem Stift in der Hand kommt eine weitere Komponente hinzu: die Menge dessen, was notiert wird. Notierte ich viel mit – oft auch O-Töne – wirkte dies als Bestätigung für die Probanden und sie vertieften das Thema. Machte ich wenig Notizen, wirkten manche verunsichert und ließen das Thema auch häufig schnell fallen. Oft war das von mir gar nicht beabsichtigt und war teilweise darin begründet, das ich bei einigen Fragen mir schon vorab wie beschrieben Antwortalternativen überlegt hatte und nun nur mein Kreuzchen machen musste. Ich schrieb daher, auch wenn nur ein Kreuz notwendig war, immer noch ein paar redundante Sätze mit, um keine Zweifel an der Relevanz der Aussagen aufkommen zu lassen.

Fazit: Es funktioniert!

Mein Fazit des „Doppelrollen-Tests“ war überraschend positiv. Ich konnte keine schlechtere Interviewqualität der Interviews, bei denen ich mitprotokollierte, gegenüber denen, bei denen ich mich rein auf die Interviewführung konzentrierten, feststellen. Verliefen die Interviews in der Doppelrolle sogar besser, weil ich mich, wie mein Kollege es geschildert hatte, noch besser auf die Aussagen des Probanden fokussierte? Das konnte ich nun wiederum nicht feststellen.

Ankreuzboxen und Symbole beschleunigen das Protokollieren

Ankreuzboxen und der Einsatz von Symbolen beschleunigen das Protokollieren.

Ebenfalls positiv war das Ausbleiben der Erschöpfung, die ich durch den „kognitiven Overload“ in der Doppelrolle befürchtet hatte. Man muss dazu allerdings ergänzen, dass es sich um eine ungewöhnlich komfortable Erhebung handelte. An einem Tag fanden nur drei Interviews mit langen Pausen dazwischen statt. Bei einem Hardcore-Testtag mit 10 Interviews wäre mein Urteil vielleicht anders ausgefallen.

Auch das Feedback der Probanden, das ich am Schluss der Tests einholte, fiel positiv auf. Keiner gab an, sich durch meine Mitschrift gestört gefühlt zu haben. Wie verlässlich diese Aussagen am Interviewende waren, kann man natürlich diskutieren – hier schlägt die soziale Erwünschtheit zu Buche.

Mein Fazit also insgesamt positiv, aber es bleiben auch einige Nachteile, die man nicht außer Acht lassen sollte, wenn es an die nächste Test-Planung geht.

Die Pro- & Contra-Liste für die Doppelrolle

Fangen wir mit dem Positiven an:

  • Kostenfaktor: Größtes Pro ist natürlich die Einsparung von Zeit und Kosten. Wenn nur einer erhebt, muss auch nur einer bezahlt werden.
  • Außerhalb des Labs: Manchmal lässt es das Umfeld nicht zu, dass man zu zweit vor Ort sein kann oder ein Bild übertragen, wie bspw. bei den erwähnten Automotive-Tests. Es kann aber auch für Kontextinterviews an Arbeitsplätzen interessant sein, wenn jeder Zugang für Externe sehr aufwändig ist oder am Arbeitsplatz wenig Platz zur Verfügung steht. In diesen Fällen bleibt die Doppelrolle die einzige oder zumindest unkomplizierteste Option.
  • Schwierige Themen: Es gibt Themen, die einfach heikel sind. Seien es Interviews, in denen Fragen zu den sehr persönlichen Lebensumständen gestellt werden oder Krankheiten behandelt werden. Bei solchen Themen kann es für die Offenheit des Probanden von Vorteil sein, versichern zu können, dass man das Interview zu zweit führt und eben keiner im Nebenraum sitzt und mithört.
  • Nachfragen erlaubt: Ein Vorteil, der erstmal unintuitiv klingt: es gibt ein potentiell besseres Protokoll. Gerade in Situationen, in denen der Protokollant im anderen Raum sitzt, gibt es für diesen kaum Möglichkeit nachzufragen, wenn er etwas nicht mitbekommen oder verstanden hat. Erst nach Abschluss des Interviews, kann man versuchen entstandene Protokolllücken zusammen mit dem Interviewer zu füllen. Aber häufig ist dann schon vieles vergessen. Ist der Interviewer selbst Protokollant kann er jederzeit Rückfragen stellen und passt das Tempo im Interview der eigenen Geschwindigkeit an.

Kommen wir zu den Nachteilen:

  • Expertise erforderlich: der Interviewer muss wirklich gut und erfahren sein und den Testgegenstand sehr gut kennen. Für Überlegungen und Unsicherheiten sind einfach keine Kapazitäten mehr frei.
  • Mehr Zeit einplanen: Man spart die Zeit des Protokollanten, muss dem Interviewer aber mehr Zeit sowohl in der Vorbereitung als auch bei der Durchführung zugestehen. Wie beschrieben sollte eine möglichst gute Protokollvorlage zur Verfügung stehen. Diese kostet Zeit in der Erstellung, die man sich aber nehmen sollte. Auch während der Interviews muss mehr Zeit eingeplant werden. 1:1 zuhören und aufschreiben funktioniert nur bei Stenotypisten und ist auch nicht unbedingt sinnvoll für ein Protokoll. Es entstehen im Interview immer wieder kleine Pausen, die der Interviewer braucht, um das Gehörte zu verarbeiten und festzuhalten. Aus den Erfahrungen meiner kleinen Studie würde ich einen Zeitaufschlag von 5-10 Minuten bei einstündigen Interview empfehlen.
  • Keine Abwechslung: Wer als Interviewer bei größeren Testbatterien dabei war, kennt es vielleicht auch – manchmal ist es gut mal die Rolle zu wechseln und vom Interviewer zum Protokollanten zu werden. Gerade bei sehr offenen Interviews passiert es mir manchmal nach mehreren Interviews, dass sich gehörte Inhalte vermischen und ich nicht sicher bin „Hat mir das dieser Proband vorhin erzählt oder war das der Proband im Interview zuvor“. Dann kann eine Runde Protokollieren hilfreich sein, eine bessere Trennung zwischen den Probanden zu bewahren. Ist man alleine, gibt es diese Option natürlich nicht.
  • Kein Moderator für Kunden: Wenn bei den Interviews Kunden als Beobachter anwesend sind, hat der Protokollant noch eine weitere wichtige Funktion: er betreut den Kunden. Besonders wenn unerfahrene Kunden dabei sind, kommt es häufig zu Fragen zur Methodik, Untersuchungsgegenstand etc. Ist ein Protokollant mit den Kunden im Raum können kleine Fragen gleich geklärt werden. Natürlich darf die Fragerunde nicht ausarten, sonst hat man am Ende zwar schlauere Kunden aber kein Protokoll.
  • Mitschrift: Am Ende jedes Tests steht die Auswertung an. Wenn der Interviewer auch derjenige ist, der die Auswertung kann auch die schludrigste Handschrift (meist) entziffert werden. Sollen andere mit dem Protokoll arbeiten, muss möglicherweise noch ein Zwischenschritt erfolgen: das Übertragen des handschriftlichen Protokolls in eine digitale Datei.
  • Keine zweite Meinung: Der aus meiner wichtigste Nachteil ist die fehlende Validierung. Man hat in der Doppelrolle eben nur noch ein Paar Augen und Ohren. Wenn etwas verpasst wurde oder vom Interviewer falsch interpretiert wird, gibt es keine Chance, dass die Beobachtungen und Wahrnehmung eines anderen diese korrigieren.

Tipps für die, die sich an der Doppelrolle versuchen wollen

Die Nachteile haben Sie nicht abgeschreckt und Sie wollen sich nun auch mal an der Doppelrolle versuchen? Dann hoffe ich erstens, dass sie schon einiges an Interviewerfahrung haben, und zweitens, dass Ihnen die folgenden Tipps weiterhelfen.

  1. Carpe Pretest! Nutzen Sie den Pretest und machen Sie sich Gedanken welche Antworten sie auf manche Fragen potentiell bekommen werden. So viel Arbeit wie sie vorab in die Protokollvorlage stecken, so viel Arbeit sparen Sie sich später im Interview. Optimieren Sie Ihre Protokollvorlage auch während der Interviews. Vielleicht finden Sie im Laufe der Sitzungen noch mehr „Einsparpotential“.
  2. Üben Sie „blind“ zu schreiben! Während des Tests sollte die Aufmerksamkeit beim Probanden und nicht auf Ihrem Block liegen. Daher lohnen sich ein paar Testläufe, in denen Sie den Blickkontakt halten und leserlich schreiben.
  3. Arbeiten Sie mit Symbolen und Abkürzungen, um während des Protokollierens Zeit zu sparen.
  4. Statt mit dem Stift und Papier können Sie auch am Computer protokollieren. Dann sollten Sie darauf achten, eine lautlose Tastatur zu benutzen, um keine ungewollte Geräuschkulisse zu erzeugen.
  5. Seien sich bewusst darüber, dass Ihre Mitschrift ein Feedback an den Probanden ist. Sie können damit steuern, ob ein Proband ein Thema vertieft, indem sie sich viele Notizen machen, oder abbricht, indem Sie nichts notieren.
  6. Fordern Sie die Zeit ein, die Sie für Ihre Notizen brauchen! Kein Proband störte sich an den dadurch entstehenden kleinen Pausen. Manchen nutzten die Pausen sogar, nochmal über Inhalte nachzudenken und Ihre Antwort zu vertiefen.

Zum Abschluss nochmal vielen Dank an meine Kollegen und Fachkollegen für ihren Input zum Thema! Danke an Xaver Bodendörfer, Daniel Wolf, Fabienne Stein, Joanna Oeding und Tobias Engel. Wenn ihr das Gefühl habt, dass eure Standpunkte zu kurz gekommen sind, her mit den Kommentaren!

Portraitfoto: Marie Jana Tews

Marie Jana Tews

Senior User Experience Consultant

eresult GmbH

Bisher veröffentlichte Beiträge: 12

4 Kommentare

  • Super spannend, danke für den Artikel!

    Ich persönlich mache viele Tests als „persona non grata“, also in der Doppelrolle Protokollant/Moderator. Was wirklich haarig ist, wenn man 10 Probanden am Tag hat.

    Und worauf ich dabei nicht mehr verzichten möchte, ist eine Videoaufzeichnung. Dann notiere ich mir bei Findings während der Tests nur die Zeit auf den Block und ein, zwei Stichpunkte daneben. Bei der Auswertung kann ich dann schnell an die jeweilige Stelle springen und nochmal nachsehen, was der Proband getan hat.
    Ohne das würde ich heute keine Untersuchung in der Doppelrolle mehr machen wollen. Das kostet zwar etwas mehr Zeit, lohnt sich aber definitiv!

    Bonus Tipp: Startzeit der Videoaufzeichnung notieren nicht vergessen, sonst sucht man später ewig im Video…

  • Lennart Weber

    Vielen Dank für den interessanten Artikel und die systematische Herangehensweise!
    Ich habe eine ähnliche Erfahrung gemacht: Bei Einzeltests ist das kein Problem.
    Wenn man allerdings eine Fokusgruppe moderiert, braucht man die volle Aufmerksamkeit auf das Gespräch, da hier oft mehrere argumentative Stränge entstehen, die koordiniert werden müssen.
    Wenn man das Geld und die Ressourcen übrighat ist eine Doppelbesetzung aus meiner Sicht aber immer besser, allein schon wegen der „zweiten Meinung“.

  • Sebastian Feige

    Vielen Dank für den sehr interessanten Artikel mit teils überraschenden Erkenntnissen und hilfreichen Tipps.

  • Pingback: Weniger Arbeit & bessere Ergebnisse mit guten Notizen - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.