Onlineforschung: Antworttendenzen, Durchklicker und Kontrollfragen

Nachdem im Rahmen des qualitativen Produktmanagements bei eResult seit August auch wieder regelmäßig über methodische (Lab-) Highlights gebloggt wird, zieht das quantitative Produktmanagement natürlich nach und wird – ebenfalls alle 2 Monate – Neues und Wissenswertes zu quantitativen Methoden veröffentlichen.
Antworttendenzen_Bild1Wie auch in der Praxis wird der Fokus hierbei auf Online-umfragen liegen und mit diesem Thema möchte ich heute auch direkt starten: Nämlich mit der Beantwortung von Onlineumfragen, auftretenden Antworttendenzen, „Durchklickern“ und was man dagegen tun kann.

Antworttendenzen

Antworttendenzen beschreiben das Verhalten von Interview- oder Befragungsteilnehmern mit einer starken Tendenz in (k)eine bestimmte Richtung zu antworten. Dies betrifft vor allem die

  • „Tendenz zur Mitte“, bei welcher die Teilnehmer bei der Beantwortung immer ein mittlere Position (teils, weder-noch, …) ankreuzen sowie die
  • „Ja-Sage-Tendenz“ (Akquieszenz) und die „Nein-Sage-Tendenz“ bei der unabhängig von der Frage immer auf „ja“ bzw. „nein“ respektive den entsprechenden Skalenwert geklickt wird.

Bei der Zustimmungsfrage „Die Webseite gefällt mir“ wird also nicht nur gemessen wie sehr die Webseite einer Person tatsächlich gefällt, sondern auch deren individuelle Tendenz, stets eher ja oder nein zu sagen oder sich lieber gar nicht festzulegen.
Das Problem: Antworttendenzen führen immer zu systematischen Fehlern in den Erhebungsdaten

Durchklicker

Durchklicker, oder auch Lurker (von to lurk: lauern, schleichen), sind hingegen Befragungsteilnehmer, die sich unabhängig vom Inhalt der Befragung „einfach irgendwie“ durch die Befragung klicken, weil sie diese einfach nur schnell beenden möchten, um das beworbene Incentive bzw. die Vergütung zu erhalten. Auch sie können zu Verzerrungen der Daten führen. Teilweise ist bei den Durchklickern ein Muster zu erkennen, weil sie z. B. immer ganz links, ganz rechts oder diagonal klicken. Dies ist aber nicht immer der Fall.

Lösungsansätze:

  • Skala bewusst wählen:

    Bei einer Skala mit gerader Anzahl an Skalenpunkten und einem Mittelwert kann beispielsweise mit der Skalenlänge gearbeitet werden: So kann bei einer 7-stufigen Skala teils besser differenziert werden als bei einer 5-stufigen Skala, was der Tendenz zur Mitte entgegenwirkt. Denn ich bin vielleicht eher bereit eine schlechte (oder gute) Tendenz zu äußern, wenn daneben noch zwei extremere Werte stehen, als wenn ich das Gefühl habe, dass der zu Verfügung stehende Wert für meine Einstellung eigentlich zu stark ist – und ich mich dann lieber für die Mitte entscheide.
    Zudem, und das ist vor allem wichtig, sollte i.d.R. eine „weiß nicht“ Option eingebunden werden. Dies vermeidet, dass Probanden, die eine Frage nicht beantworten können oder wollen, auf die Mitte der Skala ausweichen.

  • Skalen drehen (schlechte Idee):

    Als weiterer Lösungsansatz wird manchmal diskutiert, die negativen/positiven Pole einer Skala zu drehen, um den Probanden „auf Trab“ zu halten oder zu kontrollieren. Dies ist jedoch eine schlechte Idee, denn Befragungsteilnehmer lernen recht schnell wie die Skalen gepolt sind und achten im weiteren Umfrageverlauf nicht mehr auf etwaige Beschriftungen. Das Ergebnis: Wenn sie zustimmen wollen, klicken sie dorthin wo sie es gelernt haben (links oder rechts), was nach einer Drehung der Skala dann einen kontroversen und komplett falschen Erhebungswert mit sich führt.

  • Kontrollfragen und Negativformulierungen:

    Einen ähnlichen und weit effektiveren Ansatz, um die Aufmerksamkeit des Teilnehmers zu erhalten und eventuelle Tendenzen zu erkennen, bietet die Formulierung der einzelnen Fragen bzw. die Einbindung von semantisch gedrehten, negativ formulierten zusammenhängenden Fragen wie z. B. „Ich bin mit dem Onlineshop zufrieden“ & „Ich wünsche mir Änderungen an dem Onlineshop“ sowie von gleichbedeutenden Fragen wie z. B. „Die Seite ist einfach zu bedienen“ & „Die Handhabung der Webseite ist kompliziert“. Stimmen Teilnehmer hier jeweils mit Extremwerten derselben Richtung zu, deutet dies auf eine einseitige Antworttendenz hin.

    Aber Achtung, auch hier ist mit Bedacht zu handeln: Zu viele Wechsel irritieren den Teilnehmer, kosten zu viel kognitiven Aufwand und erhöhen somit die Abbruchrate. Und: Bei zusammenhängenden Fragen kann auch trotz gleicher Tendenz die Antwort bewusst gewählt sein, z.B. wenn ich zwar mit dem Onlineshop zufrieden bin, weil er grundsätzlich meine Bedürfnisse befriedigt, ich mir aber trotzdem Änderungen wünschen würde, z. B. in der Farbe o.Ä.

    Reine Kontrollfragen mit derselben Ausrichtung dienen vor allem dazu, die oben beschriebenen Lurker zu identifizieren, also Personen die zwar keine klare Tendenz aufweisen, sich aber einfach beliebig durch den Bogen klicken. Ein Bespiel für eine solche Zustimmungsfrage wäre: „Ich kaufe gerne online ein“ und „Online einkaufen macht mir Spaß“. Auch hier ist mit Bedacht abzuwägen, ob sich der Aufwand lohnt, denn zu viele Redundanzen irritieren den Probanden, erhöhen die Abbruchquote und können der Intention sogar entgegenwirken, indem der Teilnehmer die Befragung irgendwann nicht mehr ernst nimmt.

Fazit:

Die Verwendung von Kontrollfragen ist meist nicht nötig, denn Antworttendenzen können im Datensatz erkannt und bereinigt werden. Entsprechend geht auch eResult im Rahmen der Datenanalyse und -bereinigung vor: Unsere Datensätze werden systematisch auf Antwortschemata geprüft, als auch hinsichtlich der Antwortzeiten analysiert und bereinigt. Gerade die Bereinigung der Lurker ist über den Datensatz ganz einfach über die Bearbeitungsdauer möglich, denn diese beantworten den Fragebogen in der Regel viel zu schnell. Die Einbindung einer negativ formulierten Kontrollfrage bietet jedoch zusätzliche Sicherheit und sprengt auch den Fragebogenumfang i.d.R. nicht und ermöglicht zusätzliche Plausibilitätschecks – damit der Datensatz auch tatsächlich valide Ergebnisse liefert.

Portraitfoto: Susanne Niklas

Susanne Niklas

Senior User Experience Consultant

Alumni-eresult GmbH

Bisher veröffentlichte Beiträge: 7

Ein Kommentar

  • Beatrix

    Das finde ich sehr interessant. Ich nehme häufig an Online-Umfragen teil und das größte Ärgernis für mich ist, wenn keine „Ich weiß nicht“-Möglichkeit besteht. Wenn ich z.B. ein Produkt oder eine Marke „kenne“ heißt das ja noch lange nicht, dass ich sie wirklich „kenne“ oder eine Meinung im vorgegebenen Themenkontext habe. Tatsächlich klicke ich dann meist in der Mitte, wenn möglich 😉

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.