Onlineforschung: Ratingskalen – kommt zufrieden vor unzufrieden?
Wird über die Verwendung von Ratingskalen diskutiert, so dreht sich die Debatte meist über die absolute Anzahl der Bewertungsstufen: gerade oder ungerade, und dann, 5 vs. 7 oder 6 vs. 8 Stufen? Was eher selten Gegenstand der Diskussion ist: Was steht eigentlich über Stufe 1? Ich stimme zu/bin zufrieden? Oder eher das Negativum: stimme nicht zu/bin unzufrieden?
Schaut man sich in der Praxis die Fragebögen, welche einem so unterkommen, einmal genauer an, so sieht man, dass man nichts sieht – zumindest keine einheitliche Handhabung der Skalenausrichtung. Die Ausrichtung der negativen bzw. positiven Pole einer Skala erschienen also relativ beliebig links oder rechts platziert zu werden.
Status quo und „Ausrichtungstücken“:
Positiv -> negativ:
Googelt man nach Skala + Umfrage + Zufriedenheit, so landet man recht schnell auf der Seite von Surveymonkey, einem etablierten Anbieter zur (technischen) Umsetzung von Onlineumfragen. Die hier verfügbaren Vorlagen für Zufriedenheitsbefragungen sind z. B. allesamt von positiv (oben) nach negativ (unten) ausgerichtet. Selbige Reihenfolge bei einem Beispiel aus der Praxis der Autoscout24 GmbH, die in einer Befragung zu verschiedenen Informationskanälen die Zustimmungsskala von positiv (links) nach negativ (rechts) ausgerichtet hat (vgl. Abb. 1). Diese Art der Ausrichtung tritt gerade bei Onlineumfragen gefühlt sehr häufig auf.
Negativ -> positiv:
Bei Rossmann wurden hingegen im Rahmen einer Kundenbefragung die Zufriedenheits- und Zustimmungsskalen von links negativ nach rechts positiv ausgerichtet. Diese Art der Ausrichtung wird auch in einem Beitrag des Marktforschungsportals Research-results.de empfohlen und findet sich z. B. auch in der wissenschaftlichen Grundlagenliteratur wieder, wo eine Ausrichtung in Bezug zur hier vorherrschenden Leserichtung von links nach rechts empfohlen wird und entsprechend kleine oder negative Werte links anzuordnen sind (vgl. Möhring, Schlütz 2010).
Ausrichtungstücken:
Besonders spannend wird es bei Umfragen, welche auf eine diesbezügliche Beschriftung der Skala ganz verzichten, wie ich es letztens erst wieder im Rahmen einer Seminarbewertung gesehen habe, bei welcher das besuchte Seminar anhand von Aussagen und deren Zutreffen bewertet werden sollte (vgl. Abb. 2).
Der eine oder die andere mag nun gerade vielleicht denken: „Das geht doch ganz klar nach dem Schulnotensystem!“, so würde ich hier mehrere Vetos einlegen wollen. Zum einen: Das sehen sicher nicht alle so, denn es gibt ja auch die Denke „auf einer Skala von eins bis …“, was die meisten ja auch noch aus der Schule von der Bewertung diverser Klassenkamerad(in)en kennen, und wo ein hoher Wert definiv wünschenswerter war als die eins. Und schon haben wir also den Salat. Von Nutzern, welche das deutsche Schulnotensystem nicht kennen ganz zu schweigen. Für die Validität der Ergebnisse obiger Seminarbewertung würde ich zumindest nicht gerade stehen wollen.
Selbiges Problem der Validität ergibt sich natürlich auch, wenn die Richtung der Skala innerhalb einer Umfrage wechselt, da Teilnehmer ja lernen wo sie klicken müssen, wenn sie (nicht) zustimmen und die Beschriftung der Skala nicht auf jeder Umfrageseite aufs Neue mit Bedacht lesen (>natürliche Aufwandsminimierung). „Muss man halt aufpassen“ denken Sie nun. Richtig. Macht man aber zum einen nicht immer, zum anderen gibt es tatsächlich vereinzelt Fälle, wo Einigkeit herrscht und wo dann eben nicht gedreht wird. Zum Beispiel beim Net Promoter Score (NPS), welcher die Weiterempfehlungsrate misst und welche stets auf einer numerischen von 0 (unwahrscheinlich) bis 10 (äußerst wahrscheinlich) erhoben wird. Wird der Rest mit einer Skala von „voll und ganz“ bis „überhaupt nicht“ erhoben, herrsch schon wieder Uneinigkeit. Selbiges Potenzial bietet sich, wenn zusätzlich Häufigkeiten (täglich, mehrmals die Woche, …, nie), bipolare Skalen (schlecht – gut) oder visualisierte Skalen, z. B. mit verschieden großen Flächen oder Smileys zum Einsatz kommen. Da eine Befragung eben meist mehrere Fragetypen und folglich auch verschiedene Skalen beinhaltet, ist also nicht nur in Bezug auf die Antwortformulierung, sondern auch auf die (einheitliche) Ausrichtung akribisch zu achten.
Hat die Richtung eigentlich einen Einfluss auf die Ergebnisse?
Stimmen aus der Wissenschaft:
Jein. Das ist zumindest der Tonus der Wissenschaft. Heißt: Einige Studien konnten nachweisen, dass es eine Linkstendenz gibt, Nutzer also eine Tendenz dazu haben, eher links ihr Kreuzchen zu setzen, ganz egal ob da nun das positive oder das negative Ende der Skala steht (vgl. z.B. Chan 1991). Andere Studien zeigen hingegen, dass die Anordnung der Skala keinen nachweisbaren Effekt auf das Antwortverhalten ausübt (z. B. Weng & Cheng 2000).
Und wieder andere Studien weisen darauf hin, dass die Effekte zwar vorhanden, jedoch insgesamt sehr gering sind (ca. 0,2-0,3 Punkte Abweichung bei einer 5-stufigen Skala) und vor dem Hintergrund der Einflüsse der übrigen Fragebogengestaltung zu vernachlässigen sind (vgl. Sauro 2014).
eResult forscht nach:
Da wir bei eResult es ja immer genau wissen wollen, habe ich das selbst mal getestet und im Rahmen einer Umfrage zum Shoppingverhalten insgesamt sieben Fragen per Zufall je einmal mit einer links positiven bzw. links negativen Zustimmungsskala ausspielen lassen (n=600). Die Ergebnisse der Auswertung zeigen, dass keine konkreten Anhaltspunkte für einen Einfluss der Ausrichtung bestehen. Zwar zeigen vier der sieben Fragen auf dem Niveau von 5 % einen signifikanten Mittelwertunterschied von 0,3 (bei einer 6-stufiken Likertskala) auf – allerdings sowohl in positiver als auch negativer Differenz. Dass tendenziell mehr links geklickt wird, kann zumindest hiernach also nicht bestätigt werden.
Und was erwartet der eigentlich Nutzer?
Relevanz der Nutzererwartungen:
Manch einer mag sich vielleicht gerade fragen, was der Befragungsteilnehmer mit der (wissenschaftlich) korrekten Ausrichtung von Skalen zu tun hat. Aus meiner Sicht: viel. Denn ein zentrales Gebot der Fragebogengestaltung ist die Vermeidung von Komplexität – und das bezieht sich eben nicht nur auf die Formulierung der Frage, sondern auch auf das Drumherum, sprich auch die Ausrichtung der Skalen. Und alle, die sich mit Nutzern, Verhalten, Habitualisierung, kognitiver Anstrengung etc. beschäftigen, wissen ja, dass Nutzer mentale Modelle (Erwartungsmuster) bilden und die Anstrengungen entsprechend steigt, wenn Dinge eben kontrovers zu diesen erwarteten Mustern sind. Das wiederum hat Auswirkungen auf die Motivation, das Abbruchverhalten, die Verlässlichkeit der Ergebnisse etc. pp. Fragen wir also einmal die Nutzer, wo diese eigentlich die volle Zustimmung auf einer Skala erwarten.
eResult forscht nach – die Zweite:
Gesagt, getan: Stichprobe n=388, Darstellung einer 6-stufigen Likertskala, mit Bitte um Markierung desjenigen Feldes, in welches die Teilnehmer bei völliger Zustimmung bzw. Ablehnung klicken würden (Randomisierung per Zufallsauswahl). Das Ergebnis ganz klar: Nutzer erwarten – ganz konform zur Grundlagenliteratur – eine Ausrichtung in Leserichtung von negativ nach positiv. (vgl. Abb. 3)
Fazit:
Die Ausrichtung der Skala hat an sich erst einmal keinen nachweisbaren Einfluss auf die Ergebnisse. Allerdings können sehr schnell Fragen bezüglich der Validität auftreten, wenn Skalen nicht mit Bedacht verwendet werden und z. B. im Rahmen einer Befragung unterschiedliche Ausrichtungen vorkommen.
Da Skalen häufig mit nummerischen Zusätzen versehen werden, welche mit steigender Zahl auch eine Steigerung der Intensität suggerieren sollen, bietet sich diesbezüglich eine entsprechende Orientierung an der hier vorherrschenden Leserichtung von links nach rechts an. So auch die Empfehlungen der Literatur, eine Steigerung (von Zustimmung, Zufriedenheit, Intensität, …) von links nach rechts stattfinden zu lassen und „kleine Werte“ entsprechend links und „große Werte“ rechts auszurichten, da dies als intuitiver und somit sinnvoller erachtet wird. Genau dies hat zudem auch unser oben beschriebener Test zu den tatsächlichen Erwartungen von Umfrageteilnehmern ergeben. Selbigen Ansatz, von klein nach groß und negativ nach positiv folgt daher auch eResult im Rahmen von Befragungen – natürlich aber nicht ohne stets in jedem Umfrageprojekt einzeln noch einmal einen expliziten Blick auf die jeweilige Skala und deren Eignung zu legen;).
Quellen
Chan, J.C. (1991): Response-order Effects in Likert-type Scales, in: Educational and Psychological Measurement, Vol. 51, S. 531-540.
Möhring, W., Schlütz, D. (2010): Die Befragung in der Medien- und Kommunikationsforschung. Eine praxisorientierte Einführung, Lehrbuch, 2. Aufl. VS Verlag/Springer Fachmedien, Wiesbaden
Sauro, J. (2014): Survey Respondents Prefer the Left Side of a Rating Scale, Beitrag auf: Measruing UX – Usabiltiy, Customer Experience & Statistics. Online abrufbar unter: www.measuringu.com/blog/left-side-bias.php.
Weng, L-J.; Cheng, C-P. (2000): Effects of Response Order on Likert-type Scales, in: Educational and Psychological Measurement, Vol. 60, S. 908-924.
Schöne Zusammenfassung, vielen herzlichen Dank!
Genau, was ich gesucht habe. Vielen Dank!
Habt ihr dazu auch Erkenntnisse in Bezug auf Mobile Surveys, wo die Skalen ja häufig wegen des kleinen Screens vertikal ausgerichtet sein müssen? Ist hierbei der positive Pol oben oder unten zu empfehlen?
Zwar ist die Frage schon ewig her, aber von LimeSurvey ist hier eine interessante Einschätzung zu finden:
https://www.limesurvey.org/blog/knowledge/108-the-likert-scale-enhance-your-survey-data
„[…] there have been researchers investigating the possibility of something called a left-side bias when displaying a Likert scale question horizontally. Essentially, left-side bias means that when placing answer options on the left side of the Likert scale, there is a tendency among respondents to select these options, said tendency being somewhat stronger for positive options on the left side than negative options.
Furthermore, there has been equivalent research showing a similar, yet even stronger selection bias for vertical Likert scales as respondents tend to skip lower displayed answer options and more often select the top options.
[…]
According to the Likert scale bias matrix, to keep the bias as low as possible in vertical order, it appears best to place negative attitude options at the top of the scale and positive attitude options at the bottom of the scale.“
Pingback: Zufriedenheitsumfrage It Vorlage - tippsvorlage.info - tippsvorlage.info