Prüfung von Itembatterien für Fragebögen
In unserem Beitrag „Entwicklung von Itembatterien für Fragebögen“ haben wir verschiedene Methoden skizziert, mit denen es möglich ist, kundenorientierte Fragestellungen für einen Fragebogen zu entwickeln. Im vorliegenden Beitrag wollen wir darstellen, wie es möglich ist, den Fragebogen noch weiter zu verfeinern. Wichtig dabei ist, dass die Kunden an der Entwicklung des Fragebogens weiter beteiligt sind. Wir wollen heute also der Frage nach der Relevanz einzelner Items nachgehen. Außerdem zeigen wir einen Weg auf, wie sich die Bedeutung einzelner Shopmerkmale genauer bestimmen lässt.
Der Kunde hat das letzte Wort!
Die mit Hilfe der sequentiellen Ereignismethode und Methode der Kritischen Ereignisse (siehe dazu: Entwicklung von Itembatterien für Fragebögen) ermittelten Kundenanforderungen können jetzt herangezogen werden, um den „endgültigen“ Fragebogen zu formulieren. In der Regel hat man es immer noch mit relativ vielen Items zu tun. Daher bietet es sich an, die zusammengetragenen Items in einer Vorbefragung (beispielsweise in einer repräsentativen Panelbefragung nach AGOF) gewichten zu lassen. Dazu werden den Befragungspersonen die einzelnen Itembatterien vorgestellt. Sie haben nun die Aufgabe, die aus ihrer Sicht wichtigsten Items zu markieren. Durch eine geschickte Filterführung wird dabei sichergestellt, dass ein Proband nicht alle Items beurteilen muss. Die Belastung für die Probanden hält sich dadurch in Grenzen. In den endgültigen Fragebogen gehen dann nur noch die als am wichtigsten angesehenen Items ein. Nach der Zusammenstellung aller Items in einem Fragebogen muss dieser zum Einsatz kommen. Nach der ersten Befragungswelle mit dem jetzt optimierten Fragebogen bedarf es jedoch noch weiterer Auswertungsschritte, um die Güte des Messinstruments sicherzustellen.
Welche Items müssen noch entfernt werden?
In einem weiteren Auswertungsschritt muss die Reliabilität des Messinstruments überprüft werden. Dazu kann eine Reliabilitätsanalyse mit Hilfe von verschiedenen Verfahren durchgeführt werden. Zunächst bietet es sich an, Cronbach`s Alpha zu berechnen. Dieser Reliabilitätskoeffizient liegt zwischen 0 und 1. Hohe Werte in der Nähe von 1 deuten auf eine hohe interne Konsistenz der Skala hin. Außerdem kann ermittelt werden, ob es besser ist, noch einzelne Items aus dem Fragebogen zu entfernen. Eine weitere Auswertungsmethode stellt die Faktorenanalyse dar. Mit ihrer Hilfe lassen sich die abgefragten Items auf möglicherweise dahinter liegende Faktoren verdichten. Allerdings kommt es bei diesem Verfahren darauf an, dass sich die identifizierten Faktoren auch inhaltlich interpretieren lassen. Ist das der Fall kann die Itembatterie noch weiter verdichtet werden. Man muss dann allerdings mit den noch näher zu benennenden Faktoren weiterarbeiten. Der so optimierte Fragebogen ist jetzt bereit für den kontinuierlichen Einsatz. Damit hat man ein valides Messinstrument mit dem sich die Zufriedenheit der Online-Kunden sicher messen lässt.
Was ist besonders wichtig für die Shopbetreiber?
Neben den eigentlichen Zufriedenheitswerten ist es auch von besonderem Interesse zu wissen, wie bedeutsam die jeweils abgefragten Items für das Gesamturteil bzw. die Gesamtzufriedenheit der Kunden sind. Neben den abzufragenden Items muss daher immer auch ein Globalurteil (Wie zufrieden sind Sie mit dem Online-Shop insgesamt?) abgefragt werden. Mit Hilfe einer multiplen Regressionsanalyse lassen sich dann Bedeutungsgewichte für die jeweiligen Teilzufriedenheiten (z. B. Zufriedenheit mit dem Warenkorb) bestimmen. In der Abbildung sind diese Bedeutungsgewichte neben den Pfeilen vermerkt.
Beispiel für ein Regressionsmodell eines Online-Shops
Der Vorteil dieser indirekten Bestimmung der Gewichtungsfaktoren liegt darin, dass nicht noch einmal abgefragt werden muss, wie wichtig das jeweilige Item für die Kunden ist. Die Fragebogenlänge verringert sich dadurch um 50%. Außerdem wird der Tendenz entgegengewirkt, dass die Probanden alle Items als wichtig ansehen. Die so genannte Anspruchsinflation wird also geschickt umgangen. Allerdings müssen auch für die Anwendung der Regressionsanalyse einige Voraussetzungen erfüllt sein. So darf beispielsweise keine Multikollinearität zwischen den einzelnen Items (unabhängigen Variablen) bestehen. Dies ist vorher zu prüfen und die entsprechenden Items sind aus der Regressionsanalyse auszuschließen. Es kann also durchaus sein, dass man nicht für Items einen Gewichtungsfaktor berechnen kann. Daher ist zu prüfen, ob in Folgebefragungen eine andere Formulierung des Items oder die Entfernung des Items aus dem Fragebogen sinnvoll ist.
Alles in allem erfordert die Formulierung eines validen Fragebogens eine ausgiebige Vorbereitung und umfassende Methodenkenntnis. Es kommt nicht darauf an, möglichst alles in der Befragung abdecken zu wollen, sondern man muss die richtigen Fragen stellen. Dann sind auch die Kunden bzw. Befragungspersonen mit der Befragung zufrieden.
