Interpretation von Befragungsergebnissen leicht gemacht
Haben Sie das auch schon erlebt? Sie haben eine Befragung unter Ihren Kunden oder Nutzern durchgeführt und erhalten das Ergebnis:
70% sind mit der Seite zufrieden! Gut oder?
Oder etwa nicht? Tja, da liegt der Hase im Pfeffer, die Interpretation solcher Daten ist nämlich alles andere als einfach!
Zuallererst muss man natürlich die Seite selbst und deren Zweck in den Fokus rufen, aber auch die Teilnehmer, die an der Befragung teilgenommen haben, genau anschauen.
Ist nämlich eine Gruppe von Nutzern nur mit dem Zweck auf die Seite gekommen, um eine Beschwerde abzugeben, so kann man davon ausgehen, dass sich ganz einfach aus diesem Umstand die Bewertung der Seite in diesem Moment generell verschlechtert.
Der so genannte Deckeneffekt schwebt dann über allen Ergebnissen und beeinflusst diese. Und auch wenn die User Experience über alle Branchen an Bedeutung gewinnt, so ist es glaub ich nachvollziehbar, dass ein hübsch animierter Shop generell mehr Spaß am Surfen vermittelt als ein sachliches Bankenportal.
Wir wissen also nun, dass es diesen Effekt gibt, doch wie geht man am besten damit um? Um die Werte korrekt zu interpretieren, ist es z.B. möglich, sich mit Wettbewerbern zu vergleichen. Wie sehen also die Bewertungen bei jemandem aus, der eine ganz ähnliche Website anbietet? Stehe im dazu im Vergleich besser oder schlechter da aus Sicht der Nutzer/Kunden? Doch vorher an diese Werte gelangen? Kaum jemand gibt solche Daten preis, daher kann man sich z.B. über eine Benchmark-Analyse helfen. Dabei werden z.B. Personen aus der relevanten Zielgruppe aus einem Panel rekrutiert und per Zufall auf eine von mehreren Websites, die im Wettbewerb zueinander stehen, geschickt. Zu jeder Seite wird der gleiche, standardisierte Fragebogen beantwortet und letztendlich lässt sich aus den Ergebnissen ablesen, wo die eigenen Werte einzuordnen sind. Weisen z.B. zwei Wettbewerber Zufriedenheitswerte von über 80% aus, so sind meine 70% dagegen schlecht. Liegen die Wettbewerber aber bei 60%, so schneidet meine Seite im Vergleich ganz gut ab.
Ein kleines Minus hat dieses Vorgehen allerdings: Ich versetze die Teilnehmer lediglich in die Situation, die Seite zu nutzen, sie kommen nicht aus eigenem Antrieb und eigenen Intentionen – dies kann jedoch eher vernachlässigt werden, da dies ja auf alle Seiten der Untersuchung zutrifft. Man darf nur nicht den Fehler machen, Onsite-Daten mit Panel-Daten vergleichen zu wollen. Die zwei grundlegend verschiedenen Erhebungsmethoden verbieten dieses Vorgehen, denn Onsite erreiche ich vermutlich mehr „Fans“, die generell positiven ranken.
Eine weitere Lösung, die mir bei der Interpretation hilft, ist die Befragung in mehreren Wellen. Ich erhebe einen Vorher-Wert, ändere dann meine Seite (z.B. ein kompletter Relaunch) und erhebe dann erneut einen Nachher-Wert. Nun kann ich feststellen, ob meine Veränderung eine Entwicklung zum Positiven hervorgebracht hat. Lag der Wert vorher bei 80% und nun bei 70%, so war die Maßnahme nicht erfolgreich. Habe ich mich dagegen von 60% auf 70% verbessert, so kann die Aktion sicher als Erfolg gewertet werden.
Aber auch hier gibt es etwas zu beachten: Die Ansprüche der Nutzer steigen im Zeitverlauf stetig! Hat mich früher eine Zoomfunktion auf einem Online-Shop begeistert, so erwarte ich diese heute als Standard. Es dürfen also nicht zu lange Zeiträume zwischen den Erhebungswellen liegen.
Fazit:
Die Interpretation von Einzelwerten ist schwierig, auf Faustregeln kann und will man sich nicht verlassen. Vergleichswerte sind das A und O, um den eigenen Wert korrekt einordnen zu können. Als Vergleichswerte können Beurteilungen von Wettbewerbern oder frühere Erhebungswellen dienen.
