Drei Mythen über Onsite-Befragungen… und warum sie nicht zutreffen!

In Gesprächen mit (potentiellen) Kunden sehen wir uns immer wieder mit ähnlichen Bedenken und in Bezug auf den Einsatz von Onsite-Befragungen konfrontiert. Glücklicherweise gelingt es in der Regel, diese Bedenken auszuräumen und die Interessenten von dieser mächtigen und vielseitigen Methode zu überzeugen. Daher scheint es höchste Zeit, einmal mit einigen gängigen Mythen rund um die Onsite-Befragung aufzuräumen und zu zeigen, dass die Methode für weit mehr Online-Angebote und Fragestellungen einsetzbar ist als häufig vermutet.

Wenn es darum geht, mehr über die die Nutzer einer Webseite oder eines Online-Shops zu erfahren: Wer ist besser geeignet diese Fragen zu beantworten als die Nutzer selbst? Sei es die Frage, wie sich die Nutzerschaft hinsichtlich Alter, Geschlecht, Beruf oder Einkommen zusammensetzt, mit welchen Intentionen die Besucher auf die Seite kommen oder welche Inhalte und Funktionen erwartet werden und welche verzichtbar sind.

Die Beispiele zeigen, wie breit das Spektrum der Fragestellungen ist, die sich durch eine direkte Befragung der Nutzerschaft beantworten lassen (Eine detaillierte Vorstellung der Methode finden Sie auf www.eresult.de). Im Gegensatz zu einer Panelbefragung, in der gezielt verschiedene Zielgruppen per E-Mail zur Teilnahme eingeladen werden, geschieht die Einladung Onsite direkt während der Nutzung der Seite. Das ‚corpus delicti‘ ist präsent, die Nutzungssituation so realistisch wie nur möglich. Ob Heavy-User oder Erstnutzer, jeder Besucher hat die gleiche Chance sich zu beteiligen (wenngleich sich eine differenzierte Betrachtung dieser Nutzergruppen im Rahmen der Auswertung in der Regel anbietet). Eine bewusst ausgewählte Incentivierung kann dabei helfen, die Nutzer zur Teilnahme zu motivieren. Dies führt uns allerdings schon zum ersten Mythos:


Mythos 1: „Da machen nehmen die Leute doch nur teil, weil sie was gewinnen wollen. Da wird doch irgendein Mist geantwortet!“

Die Zweifel an der Qualität der erhobenen Daten sind auf den ersten Blick sicherlich nachvollziehbar, die Vorstellung eines „Incentive-Jägers“, der in der Hoffnung auf einen attraktiven Gewinn von Umfrage zu Umfrage springt, liegt nahe. Die Auswahl eines angemessenen Incentives ist daher von großer Bedeutung. Dieses soll die Entscheidung zur Teilnahme zwar positiv beeinflussen, aber nicht alleiniger Grund der Teilnahme sein. Auf Basis unserer umfangreichen Projekterfahrung beraten wir unsere Kunden umfassend bei der Auswahl des idealen „Dankeschöns“.

Um Teilnehmer mit unlauteren Motiven dennoch identifizieren zu können, unterziehen wir die erhobenen Daten vor der Auswertung umfangreichen Qualitätschecks. Zweifelhafte Fragebögen, beispielsweise Mehrfachteilnehmer, inkonsistente Angaben oder sogenannte Durchklicker (Beantwortung der Fragen in unrealistisch kurzer Zeit) lassen sich so problemlos identifizieren und aus dem Datensatz entfernen.

Ganz allgemein sollte die Bedeutung der Incentivierung aber nicht überbewertet werden. In verschiedenen Projekten haben wir die Erfahrung gemacht, dass sich auch qualitativ hochwertige Daten erheben lassen, wenn vollständig auf Gewinne verzichtet wird. Eine intrinsische Motivation zur Teilnahme ist offensichtlich vorhanden. Damit diese nicht während der Teilnahme leidet, gilt es den Umfang der Fragen und der zu lesenden Texte möglichst gering zu halten. Wenn die Art der Abfragen dann noch abwechslungsreich gestaltet ist und auf monotone lange Itembatterien verzichtet wird, klicken sich die Teilnehmer mit Freude von Frage zu Frage und beantworten nach bestem Wissen und Gewissen.


Mythos 2: „Die Ergebnisse sind ja wohl nicht repräsentativ!“

Die Frage nach der Repräsentativität muss leider mit der Gegenfrage beantwortet werden: Repräsentativ für was? Die Weltbevölkerung? Die Käuferstruktur offline? Die deutsche Internetnutzerschaft? In der Regel soll die Stichprobe ja die Gesamtheit der Nutzerschaft des Angebots wiederspiegeln. Werden systematische Fehler bei der Zusammensetzung der Stichprobe vermieden (mit der Incentivierung wurde ein Beispiel ja bereits im vergangenen Abschnitt erläutert), kann davon ausgegangen werden, dass die erhobene Stichprobe der Nutzerschaft entspricht. Dies belegt auch die hohe Konsistenz der online erhobenen Daten zu Marktforschungsergebnissen, die über andere Kanäle erhoben wurden. Und sollte es eine Fragestellung doch einmal erfordern, eine Quotierung, beispielsweise bezüglich der deutschen Internetnutzerschaft herzustellen, ist dies selbstverständlich problemlos möglich, wenngleich sich zur Beantwortung solcher Fragestellungen in der Regel Panelbefragungen besser eignen.


Mythos 3: „Auf unserer Website ist zu wenig Traffic, da kann man keine Onsite-Befragung machen“

Richtig ist, dass eine gewisse Stichprobengröße erforderlich ist, um quantitative Aussagen treffen zu können. Dies gilt besonders, wenn verschiedene Subgruppen (z.B. nach Geschlecht oder Altersgruppen) getrennt voneinander betrachtet werden sollen. In Abhängigkeit von der Verteilung in der Stichprobe ist es eventuell möglich, dass nicht ausreichend viele Fälle gesammelt werden können und gewisse detaillierte Gruppenanalysen nicht möglich sind. Beispielsweise muss eine vergleichsweise große Stichprobe gezogen werden, um für ein Angebot, dass zu 95% von Männern besucht wird, auch Aussagen über die weiblichen Nutzer treffen zu können.

Richtig ist auch, dass sich nie alle Besucher einer Seite zur Teilnahme an einer Umfrage motivieren lassen werden. Geringer Traffic ist jedoch keinesfalls ein KO-Kriterium für eine Onsite-Befragung. Die Annahme des „Viel hilft viel“ ist daher schlichtweg falsch. Ab einer gewissen Stichprobengröße führt eine Verdopplung der Fallzahl maximal noch zu Veränderungen in den Nachkommastellen. Im Gegenteil: Durch sehr große Fallzahlen werden auch minimale Unterschiede zwischen Subgruppen statistisch signifikant, die Unterscheidung zwischen inhaltlich bedeutsamen und weniger wichtigen Gruppenunterschieden wird erschwert.

Viel wichtiger als die absolute Zahl der Teilnehmer ist die korrekte Zusammensetzung der Stichprobe. Noch so viele Fälle helfen nicht, um aus einer systematisch verzerrten Stichprobe eine korrekt Gezogene zu machen. Bei vergleichsweise wenigen Besuchern ist es nur besonders wichtig, die vorhandenen Potentiale auszuschöpfen und die genannten Kriterien zur Verbesserung der Ausschöpfungsquote (insbesondere Incentivierung und Fragebogengestaltung) zu optimieren. Darüber hinaus lassen sich über eine längere Erhebungszeit die Teilnehmerzahlen erhöhen.

Allerdings steht diese Option nicht unbegrenzt zur Verfügung, da sich mit der Länge der Feldzeit auch die Gefahr erhöht, dass Störeffekte (z.B. Veränderungen an der Seite oder externe Ereignisse) das Nutzungsverhalten ändern.

Mit Hilfe dieser Stellschrauben ist es in der Regel möglich, für jedes Angebot eine ausreichend große Stichprobe zu erreichen. Im Rahmen der Studienkonzeption und Datenerhebung arbeiten wir eng mit unseren Kunden zusammen, beraten und erarbeiten gemeinsam Lösungen, sollten sich Probleme mit der Stichprobengröße zeigen.

Onsite eignet sich für (fast) Jeden…

…die entsprechenden Fragestellungen vorausgesetzt. Nicht immer ist die Onsite-Befragung die Methode der Wahl, vielleicht eignet sich ja auch eher ein qualitativer Ansatz, beispielsweise ein Usability-Test im Labor. In allen Projektphasen von der Auswahl der passenden Methode, über die Studienkonzeption bis hin zur Aufbereitung und Präsentation der Ergebnisse gehen wir individuell auf die Besonderheiten und speziellen Anforderungen unserer Kunden ein. Erst nachdem wir unsere Kunden kennengelernt haben, schneidern wir den (methodischen) Anzug, der auch passt. Ist die Onsite-Befragung die Methode der Wahl, gilt es eine methodisch saubere Umsetzung zu gewährleisten. Nur wenn die hier angerissenen Fallstricke umgangen werden, lassen sich auch verwertbare Daten erheben und inhaltlich sinnvolle Aussagen und Empfehlungen ableiten.

2 Kommentare zu „Drei Mythen über Onsite-Befragungen… und warum sie nicht zutreffen!

  1. Florian Thirolf

    Hallo Herr Krieger,

    vielen Dank für Ihre Anmerkung. Diese möchte ich mit „sowohl als auch“ beantworten. Neben unseren eigenen Daten und Erfahrungen möchte ich Sie auf die Magisterarbeit von Bernhard Burger zum Thema „„Monetäre und nicht-monetäre Incentives als Mittel zur Definition von unterschiedlichen Befragungssituationen
    und deren Einfluss auf die Qualität und Quantität der Daten
    am Beispiel eines Online-Panels“ hinweisen. Auch sehr empfehlenswert: „Möglichkeiten und Grenzen von Online-Befragungen unter besonderer Berücksichtigung der Daten- und Stichprobenqualität“ von Christian Reinboth.

    Viele Grüße
    Florian Thirolf

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *