Daten haben ist gut – gute Daten haben ist besser!

Zahlen und Statistiken wird eine hohe Bedeutung zugemessen, insbesondere in den höheren Management-Ebenen ist quantitatives Zahlenmaterial Entscheidungsunterstützer Nummer 1.

Natürlich gibt es auch Fälle, bei denen qualitative Ansätze Sinn machen (Anforderungen an die Website mittels Fokusgruppen erfahren), oftmals ist aber auch hier im Anschluss eine Quantifizierung notwendig, um die Prioritäten für die interne Einplanung/Umsetzung einschätzen zu können (welche Anforderung hat den größten Mehrwert für meine Besucher/Kunden). Doch heute möchte ich allen Zahlengläubigen einmal verdeutlichen, womit die Qualität einer solchen Studie steht und fällt.

1. Hypothesen aufstellen

Im Idealfall werden zu Beginn einer Studie Hypothesen aufgestellt. Dies sind vereinfacht gesagt lediglich Vermutungen, die verifiziert oder falsifiziert werden sollen. Auch prognostizierte Unterschiede innerhalb der Zielgruppe können zu Hypothesen führen, z.B. „Heavy-Shopper sind anspruchsvoller, was die Darstellung von Produktinformationen auf einer Produktdetailseite betrifft“. Diese Hypothesen stellen bereits eine wichtige Basis für das Auswertungsdesign dar, und vermeiden, dass blind in den Daten „herumgefischt“ wird.

2. Untersuchungsfragen operationalisieren

Verständliche Fragen zu stellen, die auch tatsächlich das messen, was sie messen sollen, ist gar nicht so einfach. Beispielthema: Versandkosten – sollen diese auch für 24h Lieferung kostenlos sein?
Frage ich nun einen Kunden direkt: „Möchten Sie eine versandkostenfreie Lieferung innerhalb von 24h?“, so könnten wir alle das Ergebnis vorher sagen. Oder würden Sie mit „Nein“ antworten?
Besser: Auf die Frage „Wie wichtig ist Ihnen, bestellte Waren direkt am nächsten Tag zu erhalten?“ folgt die Einschätzung: „Wären Sie bereit, für diesen 24h-Versand einen Aufpreis zu zahlen?“. Somit erhalte ich ein differenziertes Ergebnis und könnte sogar im Nachgang die Preisbereitschaft separat thematisieren – bei denjenigen, denen dieses Thema wichtig ist und die bereit wären, dafür zu zahlen. Zugegeben, ein sehr plumpes Beispiel, aber ich hoffe, das Prinzip wurde dabei deutlich.

3. Pretest und Erhebung

Um die Verständlichkeit der Fragen zu klären, empfiehlt sich immer ein Pretest mit Personen aus der Zielgruppe. Gerade Fachvokabular oder sich eingebürgerte Begriffe im Unternehmen, die für den Fragebogenersteller alltäglich erscheinen, lassen sich so identifizieren und verändern. Eine zweistufige Vorgehensweise bei Pretest (Phase 1: alleiniges Bearbeiten mit lautem Denken der Testperson, Phase 2: Durchsprache der einzelnen Fragen auf Verständnis. Im selben Atemzug lassen sich Lücken bei Antwortvorgaben von geschlossenen Fragen identifizieren und für die tatsächliche Erhebung noch ergänzen.

Bei der Erhebung ist zuallererst relevant, dass die richtigen Personen eingeladen werden, also nicht jemand zu „Reisebuchung im Internet“ befragt wird, der niemals eine Reise online buchen würde. Über ein Online-Panel lassen sich im Vorfeld Kriterien bestimmen bzw. über einen Screener abfragen. So vermeidet man „Datenmüll“, bzw. die Orientierung an eigentlich nicht verwendbaren Datensätzen.

4. Datenbereinigung und Plausibilitätsprüfung

Ein keinesfalls zu unterschätzender Punkt! Es lässt sich nicht ausschließen, dass Teilnehmer zu sehr durch externe Motivation wie z.B. der Entlohnung für die Teilnahme an der Umfrage getrieben werden und sich „blind“ durch den Fragebogen klicken. Diese Gefahr ist bei einer telefonischen Befragung eher geringer, weil man in direktem Dialog mit einer Person steht. Es gilt daher, sorgfältig die Beantwortungszeiten zu prüfen (für den gesamten Fragebogen, aber auch z.B. bei einzelnen Fragebogenseiten, wo ein längerer Text zu lesen ist), ob eine gewissenhafte Beantwortung der Fragen möglich gewesen ist.

Zum zweiten – und dies gilt auch für Telefoninterviews, ist ein Plausibilitätscheck sinnvoll: Bei Skalen lässt sich z.B. relativ einfach prüfen, ob eine Tendenz zu einem bestimmten Wert vorliegt, also z.B. immer die „1“ angekreuzt wurde, obwohl es auch entgegengesetzt formulierte Items gab.

Außerdem kann man in vielen Fällen zwei Antworten miteinander vergleichen, ob dieses logisch ist: z.B. Hat jemand keinen Führerschein, gibt aber an, mit dem eigenen Auto im letzten Jahr 10.000km zurückgelegt zu haben und somit solche Datensätze von der Auswertung ausschließen.

Fazit:

Sie sehen also, es gibt viele Erfolgsfaktoren beim Einsatz einer Befragung, die zu beachten sind. Jeder einzelne Punkt an dieser Kette kann ausschlaggebend für die Qualität der Daten sein und sollte sorgfältig beachtet werden, damit nicht die falschen Daten zu Fehlinterpretationen führen, die ihrerseits wieder als Grundlage für wichtige (Unternehmens-)Entscheidungen dienen.

2 Gedanken zu „Daten haben ist gut – gute Daten haben ist besser!

  1. Pingback: 5 wichtige Faktoren für eine benutzerfreundliche Community | Talent Blog von IntraWorlds

  2. Pingback: Forschen bedeutet fragen, fragen und nochmals fragen - und dafür liefern wir die richtigen Personen - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.