„Wie haben Sie diese Frage noch einmal gemeint?“ – Erfolgsfaktor Fragebogenentwicklung

Questionnaire

Haben Sie auch schon mal einen Fragebogen beantwortet, wo Ihnen die Frage unverständlich war und Sie lieber abgebrochen haben, als vielleicht falsch zu antworten? Oder Sie haben einfach irgendetwas angekreuzt, um weiter zu kommen. Beide Wege helfen dem Marktforscher wenig weiter. Doch oft steckt auch gar kein systematisch entwickelter Fragebogen dahinter, sondern es wurde einfach jemand aus dem Unternehmen bestimmt, diese Aufgabe doch zu übernehmen. Ein paar Fragen formulieren, Antwortvorgaben vorgeben, ist doch kein großes Ding!

Ich sehe das etwas anders. Starten wir mit dem Thema Neutralität.
Wird der Fragebogen von einem direkten Projektmitglied oder Website-Verantwortlichen erstellt, so fließen natürlich sein wertvolles Wissen um das Thema mit in die Fragebogengestaltung ein, andererseits weiß er auch genau, was er oder sein Chef gern hören möchte, und was das Ergebnis sein sollte. Die Gefahr, Suggestivfragen zu stellen, die eine bestimmte Antwort quasi vorgeben, ist relativ hoch – auch wenn dieses gar nicht bewusst passiert. Bereits leichte Änderungen in der Formulierung können diesen Effekt herbeiführen.

Dieses stellt man auch nur schwer im Pretest fest, ein Zwischenschritt, den wir von der eResult GmbH z .B. bei jedem Projekt durchführen, allerdings vor dem Hintergrund, die Verständlichkeit der Fragen, die Vollständigkeit der Antwortvorgeben und die Länge des Fragebogens zu kontrollieren. Hierbei werden noch vor der eigentlichen Feldphase, Personen aus der Zielgruppe mit dem Fragebogen konfrontiert. Zunächst füllen sie den Fragebogen selbst und ohne Hilfe aus, unter Einsatz der Methode des lauten Denkens. Im zweiten Schritt werden die als kritisch identifizierten Fragen noch einmal angesprochen und diskutiert, sowie natürlich im Nachgang durch den Projektleiter optimiert.

Natürlich können wir aufgrund unserer langjährigen Erfahrung auch auf eine umfangreiche Fragedatenbank zurückgreifen, wo erwiesenermaßen gute Fragen enthalten sind (geprüft nach verschiedenen Gütekriterien). Trotzdem gibt es immer wieder Themen, die neu erschlossen werden wollen. Hierbei ist der Schlüssel zum Erfolg die optimale Operationalisierung der Fragen. Denn es ist ein Trugschluss zu glauben, jede Forschungsfrage lässt sich direkt in eine Fragebogen-Frage übersetzen. Vorab sind Thesen aufzustellen, was die Beurteilung beeinflussen kann, um nicht hinterher dazustehen und zu fragen: „Wie hat die Person diese Antwort jetzt gemeint?“

Und last but not least steht die Auswertung der Ergebnisse an. Auch an dieser Stelle muss man berücksichtigen, dass bei einer internen Abwicklung schlimmstenfalls Ergebnisse aus den Daten gelesen werden könnten, die dort objektiv betrachtet gar nicht drinstehen. Bei der Beauftragung eines neutralen Instituts ist die Wahrscheinlichkeit dagegen sehr hoch, ein reelles Ergebnis zu erhalten. Voraussetzung ist die Erstellung eines Auswertungsdesigns schon mit der Fragebogenerstellung. Ein blindes Stochern in den Daten führt nur in den seltensten Fällen zu zufriedenstellenden Erkenntnissen.

Fazit:

Bei einer komplexen Aufgabe wie der Fragebogenerstellung und Datenauswertung ist es meist sinnvoller diese Aufgabe nach außen zu vergeben (Outsourcing), um das externe Expertenwissen um diese Methode in diesem Bereich auszuschöpfen. Intern werden sonst oft Ressourcen verbrannt, die letztendlich im worst case auch noch zu einem nicht zufrieden stellenden, weil subjektiven, Ergebnis führen.

Ein ausführliches Briefing der Agentur zu Beginn ist Ihre Pflicht, empfehlenswert ist ein KickOff-Workshop vor Ort , ansonsten können Sie sich dann mit gutem Gewissen zurücklehnen, und am Projektende die Ergebnisse sondieren und Ableitungen für Ihre Arbeit treffen.

6 Gedanken zu „„Wie haben Sie diese Frage noch einmal gemeint?“ – Erfolgsfaktor Fragebogenentwicklung

  1. Maikel

    Aktuelles Bsp.: Der Fragebogen zur Gebäudezählung beim Zensus 2011.

    1. In der kurzen Anleitung steht gleich als erstes: „Bitte bei jeder Frage nur ein Kreuz machen“.
    Das könnte ich bei der Frage nach den Namen der Bewohner auch so machen.:-)

    2. „Geben Sie die Namen von bis zu zwei Personen an“.
    Demnach brauch ich dort gar nichts einzutragen, denn Null ist auch „bis zu zwei“.:-). Wenn das ausgeschlossen sein sollte, könnte da ja „ein bis zwei Personen“ o.ä. stehen.

    3. Bei der Frage „Wie viele Räume hat die Wohnung“ soll, entgegen der üblichen Zählweise, die Küche mitgezählt werden.
    Später bei der Auswertung wird „einschließlich Küche“ oft nicht erwähnt werden, und wir haben plötzlich fast alle ein Zimmer mehr zur Verfügung als bisher gedacht.

    Antworten
  2. Anja Weitemeyer Beitragsautor

    Vielen Dank für das schöne Beispiel 🙂
    Gerade bei einer so umfangreichen Befragung mit Personen aus allen Bevölkerungsschichten ist das krass. Die müssten doch einen Pretest nach dem anderen gemacht haben… Vor allem, es ist ja so leicht zu verbessern, wie Sie ja auch schon vorgeschlagen haben, bei Rämen wie Küche, Bad etc. wäre mit Checkboxen wohl ein eindeutigeres Bild gezeichnet. Aber wenn man einmal im Feld ist (und hierbei handelt es sich ja um ein sehr großes Feld), sind nachträgliche Änderungen so gut wie ausgeschlossen. Dann bin ich ja gespannt auf die Erhebung in den Privathaushalten.

    Antworten
  3. Beatrix

    Ganz „toll“ fand ich schon mehrmals Onlinefragebögen zur Verwendung von Produkten mit Frage: Welches Produkt verwenden Sie – A, B, C, D –
    ich hatte aber keine Möglichkeit, „keines der aufgeführten“ auszuwählen.

    Kritisch finde ich auch bei Produktbewertungen immer Fragen in der Richtung, wie trendy man die Marke/ das Produkt findet oder wie vertrauenswürdig oder wie fröhlich usw. Solche Bewertungen fallen bei mir persönlich immer sehr negativ aus, da mich schon diese Art der Fragestellungen nervt – für mich muss ein Produkt vor allem seinen Zweck erfüllen 😉

    Antworten
  4. Anja Weitemeyer Beitragsautor

    Hallo Beatrix, ja, das ist ein ganz klassischer Fehler, man vergisst eine Auswahloption, bzw. eine Ausweichoption. Auch wenn man keines der Produkte verwendet, kann man ja kompetent Auskunft zu weiteren Fragen z.B. zu Anforderungen an diese Produktart geben – vielleicht sogar wertvolleren Input als jemand, der eingeschränkt antwortet – basierend auf seinen Erfahrungen.

    Der gegenteilige Fall wäre folgender: Man darf nur eine Antwort wählen (Radio Button), die Antworten schließen sich aber nicht gegenseitig aus, was eher den Einsatz von Mehrfachantworten (Checkboxen) nötig macht.
    z.B. Was planen Sie am Wochenende: A: Ausschlafen, B: Sport treiben oder C: Grillen?

    Ich werde alles tun 🙂 – in diesem Sinne auch allen Lesern einen guten Start ins Wochenende!

    Antworten
  5. Helmi

    Hallo Maikel.
    mein erster Gedanke war: „zur Tür hinaus, linke Reihe anstellen, jeder nur ein Kreuz!“ (das Leben des Brian)
    Mal sehen was die aus meinem gekreuzelten Fragebogen machen…

    Antworten
  6. Pingback: Erfolgsoptimierung für Ihre transaktionsorientierte Website leicht gemacht | Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.