Erst Ergründen dann Quantifizieren – Einsatzgebiete und Grenzen von quantitativen Umfragen

„In welchen Situationen nutzen Sie eine Navigationsapp?“ Umfragen sind eine wichtige Methode für viele Untersuchungsgegenstände. Personas können definiert, Motivatoren erkannt und wichtige Inhalte und Funktionen einer Webseite identifiziert werden. Nicht jede Fragestellung lässt sich jedoch direkt über Umfragen beantworten. Häufig ist es sinnvoll, über einen Methodenmix eine qualitative Studie vorzuschalten und so die Qualität der Umfrage über eine genauere Kenntnis des Themas zu erhöhen. Im obigen Beispiel können erschöpfende Antwortvorgaben nur angeboten werden, wenn bereits Erkenntnisse zum Nutzungskontext vorliegen. Wird ein offenes Textfeld als Antwortoption angeboten, ist die Auswertung sehr mühsam und ein Nachfragen und Vertiefen ist nicht möglich. Erkenntnisse aus einem qualitativen Interview geben dagegen differenzierte Antworten zur Frage des Nutzungskontextes und der damit verbundenen Bedürfnisse und Anforderungen. Diese können dann in einer quantitativen Befragung mit größerer Stichprobe verifiziert und in ihrer Wichtigkeit und Häufigkeit bewertet und priorisiert werden. Im Folgenden werden die wichtigsten Einsatzbereiche von quantitativen Umfragen zusammengetragen. Es wird die Frage beleuchtet, wann ein quantitativer Ansatz sinnvoll ist und wann eine Methodenkombination zu empfehlen ist.

Jeff Sauro sieht unter anderem vier zentrale Einsatzbereiche für quantitative Umfragen.

      1. Wer sind meine Nutzer?
      Von besonderer Bedeutung ist die Identifizierung und Segmentierung der Nutzer. Über eine gezielte Befragung und eine Clusteranalyse der gewonnenen Daten können Personas definiert und so die wichtigen Zielgruppen der Webseite bestimmt werden. Das Wissen über die eigenen Nutzer steht am Anfang aller Maßnahmen zur Optimierung des eigenen Angebots. Weitere Methoden der Nutzerforschung können durch die Berücksichtigung von Personas nochmals fundiertere Erkenntnisse liefern. Erst hierdurch wird eine zielgruppenorientierte Gestaltung des Angebots möglich.

      2. Welche Funktionen und Inhalte sind wichtig?
      Insbesondere eine Onsite-Befragung der realen Nutzer kann wichtige Erkenntnisse liefern, was diese auf der Seite suchen und was die wichtigsten Funktionen sind, wegen derer sie auf die Webseite kommen. Ein Instrument für die Identifizierung der wichtigsten Use Cases auf der Webseite ist die Top Tasks Analyse. Hierfür werden bis zu 50 denkbare Aufgaben gesammelt, die mögliche Anlässe zur Nutzung der Webseite sind. Befragte wählen aus diesen randomisiert präsentierten Aufgaben fünf aus, die für sie besonders wichtig sind und ihre eigene Nutzungsmotivation wiederspiegeln. Ergebnis ist eine Häufigkeitsverteilung, die die wichtigsten Use Cases erkennbar macht. Auf dieser Basis können Seitenbereiche, Inhalte und Funktionen priorisiert werden.

      3. Wo steht meine Seite im Vergleich?
      Dieser Vergleich kann sich auf die Konkurrenz beziehen oder auch auf frühere Stadien der Webseite. Umfragen sind sehr gut geeignet, die Zufriedenheit der Nutzer mit der Webseite über einen längeren Zeitraum zu messen. Die Befragung ist standardisiert und ermöglicht so eine kontrollierte Messung, die einen direkten Vergleich erlaubt. Mit dem UX-Monitor können Veränderungen in der Wahrnehmung der Nutzungsqualität verfolgt werden. Dies bietet sich direkt vor der Einführung von Veränderungen an und unmittelbar danach. Auch die wiederholte Befragung von Nutzern mit weiteren standardisierten und validierten Tools wie dem User Experience Questionnaire (UEQ) oder der System Usability Scale (SUS) kann Aufschluss darüber geben, welche Auswirkung bestimmte Maßnahmen der Optimierung auf die Zufriedenheit und die Qualitätswahrnehmung der Nutzer haben. Der UX-Monitor und der UEQ bieten zusätzlich die Möglichkeit eines Benchmarkings. Zum UEQ gibt es auf der Basis zahlreicher Studien unter Einsatz des UEQ auch branchenspezifische Vergleichswerte.

      4. Was sind die Motivatoren für die Nutzung meiner Webseite?
      Eine Methode, Motivatoren unter den Anforderungen und Wünschen der Nutzer zu identifizieren, ist eine Anforderungsanalyse nach dem KANO-Modell. Dieses Modell unterscheidet zwischen Basisfaktoren, Leistungsfaktoren und Begeisterungsfaktoren. Fehlen die Basisfaktoren, erzeugt das Unzufriedenheit. Sind die Leistungsfaktoren umgesetzt erreicht die Seite grundlegende Zufriedenheit. Wirkliche Motivatoren der Nutzung, die in ihrer Wirkung überraschen, nicht erwartet werden und reine Zufriedenheit erzeugen sind jedoch die Begeisterungsfaktoren. Über eine KANO-Befragung werden tatsächliche und mögliche Webseitenangebote über ihren Einfluss auf Unzufriedenheit oder Zufriedenheit in einem zweidimensionalen Spektrum abgebildet.

Motivatoren identifizieren

Eine weitere Möglichkeit, die wichtigsten Einflussfaktoren auf die Zufriedenheit zu identifizieren, ist eine Analyse des Zusammenhangs zwischen Bewertungen von Webseitenmerkmalen und einer globalen Zufriedenheitsbewertung. Auch die Kauf- oder Wiederbesuchswahrscheinlichkeit sind als globale Variable möglich. Über eine multiple Regressionsanalyse werden die Webseitenangebote herausgefunden, die einen besonders starken Einfluss auf die Zufriedenheitsbewertung haben. Nachteil dieser Methode ist, dass nur vorhandene Webseitenmerkmale bewertet und keine neuen Ideen priorisiert werden können.

Wo sind die Grenzen einer quantitativen Befragung?

Für die gerade vorgestellten Fragestellungen ist eine quantitative Befragung die richtige methodische Entscheidung. Wichtige Voraussetzung für diese Methode ist, dass das Thema gut definiert und in seinen Bedeutungsebenen gut erschlossen ist. Ist das Thema unbekannt, sollte eine qualitative Studie vorgeschaltet werden. So kann die Befragung präzisiert und auf Hypothesen hin ausgerichtet werden. Auch eine Häufung von offenen Fragestellungen ist ein Hinweis darauf, dass für den Untersuchungsgegenstand die quantitative Methode im ersten Schritt nicht die geeignete Wahl ist. Auch wenn die Frage nach dem „Warum?“ im Mittelpunkt der Untersuchungsmotivation steht, sind quantitative Ergebnisse unbefriedigend. Sie lassen zumeist keine Interpretierbarkeit in Bezug auf differenzierte Hintergründe zu.

Die Kombination macht´s

Die qualitative und quantitative Methode haben jeweils besondere Stärken in ihrem Erkenntnispotential. Oft bringt aber auch nicht eine Methode alleine die gewünschte Antwort auf eine Fragestellung, sondern eine Kombination aus beiden Methoden. Ihre Stärken ergänzen sich und es fließt das Potential beider Methoden in das Ergebnis ein.
Haben Sie bereits Erfahrung darin, das Potential beider Methoden zu nutzen? Ich freue mich über Ihre Kommentare.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.