Nutzermeinungen als Schlüssel zum Erfolg – Gegenüberstellung verschiedener Methodenansätze

Bei speziellen Websites oder Anwendungen, die nur einen bestimmten Personenkreis ansprechen ist es zwingend notwendig bzw. bietet einen enormen Mehrwert, die Zielgruppe selbst mit einzubeziehen. Im Unterschied zu expertenbasierten Evaluationen, die denen sich Usability-Consultants bei der Analyse bestmöglich in den Nutzer hineinversetzen können (Was macht einen Experten aus?), ist hier der konkrete Nutzer derjenige, dessen Meinung erfragt werden soll. An dieser Stelle möchte ich einmal zwei Methoden gegenüberstellen, die beide dieses Ziel verfolgen – mit einigen Gemeinsamkeiten aber auch einigen Unterschieden:

Zunächst einmal der synchrone Remote-Usability-Test: Dieser ähnelt in gewissen Punkten einem Usability-Test im Labor – jedoch sind Nutzer und Studienleiter nicht in einem Raum sondern an ihren jeweiligen Arbeitsplätzen bzw. zu Hause, also insbesondere die Nutzer in ihrem gewohnten Umfeld mit ihren gewohnten technischen Geräten.

Durchführung eines synchronen Remote Usability-Test

Durchführung eines synchronen Remote Usability-Test

Per Online-Meeting-Tool wird der Test „remote“ durchgeführt, das heißt, der Studienleiter kann aus der Ferne beobachten, wie der Nutzer auf der Seite vorgeht und wie er die zuvor definierten Aufgaben löst. Beide sind natürlich auch über Audio verbunden, so dass ein direkter Kontakt hergestellt werden kann bei der Anleitung der zu untersuchenden Use Cases/Aufgaben. Außerdem kommt so die Methode des lauten Denkens zum Tragen, und natürlich sind auch Nachfragen seitens der Testperson oder des Testleiter möglich, um Missverständnisse im Ablauf zu vermeiden.

Im Idealfall wird sogar das Kamerabild einer Webcam übertragen, sodass Mimik und Gestik mit verfolgt werden können und ein nahezu persönliches Verhältnis entsteht.

Mögliche Fragestellungen können sich auf Interaktionsstrecken beziehen (z.B. Auswahl einen Produktes mit Nutzung der Produktsuche bei einem Online-Shop), Beurteilungen einzelner Seiten beinhalten oder die Bedienung des Angebots allgemein berücksichtigen (Wie geht der Nutzer überhaupt intuitiv vor?).

Bei einer Anzahl von 12-20 Probanden kann die Vorbereitung, Durchführung und Auswertung eines Tests zwischen 15 und 20.000 Euro kosten. Ein weiterer Vorteil ist, dass ich auch „schwierige“ Zielgruppen unabhängig von ihrem Wohnort mit diesem Test erreichen kann.

Ein anderer Ansatz ist die Methode der taskbasierten Online-Befragung. Auch hiermit lassen sich Probleme aus Nutzersicht identifizieren. Es werden Teilnehmer aus einem Panel mit einer oder mehreren Aufgaben auf eine Website oder zu einem vorliegenden Prototypen geschickt und nutzen diese(n) im Sinne der Aufgabenstellung und notieren ihre Gedanken, Probleme und Ideen. Über standardisierte Fragen können dann am Schluss Bewertungen gemessen werden, z.B. wie einfach es war, die Aufgabe zu lösen oder ob sie sich auf der Seite gut zu Recht gefunden haben etc. Im Gegensatz zum Remote-Testing hat man hier jedoch nicht die Chance, Unklarheiten seitens der Teilnehmer direkt zu beseitigen oder noch einmal genauer nachzuhaken. Man ist auf die Selbstauskunft der Teilnehmer angewiesen und muss hinsichtlich der Tiefe der Anmerkungen sicherlich gewisse Abstriche machen. Dafür bekomme ich eine größere Masse an Antworten, die mir ein gutes Bild über die schwersten Probleme liefern können.

Ein Vorteil, den ich bei dieser quantitativen Methode besonders sehe, ist, dass man schnell Vergleiche z.B. mit Wettbewerbern durchführen kann. Auch dieses ist für einen Remote-Usability-Test denkbar, dehnt aber die Untersuchungszeit und damit die Gesamtkosten recht schnell aus. Über die taskbasierte Online-Befragung lassen sich viel kostengünstiger entsprechend hohe Stichproben erreichen und z.B. 100 Personen die Aufgabe auf meiner eigenen Seite erfüllen, und je 100 bei Konkurrent A und Konkurrent B landen (per Zufall zugewiesen gemäß des Untersuchungsdesigns). Die Ergebnisse sind dann in der direkten Gegenüberstellung sehr leicht interpretierbar und man kann sich anschauen, was die Konkurrenz ggf. besser macht

als man selbst – immer aus Nutzersicht, und dieser will und soll ja zufriedengestellt werden.

Bei den Kosten liegt diese Methode je nach Umfang der Fragestellungen und der Anzahl der Seiten/Konkurrenten bei ca. 6-8.000 Euro, man erhält relativ viel Feedback von vielen verschiedenen Nutzern, muss aber mit z.T. oberflächlicheren Aussagen leben.

Was beide Methoden vereint:
Die Testpersonen sind rekrutierte Nutzer aus der Zielgruppe des Kunden, müssen sich also in gewissem Maße auch in eine gewünschte Situation hineinversetzen (z.B. ein Produkt suchen auf einem Online-Shop) – optimal ist es natürlich, wenn man Nutzer direkt zum Zeitpunkt der Nutzung „erwischt“, da sie in diesem Augenblick schon per se hoch involviert sind und eine gewisse Intention verfolgen. Auch dieses ist möglich, und zwar wenn man eine Onsite-Befragung einsetzt, bzw. eine Weiterentwicklung dieser: Es lassen sich Aufgaben formulieren und der Nutzer kann während der Nutzung der Seite frei berichten z.B. über ein Kommentarfeld, das bereit gestellt wird. Dort kann er notieren, was ihm bei der Bearbeitung der Aufgabe durch den Kopf geht, oder wo er Schwierigkeiten auf der Seite sieht. Man erhält so quasi „on the fly“ wertvolle Informationen zur Optimierung der Seite – teilweise auch zusätzlich von explizit gestellten Aufgaben, weil der Nutzer vielleicht nebenbei noch eine ganz andere Intention verfolgt und einen neuen Blickwinkel hineinbringt. Nicht einsetzbar ist dieses dagegen bei Prototypen oder Beta-Versionen, die noch nicht live verfügbar sind. Und gerade in dieser Phase macht es auf jeden Fall schon einmal Sinn, auch die Sicht des späteren Nutzers mit einzubeziehen.

Sicherlich haben alle diese Methoden spezifische Vor- aber auch Nachteile. Letztendlich sollte immer die wichtigsten Fragestellungen ausschlaggebend sein für die Wahl der richtigen Methode. Womit haben Sie schon gute Erfahrungen gesammelt?

2 Gedanken zu „Nutzermeinungen als Schlüssel zum Erfolg – Gegenüberstellung verschiedener Methodenansätze

  1. Pingback: 10 Lesetipps der Woche für Shopbetreiber » Von Ulrich Hafenbradl » shopbetreiber-blog.de

  2. Pingback: Themen im September 2010: Nutzermeinungen messen, Conversion Camp und Prototyping-Tools | usabilityblog

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *