Remote Usability-Test im Vergleich zu Usability-Test im Lab – darf verglichen werden?

Wieso nicht? Wir bei eResult bieten beide Methoden seit Jahren erfolgreich an und werden daher in Beratungsgesprächen mit Kunden durchaus mit dieser Frage konfrontiert:

„Sagt mal, wäre es nicht einmal sinnvoll statt eines Nutzertests im Lab einen Online-Usabilitytest durchzuführen?“ (Online-Usabilitytest = asynchroner remote usabilitytest).

Gerne gehen wir hierauf beratend ein, abgestimmt auf die Situation des betreffenden Kunden.

In diesem Beitrag möchte ich eine etwas allgemeiner Antwort auf die Frage bereitstellen – und: Nein, keine Angst, diesmal werde ich nicht mit der Aussage: „Es kommt drauf an …“ beginnen; wenn sie (wie so oft) auch diesmal berechtigt erscheint.

Online- oder Remote Usabilitytests boomen (wieder)!
Woran mach ich das fest?

Neben der gestiegenen Anzahl an Anfragen an die eResult GmbH ist für mich ein weiteres Indiz die Anzahl an Werbeanzeigen in der Fachpublikation UX – User Experience Magazine des internationalen Berufsverbandes der Usability-Professionals:
In der Dezemberausgabe warben in 80% der Printanzeigen Anbieter von online einsetzbaren Usability-Testtools für ihre Produkte.
Ich finde, das sind durchaus gute Anzeichen für einen nicht nur in den USA wachsenden Markt für Online-Usability-Tests.

Was sind die zentralen die Einsatzbereiche von Remote Usabilitytests im Kontext eines Vergleichs mit Usability-Tests im Lab?

Probleme und Schwächen in der User Experience identifizieren und auf dieser Basis an den richtigen Stellen Optimierungen vornehmen – oder etwas anders ausgedrückt: Erfolgskontrolle des Status Quo und Aufzeigen zentraler Stellenschrauben zur Erfolgsoptimierung.

Betreiber von transaktionsorientierten, hoch funktionalen Websites, wie z.B. Online-Shops, Reiseangeboten oder Finanz-/Banking-Portalen, sollten mindestens einmal im Jahr solche Nutzertests durchführen.

Repräsentanten der Kernzielgruppe und Vertreter aus der Gruppe der zukünftigen (Visions-)Kunden nutzen das Web-Angebot dabei intensiv, stöbern, suchen nach Produkten, für die sie sich momentan interessieren, und bestellen diese (idealerweise) auch gleich im Test.
Dabei werden die Nutzer beobachtet, mit dem Ziel die zentralen Optimierungsbedarfe (=Stellschrauben für mehr Erfolg) zu identifizieren.

Die an der Untersuchung teilnehmenden Personen sollten möglichst umfassend beobachtet, jedoch nur sporadisch befragt werden. Also kein klassischer Labtest mit 5-6 Use-Cases (Aufgabenstellungen), sondern eine 360 Grad Beobachtung von Nutzern ohne konkrete Aufgabenstellungen.

Ergebnis: Site-Betreiber können ihre Thesen, woran sie in den kommenden Monaten arbeiten wollen, mit der Sicht ihrer Nutzer und Kunden abgleichen: Ist es richtig, dass durch eine Optimierung des Bereichs x der meiste Erfolg erzielt wird? Oder sehen die Nutzer und Kunden ganz andere Handlungsbedarfe bei der Angebots- und Site-Gestaltung?

Idealerweise werden diese Tests mit einer vergleichbaren Nutzungsbeobachtung auf 1-2 Sites von direkten bzw. indirekten Mitbewerbern kombiniert.

Der beschriebene Testansatz kann sowohl im Usability-Lab Usability-Lab als auch „online“ durchgeführt werden.

Vorteil Usability-Lab:

360 Grad Messung – alles möglich: Aktivierungsmessung, Eyetracking, Protokolle lauten Denkens, Interview, Maustracking, Klicktracking.

Und bei Remote Usabilitytests, wie schaut da die Stärken- und Schwächenanalyse aus?

Nachteile Online-Usability-Test:

„Nur“ eine 210 Grad Messung – Eyetracking und Aktivierungsmessung sind nicht möglich.
Protokolle lauten Denkens sind in Teilen über Kommentareingaben während des Surfens „simulierbar“. Maustracking und auch punktuelle Befragung sind möglich, jedoch keine Interviews.

Vorteile Online-Usability-Test:

Für die Kosten eines Tests mit 60 Personen im Usability-Lab können „online“ ca. 200 Testteilnehmer abgebildet werden. Somit werden in der Tendenz mehr Site-Bereiche während den Testsessions genutzt, so dass das Spektrum der identifizierten Problembereiche größer ist.

Zudem ist es möglich, gestalterische Fragestellungen zu behandeln, sprich eine Bewertung des Designs/Layouts und der Wirkungen auf das Markenimage vorzunehmen.

Meine abschließende Antwort auf die einleitend gestellte Frage: „Sagt mal, wäre es nicht einmal sinnvoll statt eines Nutzertests im Lab einen Online-Usabilitytest durchzuführen?“ Ja, vor allem dann, wenn Sie der Ansicht sind, dass Ihre Site in vielen Bereichen optimiert werden muss. Dann sollten Sie einem Online-Usabilitytest (bzw. Remote Usabilitytest) den Vorzug vor einem Labtest gegeben.

Sollen auch gestalterische Fragestellungen evaluiert werden? Steht eine differenzierte Analyse der gestalterischen Effekte der Site-Gestaltung auf das Markenimage im Vordergrund? Auch in diesem Fall ist ein Online-Nutzertest ratsam.

Ein Nutzertest im Lab ist dann zu empfehlen, wenn Sie bereits intensiv Web-Analysen durchführen, das Nutzerverhalten mit Web-Analytic Tools tracken und analysieren, und ab und zu eine Nutzerbefragung durchführen.
In diesem Fall liefert ein Labtest detaillierte Einblicke und ergänzende Daten, mit deren Hilfe die zentralen Optimierungspotenziale ausreichend und im Detail identifiziert werden können. Er ist zudem die Methode der Wahl, wenn gestalterische/Designfragen nicht analysiert werden sollen.

Übrigens: Remote Usabilitytests lassen sich auch für Intranets und mobile Anwendungen durchführen.

6 Gedanken zu „Remote Usability-Test im Vergleich zu Usability-Test im Lab – darf verglichen werden?

  1. Patric Schmid

    Hallo,
    welche Werkzeuge sind denn sinnvoll um mobile Anwendungen remote zu testen? Bzw. welche werden von ihnen verwendet? Kenne bisher nur die Methode mit gerooteten iPhones/Androids oder per USB-Kabel angeschlossenen Geräten.

    Antworten
  2. Thorsten Wilhelm

    Hallo Patric, eine „offizielle“ Remote- bzw. Capturing-Lösung iPhones/Androids gibt es m.E. noch nicht. Wir arbeiten daher auch noch im „Beta-Modus“, z.B. durch Übertragung per USB Kabel. Ich bin mir aber sicher, dass es in Zukunft Anbieter geben wird, die hier „kommerzielle“ Lösungen bereitstellen werden. Derzeit geht ja schon einiges, aber man muss halt noch „basteln“.
    In den meisten Fällen, so meine Erfahrung, bieten Tagebuch-Studien eine sehr gute Alternative, um Eindrücke und Rückmeldungen von Nutzern im Umgang mit mobiulen Anwendungen und Geräten zu bekommen. In diesem Zuge finde ich Ihren aktuellen Blogbeitrag auch super spannende, auf den ich gerne verweisen möchten:
    –// http://www.patric-schmid.de/benutzerzentrale/blog/2011/01/14/pocketbee-ein-multimodales-tagebuch-fur-feldstudien/.

    Antworten
  3. Pingback: Asynchrone Remote Usability-Tests: Tools, Kosten, … | usabilityblog

  4. Pingback: International Love | Remote Usability

  5. Pingback: Themen im Januar 2010: Remote Usability-Testing, Scrollen vs. Blättern und Kundenbewertungen im Längsschnitt | usabilityblog

  6. Pingback: Remote Usability Testing Überblick und Review von RealUserTest.de | Benutzerzentrale.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.