Bestandsaufnahme: Automatisierte Remote Usability-Tests (a.k.a. Videotests)

Working at home Seit meinem letzten Artikel im Sommer 2011 („Low-Budget Remote Usability-Plattformen – Potentiale und Grenzen“ hat sich einiges getan:

  1. Es gibt nun eine größere Anbieter-/Toolauswahl, besonders in und für Deutschland.
  2. Wir bei eResult haben durch eine empirische Grundlagenstudie als auch mehrere Kundenprojekte umfangreiche Erfahrungen hinsichtlich der berechtigten Einsatzbereiche dieser Tools im Vergleich zum klassischen Labortest gesammelt.

Grund genug für mich die zur Verfügung stehenden Anbieter in Gänze aufzulisten sowie die Einsatzbereiche für diese Art der toolbasierten Usability-Forschung zusammenzufassen.

Kurze Auffrischung: was sind Automatisierte Remote Usability-Tests?

Die nachfolgenden Tools bieten die Möglichkeit, einen qualitativen Usability-Test mit ausgewählten Probanden asynchron (d. h. unmoderiert) online durchzuführen. Die Testpersonen können somit in einer vertrauten Umgebung und zu einer freibestimmbaren Zeit teilnehmen. Sie führen anhand von Textaufgaben den Test alleine am Computer durch und kommentieren ihre Aktionen mittels Lautem Denken. Aufgrund dieser Automatisierung und der Nicht-Teilnahme eines Interviewers während des Tests erhält man als Auftraggeber binnen 24-48 Std. die Testergebnisse. Diese bestehen primär aus einem Video, das den aufgezeichneten Bildschirm des Probanden und seine gesprochenen Kommentare beinhaltet. Aus diesem Grunde haben wir bei eResult diese Erhebungsmethode auch „Videotest“ getauft.

 

Exemplarische Auswertungsansicht

Exemplarische Auswertungsansicht eines Videotests (beim Anbieter rapidusertests)

Liste der Anbieter (die Videos von den unmoderierten Probandentests liefern):

  • usertesting.com: amerikanischer Anbieter mit Panel in den USA, Kanada und England. Der Test wird mit Video (Bildschirm des Probanden inkl. Mausbewegungen und Klicks) und Textzusammenfassung (auf gestellte Fragen) geliefert. Kosten pro Teilnehmer 39 Dollar. Es können laut Anbieter sowohl stationäre Websites als auch mobile Websites/Apps getestet werden.
  • trymyui.com: ebenfalls eine amerikanische Plattform, der dieselben Leistungen wie usertesting.com bietet. Kosten pro Teilnehmer 25 Dollar, jedoch ist vollkommen unklar woher/wie die „normal people“ rekrutiert werden.
  • userlytics.com: die dritte amerikanische Plattform aber auch die interessanteste! Denn hier wird auch die Gestik und Mimik der Probanden per Webcam übertragen. Über die Rekrutierung der Probanden schweigt sich das Portal aus (es ist wohl international möglich). Man kann natürlich seine eigenen Probanden z. B. per Mail einladen. Die Nutzung des Tools kostet ab 39 Dollar pro Monat; zudem ist es umfassend konfigurierbar hinsichtlich des Layouts als auch der Sprache.
  • userfeedbackhq.com: Schweizer Anbieter mit einem Panel für Deutschland, Schweiz und Österreich; Kosten pro Teilnehmer 69 Euro. Es ist zudem möglich eine Analyse der Videos durch einen Usability-Experten für 2.000 Euro zu bekommen (bei 10 Testteilnehmern).
  • www.uinspect.me: deutscher Anbieter; Kosten 39 Euro pro Proband. Woher die Probanden aus der sog. „Community“ stammen, wird auf der Anbieter-Website nicht deutlich.
  • www.ui-check.com: deutscher Anbieter, der neben der DIY-Variante auch mehrere Beratungsmodelle bei der Studienkonzeption, Durchführung und Auswertung anbietet. Kosten: ab 399 Euro (Selbstauswertung, 10 Probanden) bis 2.000 Euro für die Full-Service-Variante. Keine Angabe zum Nutzerpool und wie sich dieser bildet/zusammensetzt.
  • rapidusertests.com: der dritte deutschsprachige Anbieter mit Kosten von 49 Euro pro Proband sowie der Option, dass ein Experte von userlutions.com (Usability-Agentur) beim Studiensetup behilflich ist. Leider erfährt man nichts Genaueres über das Userpanel auf der Website.

Berechtigte Einsatzbereiche der aufgezeigten Tools

Bei der von uns in Zusammenarbeit mit rapidusertest.com durchgeführten Vergleichsstudie haben wir einen B2C-Online-Shop (Vollsortimentler mit einer einfach zu rekrutierenden Zielgruppe) getestet.

Zentrales Ergebnis der Studie: Der Videotest (20 Probanden, 20min. Testdauer) hat in Summe genauso viele Usability-Probleme identifiziert wie der klassische Usability-Test im Labor (12 Probanden, 30min. Interviewdauer). Beim Vergleich der Aufwände schnitt der Videotest um ca. -2 Manntage und 450 Euro geringere Rekrutierungskosten besser ab.

Dieses Ergebnis ist jedoch mit Vorsicht zu genießen. Die Denke: „Oh super, ich muss einfach immer 1,7x so viele Probanden bei einem Videotest einladen und bekomme immer dieselbe Ergebnisqualität.“ ist nicht richtig. Oben genanntes Ergebnis basiert auf den Rahmenbedingungen der Studie: kurzweiliger Test eines bestehenden B2C Online-Shops mit einer leichten Zielgruppe und nicht komplexen Testszenarien.

Herrschen diese Rahmenbedingungen, liegen die Vorteile des Videotests auf der Hand:

  • Überschaubare Kosten
  • Angemessene Anzahl an identifizierten Usability-Problemen
  • Schnelle Erhebung der Studie, da die Probanden am Test teilnehmen können, wann sie wollen
  • Bereitstellung der Testvideos in 24-48 Std.
  • Keine Räumlichkeiten zur Durchführung der Interviews und zur Beobachtung nötig

Herrschen jedoch andere, komplexere Rahmenbedingungen bzw. Anforderungen vom Kunden an den Usability-Test, zeigen sich Grenzen beim Einsatz der Videotests, denn…

  • bei nahezu allen Anbieter – bis auf userlytics.com – wird aktuell nicht die Gestik und Mimik des Probanden per Webcam aufgezeichnet. Hierdurch können zum einen interessante Erkenntnisse aus der Verhaltensbeobachtung gewonnen werden; zum anderen erzeugt dies eine viel höhere Glaubwürdigkeit.
  • es sind in der Regel nur max. 20min. Tests möglich. Limitiert durch die Anbieter aber auch aufgrund der Tatsache, dass die Motivation und Aufmerksamkeitsspanne bei unmoderierten Studien danach rapide abnimmt. Sind Tests über 60/75min. nötig, muss man clever splitten –sofern dies möglich ist.
  • es besteht keine Möglichkeit während der Tests mit dem Probanden zu interagieren, ihm kontextbezogen Nachfragen zu stellen (z. B. bei oberflächlichen Aussagen) oder aber Hilfestellungen zu geben, wenn er die Aufgabenstellung nicht verstanden hat oder total abschweift. Gerade bei aufeinander aufbauenden Testszenarien kann dies zu Problemen führen und erschwert eine richtige Interpretation der Daten/Aussagen.
  • es muss einen online-fähigen, bestenfalls vollfunktionsfähigen Prototypen oder natürlich eine Live-Website geben. Handelt es sich um einen bedingt-funktionalen Klickdummy, der sowohl inhaltlich als auch grafisch noch Lücken aufweist, bedarf es erfahrungsgemäß immer einer Unterstützung durch einen Interviewer.
  • nicht öffentliche Informationssysteme wie Intranets oder Standalone-Software oder aber strengvertraulichen Entwürfe sind nur vor Ort/im Lab zu evaluieren.
  • es ist keine Analyse der visuellen Wahrnehmung mittels Eyetracking möglich.

Und genau wenn diese Grenzen erreicht sind bzw. oben genannte Anforderungen erfüllt, setzt der klassische Usability-Test an und spielt seine Stärken aus.

Fazit

Es wird deutlich: sowohl Videotests/automatisierte Remote Usability-Tests als auch der klassische Usability-Test haben ihre berechtigten Einsatzbereiche und ergänzen sich perfekt.

Videotests bzw. automatisierte Remote Usability-Tests sind der ideale Einstieg für klein- und mittelgroße Unternehmen wenn es ums Testing einer Website geht, die nicht zu komplex und deren Zielgruppe nicht zu speziell ist.

Klassische Usability-Tests kommen eher bei komplexen Anwendungen und Fragestellungen zum Einsatz, die nicht nur mittels Bildschirmaufzeichnung und Lautem Denken zu beantworten sind; bei nicht öffentlichen IT-Systemen, Software und Web-Applikationen und bei allen Nutzerstudien, wo es wichtig ist, dass eine persönliche und enge Interaktion mit dem Probanden besteht.

So, jetzt sind Sie an der Reihe:

  • Teilen Sie meine Meinung?
  • Wie sind Ihre Erfahrungen?
  • Habe ich einen wichtigen Tool-Anbieter vergessen?

Ich freue mich auf Ihr Feedback!

Zu guter Letzt noch ein Linktipp für alle Tool-Junkies: http://remoteresear.ch/tools/

3 Gedanken zu „Bestandsaufnahme: Automatisierte Remote Usability-Tests (a.k.a. Videotests)

  1. Pingback: User Experience Trends 2013 | Usabilityblog.de

  2. Pingback: 5 Minuten… für den User-Experience-Adventskalender und ein Smartphone, das unsere Launen erkennt | Smarter Service

  3. Johannes Müller

    Hallo Martin,

    danke für den tollen Artikel!

    Eine Ergänzung habe ich noch, die es aber freilich im Dezember 2012, als der Artikel verfasst wurde, noch nicht gab. 🙂

    Mit nutzerbrille gibt es weitere deutschsprachige Plattform, die man noch dazu einfach kostenlos ausprobieren kann. Einfach Webseite angeben, eine Stunde warten und das Probe-Video steht bereit. Man sieht und hört einen Nutzer die eigene Webseite bedienen, bekommt mit wo er verwirrst ist und ob es Probleme gibt. Einfacher geht es nicht.

    Hier Probe-Video anfordern: https://www.nutzerbrille.de/

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.