Asynchrone Remote Usability-Tests: Tools, Kosten, …

Thorsten Wilhelm hat bereits vor einigen Wochen in seinem Beitrag „Remote Usability-Test im Vergleich zu Usability-Test im Lab – darf verglichen werden?“ moderierte Usability-Tests im Labor und asynchrone bzw. unmoderierte Remote-Tests hinsichtlich ihrer Stärken und Grenzen gegenübergestellt.

Ergänzend dazu folgt nun im Rahmen dieses Beitrages eine kurze Übersicht über vorhandene Tools, grobe Hausnummern sowie die Frage, wie oft man solche Studien durchführen sollte.

Bestehende aRUT-Tools…

Wie Thorsten Wilhelm bereits erwähnt hat, gibt es zahlreiche Lösungen – primär aus dem englischsprachigen Raum. Wir konnten bereits mit folgenden Tools umfangreiche und überaus positive Erfahrungen machen:

Darüber hinaus gibt es natürlich auch noch die Produkte der LEOtrace-Familie von nurago. Allein der deutschsprachige Support ist bei solch komplexen Tools ein nicht zu missachtender Vorteil.

Grundsätzlich messen bzw. erheben alle genannten Tools (mindestens) folgende Daten:

  • Erfolgsrate pro Aufgabe
  • Bearbeitungsdauer pro Aufgabe
  • Zufriedenheit auf verschiedenen Dimensionen pro Aufgabe/insgesamt (User Experience)
  • Abgegebene Kommentare und Begründungen für die Bewertung pro Seite/Aufgabe
  • Clickstreams/Navigationspfade pro Aufgabe (aufgeteilt in most common success page, most common fail page, most common first click, most common navigation path, u.a.)

Wichtig ist dabei, dass manche der Daten lediglich über ein Browser-Plugin bzw. ActiveX-Element, das vom Probanden installiert werden muss oder durch Einbindung per Java-Code auf der eigenen Seite, erhoben werden können. Einzig und allein Loop11 kommt ohne all dies aus. Jedoch handelt es sich bei diesem Tool auch um das mit dem geringsten Funktionsumfang. Aber was will man für 370 Dollar pro Studie bzw. Website auch erwarten?

Eine noch umfangreichere Übersicht über aktuelle Remote-Tools finden Sie übrigens auch unter http://remoteusability.com/tools/. Es handelt sich hierbei jedoch nicht nur um unmoderierte, asynchrone Lösungen sondern auch um Tools für Online-Card-Sorting, Mousetracking, etc.

…und damit verbundene Kosten

Die Kosten eines aRUT sind grundsätzlich sehr stark getrieben durch die Fragestellungen bzw. Zielsetzung der angedachten Studie und die damit anvisierte Zielgruppe. Die daraus abgeleiteten Anforderungen bedingen sowohl die Toolauswahl als auch die Frage nach der Stichprobengröße und Art der Rekrutierung bzw. Incentivierung.

Loop11 ist mit Abstand das günstigste Tool. Benötigt man jedoch beispielsweise eine Anbindungsmöglichkeit für ein Online-Panel zur Rekrutierung von Probanden oder aber eine komplexere Script-Logik, um Fragen/Aufgaben eventbasiert und in beliebiger Reihenfolge abhandeln zu können, landet man schnell bei einer Highend-Lösung wie WebEffective.

Die Preise für die einmalige Anmietung der oben genannten Tools schwanken letztendlich von ca. 300 bis 9.000 Euro pro Studie/Website. Sollen mehrere Websites in einem Benchmark gegenübergestellt werden oder geht es um die Durchführung eines mehrsprachigen Projekts, ist es meist günstiger, sich direkt nach Möglichkeiten einer Jahreslizenz zu erkundigen.

Aber, Achtung: Bei den bereits genannten Preisen handelt es sich lediglich um die Tool-Miete! Der Aufwand für die Studienkonzeption, die Rekrutierung und Incentivierung der Probanden sowie für die Datenanalyse, -aufbereitung und Ableitung konkreter Handlungsempfehlungen kommt noch oben drauf. Somit ist man schnell bei ca. 20-30.000 Euro für eine Full-Service-Studie – wohlgemerkt, dass es hier um eher große, von uns durchgeführte Studien (Wettbewerbsbenchmark, 3 Websites, ca. 25min. Dauer, 250 Befragungsteilnehmer, 10 Euro-Gutschein, …) und nicht um einen einfachen A-B-Test von 2 Designs geht.

Wie oft sollten Sie Remote-Tests durchführen?

Es kommt im Endeffekt darauf an, was Sie damit für Ziele erreichen möchten. Geht es vornehmlich darum, den Gesundheitszustand der eigenen Website zu überprüfen und daraufhin die nötigen Optimierungen anzugehen: ca. 1-2x pro Jahr. Ausschlaggebend sind hier die Anzahl an Änderungen, die Sie pro Jahr an Ihrer Website vornehmen, die Schnelligkeit Ihrer Wettbewerber und die grundsätzliche Veränderungen der Erwartungshaltung Ihrer Zielgruppe.

Geht es jedoch darum, ausgewählte Funktionen, Varianten bzw. Interaktionprozesse zu testen, weil diese entweder neu sind oder aber aufgrund alarmierender Kennzahlen aus Ihrem Web-Analytics-System näher betrachtet werden sollten: So oft wie eben nötig.

Remote-Tests ermöglichen sowohl adhoc-Tests aber auch großangelegte Längsschnittanalysen. Einmal aufgesetzt lassen sich die Studien beliebig oft wiederholen.

Remote-Tests in Eigenregie

Für all diejenigen von Ihnen, die mit einem aRUT in Eigenregie liebäugeln, ist das aktuelle Buch von Tulli, Albert und Tedesco „Beyond the Usability Lab: Conducting Large-scale Online User Experience Studies“ sehr zu empfehlen. Die drei Autoren beschreiben sehr anschaulich und ausführlich die Einsatzbereiche von Remote Usability-Tests und geben Tipps zur Auswahl und zum Setup von aRUT-Studien mit den gängigsten Tools. Unter http://www.beyondtheusabilitylab.com/OnlineStudyVendorChecklist.pdf finden Sie zudem eine Checkliste zur Auswahl des für Sie passenden Remote-Tools.

Aber, Vorsicht: Die Fähigkeit zur Erhebung von Nutzungs- und Befragungsdaten mithilfe solcher Tools alleine reicht (meist) nicht aus, um seine Website optimieren zu können. Wie bei allen Usability-/Marktforschungsmethoden als auch beim Web-Controlling gilt: Die richtige Interpretation ist das A & O!

2 Gedanken zu „Asynchrone Remote Usability-Tests: Tools, Kosten, …

  1. Pingback: Proto-Personas, qualitative & quantitative Nutzertests, International UX Research und 140 Websites, die dringend ein Analytics-Tool benötigen – Linktipps von Martin Beschnitt | Usabilityblog.de

  2. Pingback: Mobile Remote-Usability-Tests - Eine kritische Beleuchtung der aktuellen UX-Tool-Landschaft - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *