Asynchroner Remote Test – Erfahrungen der eResult GmbH

Der asynchrone Remote Test wurde im Frühjahr diesen Jahres zum ersten Mal von der eResult GmbH durchgeführt. Hierfür wurde das Tool WebEffective, das von der amerikanischen Firma Keynote entwickelt und vertrieben wird, verwendet. Diese erste Anwendung des asynchronen Remote Tests verlief eingebettet in einen Vergleich der Testmethoden Labortest, synchroner Remote Test und asynchroner Remote Test.

Beim asynchronen Remote Test mit WebEffective können sowohl quantitative als auch qualitative Daten erhoben werden.
WebEffective beinhaltet ein Modul zum Aufsetzen der Studien, TestScripter genannt, den WebEffective Connector, der die Daten der Erhebung erfasst und das Modul CustomerScope, in welchem die gesammelten Daten aufbereitet werden.

Die Einstellungen für den Testablauf sowie die Formulierung und Verknüpfung der Fragen werden im WebEffective-Modul TestScripter vorgenommen.
Um die Daten der Testpersonen zu sammeln stehen verschiedene Möglichkeiten zur Verfügung. Wir wählten die „Local-Connector“-Variante. Hierbei wurden die Testpersonen zu Beginn der Erhebung aufgefordert, ein Plugin zu installieren, welches dann die Eingaben und Klickdaten der Testpersonen aufzeichnete. Diese Variante erlaubte es auch, Browserinteraktionen, z.B., das Klicken des „Zurück“-Buttons aufzuzeichnen.
Im TestScripter stehen viele verschiedene Fragetypen zur Verfügung. So kann unter anderem zwischen Freitext-, Checkbox-, Radiobutton- oder Skalenfragen gewählt werden.

Um den Fragebogen abwechslungsreich zu gestalten und möglichst zu jeder Frage Input von den Testpersonen zu erhalten wurde versucht verschiedene Fragetypen zu verwenden. So wäre beispielsweise zu erwarten, dass bei einer Aneinanderreihung vieler Fragen die eine Texteingabe als Antwort verlangen, die Testpersonen ermüden und keine, nur sehr kurze oder nicht aussagekräftige Eingaben machen. Auch mussten einige Fragen logisch miteinander verknüpft werden, da sie aufeinander aufbauen.

Da der Test im Rahmen eines Vergleichs stattfand, wurde das Studienkonzept aus den zuvor durchgeführten Tests in angepasster Form angewandt. Das Erstellen der Befragung im TestScripter nahm einige Zeit in Anspruch, da der Umgang mit den umfangreichen Möglichkeiten erst erlernt werden musste. Dieser Punkt sollte sich aber bei häufigerer Nutzung relativieren.

Während des Tests erhält die Testperson eine Ansicht mit zwei Browserfenstern (siehe Abbildung 1).
Ansicht Testperson, zwei Browserfenster
WebEffective: Ansicht Testperson, zwei Browserfenster

Ein Fenster wird im oberen Bildschirmbereich angezeigt (siehe Abbildung 2). Hier werden der Testperson mit einem Fortschrittsbalken der Fortschritt der Befragung (1), die zu bearbeitende Aufgabe (2) und Möglichkeiten zum Abgeben von Kommentaren, dem Abbrechen von Aufgaben und dem Anfordern von Hilfe geboten (3).
AnsichtTestperson, oberes Browserfenster
Abbildung 2: WebEffective: AnsichtTestperson, oberes Browserfenster

Im darunter liegenden Browserfenster wird in gewohnter Weise die getestete Website dargestellt. Dieses Fenster ist lediglich in seiner Größe etwas reduziert, da das andere Fenster den oberen Bildschirmbereich einnimmt.
Fragen an die Testperson, beispielsweise zu konkreten Seitenelementen wurden in diesem Test in einem Popup im unteren Browserfenster angezeigt (siehe Abbildung 3), es gibt jedoch auch andere Anzeigemöglichkeiten.
Ansicht Testperson, Popup Frage
Abbildung 3: WebEffective: Ansicht Testperson, Popup Frage

Alle erhobenen Daten, dazu gehören Performanz-Daten, Antworten, Profildaten, Kommentare und Klickpfade, werden im Modul CustomerScope gespeichert und stehen dem Testleiter zur Betrachtung und weiteren Nutzung zur Verfügung.

Die Testpersonen wurden durch eine E-Mail zum Test eingeladen. In dieser E-Mail befand sich ein Link, der die Testpersonen direkt zur Befragung führte, zu deren Beginn Informationen über die Benutzung der Testoberfläche und die Installation des benötigten Plugins gegeben wurden. Zum asynchronen Remote Test wurden in diesem Fall per E-Mail 1.581 Panelmitglieder des Panels Bonopolis eingeladen. Die Befragung begannen 114 Personen, beendet wurde sie allerdings nur von 51 Personen. Die restlichen 63 Personen gaben zum großen Teil bereits nach der ersten Seite auf.

Sobald eine Testperson die Befragung abgeschlossen hat, stehen die Daten dieser Testsitzung im Modul CustomerScope zur Verfügung. Der Testleiter kann die Daten noch überprüfen, beispielsweise darauf, ob sich eine Person „blind“ in wenigen Minuten durch die Befragung geklickt und nur Blindtext hinterlassen hat. Ist der Datensatz vollständig und brauchbar kann er in die Auswertung einbezogen werden. In CustomerScope werden die Daten automatisch visuell aufbereitet, so dass zu jedem Zeitpunkt ein schneller Datenüberblick mittels Diagrammen von Antworten oder tabellarischen Auflistungen von Kommentaren möglich ist.
Für den Testleiter läuft also die Datenerhebung ohne jeglichen Arbeitsaufwand ab und auch die Datenauswertung wird hier sichtlich erleichtert.

Die große Reichweite dieser Methode erlaubt es, große Stichproben zu nehmen und spezifische Stichproben, trotz der Ausfallrate, relativ leicht abzubilden. Auch werden, wie beim synchronen Remote Test, verschiedene Einstellungen an den PCs der Testpersonen und unterschiedliche Bandbreiten-Verbindungen in den Test mit einbezogen.
Als ein Manko ist zu nennen, dass WebEffective in der Local-Connector-Variante bisher nur mit dem Internet Explorer läuft. Alternativ könnte die Remote-Connector-Variante (Datensammlung via Proxy-Server) gewählt werden, dies beinhaltet jedoch leichte Einbußen bei den gesammelten Daten.

Hat einer von euch auch schon Erfahrenungen mit WebEffective oder eine Vergleichbaren Tool (z.B. LeoTrace von SirValUse) gesammelt?

Ein Gedanke zu „Asynchroner Remote Test – Erfahrungen der eResult GmbH

  1. Pingback: Klassisch versus modern: Usability-Test im Labor und asynchroner Videotest auf dem Prüfstand – Teil 1: Problemanzahl und Involvement | Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *