Synchroner Remote Test – ein praktisches Beispiel, durchgeführt mit Morae und WebEx

In dem vorangehenden Beitrag wurde die Methode des synchronen Remote Tests kurz vorgestellt und ihre Vor- und Nachteile angerissen. In diesem Beitrag soll nun der Ablauf anhand eines bei der eResult GmbH durchgeführten Tests, unter der Verwendung der Testsoftware Morae in Kombination mit dem Online-Meeting-Tool WebEx, dargestellt werden.

Morae ermöglicht es, die verschiedenen Daten eines Nutzertests, wie Bildschirmvideo, Nutzervideo und Kommentare aufzuzeichnen und synchronisiert abzuspeichern. Bei einem Labortest ist der Morae Recorder auf dem Testrechner, an welchem die Testperson arbeitet, installiert. In unserem Testaufbau befand sich der Testleiter an diesem Rechner. Auf einem weiteren Rechner war der Morae Observer installiert, mit dem sich die Testsitzung verfolgen und mitprotokollieren lässt.

Grobe Skizze des Testaufbaus für den synchronen Remote Test
Grobe Skizze des Testaufbaus für den synchronen Remote Test.

Die Testperson und der Beobachter wurden vom Testleiter zu einem Meeting im WebEx Meeting Center eingeladen. Dieses Online-Meeting-Tool ermöglicht es, dass ein Teilnehmer seinen Bildschirm mit den anderen Teilnehmern teilen und ihnen somit zeigen kann, was er sieht und tut. Zugleich kann eine VoIP-Konferenz abgehalten werden und ein Webcambild der Teilnehmer übertragen werden. So kann die Kommunikationssituation des Labortests gut nachgebildet werden. Darüber hinaus steht auch eine Chatfunktion zur Verfügung. Diese war zu Beginn der Sitzungen hilfreich um gegebenenfalls Probleme bei der Audioverbindung zu beheben. Zu Beginn des Meetings wurden der Testperson die relevanten Funktionen des Meeting-Centers erläutert und falls nötig Probleme, beispielsweise bei der Bildübertragung beseitigt.

Beispiel: Geteilter Bildschrim & Mouse-HighlightingDer Testleiter kann der Testperson die Moderatorenrechte für das Meeting zusprechen und ihr somit ermöglichen, ihren Desktop zu teilen. Sobald die Testperson ihren Desktop (oder eine Anwendung) teilt, wird dieser also auch auf den Bildschirmen des Testleiters und der Beobachters angezeigt und kann auf dem Rechner des Testleiters vom Morae Recorder aufgezeichnet werden. Der Testleiter kann das Webcambild der Testperson weiterhin anzeigen lassen, so dass auch dieses aufgezeichnet wird und somit die Mimik der Testperson für spätere Auswertungen zur Verfügung steht.
Um die Aussagen der Testperson aufzuzeichnen wurden diese über an den PC angeschlossene Boxen ausgegeben und über das Mikrofon des Testleiters aufgenommen. Dies bietet keine optimale Tonqualität, war jedoch ausreichend um die Aussagen auch zu einem späteren Zeitpunkt nachvollziehen zu können.
Der Beobachter konnte die Kommunikation verfolgen, da er ebenfalls Teilnehmer des Meetings war. Für die Kommunikation zwischen dem Testleiter und dem Beobachter wurde die Chatfunktion genutzt.

Die Testperson wurde vom Testleiter anhand eines Studienleitfadens durch den Test geleitet. Dieses Studienkonzept unterschied sich kaum von dem für einen klassischen Labortest, denn auch hier war eine direkte Kommunikation zwischen der Testperson und dem Testleiter möglich und die Aufgaben und Fragen konnten in gleicher Form wie im Labor gestellt werden. Das Konzept war jedoch ergänzt um einige Hinweise für den Testleiter beispielsweise wann eventuell Hinweise für die Testperson zum Umgang mit dem Online-Meeting-Tool notwendig sein könnten.

Positives und negatives aus den Tests

Es zeigte sich, dass es schwierig ist, Testpersonen mit einer ausreichenden technischen Ausstattung zu erreichen, so dass für den Test auch auf einige Personen ohne Webcam zurückgegriffen wurde. Mit dieser Einschränkung war es jedoch gut möglich, die erforderliche Stichprobenzusammensetzung zu erreichen.

Für das Auffinden von Usability-Problemen war das Kamerabild nicht unbedingt ausschlaggebend, es kann aber die Empfindungen der Testpersonen eindrucksvoll verdeutlichen.
Das Übertragen eines Bildes von Testleiter und Testperson trug zu Beginn des Tests dazu bei, dass sich beide Personen schnell einen ersten Eindruck vom Gegenüber verschaffen können. Dies half, ein Vertrauensverhältnis für den Test zu schaffen.

Problematisch war in einigen Fällen die Audioübertragung. Bei einigen Tests war die Qualität der Übertragung, durch minderwertige Ausrüstung der Testpersonen oder störende Hintergrundgeräusche beeinträchtigt, was die Situation für den Testleiter anstrengend gestaltete.

Als Problem von Remote Tests wird oft gesehen, dass Testpersonen sich scheuen notwendige Software zu installieren. Dies konnte bei unserem Test nicht bestätigt werden. Die Testpersonen wurden darüber informiert, dass sie für den Test ein Plugin installieren müssen und taten dies bereitwillig.
Obwohl zu dem Test nur Personen mit einer DSL-Verbindung eingeladen wurden, kam es bei der Übertragung der Daten bei einigen Testpersonen zu teilweise deutlichen Verzögerungen, was das Nachverfolgen der Nutzeraktionen etwas erschwerte.

Positiv ist zu erwähnen, dass auf der Nutzerseite tatsächlich verschiedene Bildschirmauflösungen und die Verwendung unterschiedlicher Browser beobachtet werden konnte. Dies kann dazu beitragen, dass mehr Usability-Probleme aufgedeckt werden.

Fazit

Der synchrone Remote Usability Test bietet eine gute Möglichkeit ähnliche Ergebnisse wie mit einem Labortest zu erzielen und Tests mit geografisch entfernten Testpersonen durchzuführen.

Hab Ihr auch schon synchrone Remote Tests mit einem ähnlichen oder anderen Testaufbau durchgeführt?
Falls ja, wie ist euer Fazit bzw. eure Meinung dazu ausgefallen?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.