Mobile Remote-Usability-Tests – Eine kritische Beleuchtung der aktuellen UX-Tool-Landschaft

Frau mit Smartphone Die eigene Mobilität besitzt, durch den stetigen Zugriff auf Daten, Dienste und Anwendungen sowohl im privaten als auch im beruflichen Alltag eine stetig anwachsende Relevanz. Die Nutzung des mobilen Internets ist möglich, da sich heutige Smartphones nur noch vage mit den mobilen Endgeräten aus früheren Zeiten vergleichen lassen, denn durch neue Funktionen wurde aus einem einfachen Kommunikationsinstrument ein multifunktionales High-End-Gerät, welches über komplexe Benutzeroberflächen verfügt. Infolge dessen veränderte sich auch das Interaktionsverhalten der Nutzer und damit verbunden die Komplexität der Benutzungsschnittstellen. Aufgrund der physikalischen Eigenschaften mobiler Endgeräte (zum Beispiel ein kleines Display oder eine fehlende Tastatur) sowie dem dynamischen Nutzungskontext, stellt die Usability-Evaluation im mobilen Kontext eine besondere Herausforderung dar. Der folgende Blogbeitrag stellt einige Tools vor, die sich dieser Herausforderungen stellen und beleuchtet synchrone und asynchrone Möglichkeiten.

Synchrone RUTs

Die Besonderheit eines synchronen Remote-Usability-Tests (RUT) besteht durch die direkte Kommunikation zwischen Probanden und Testleiter bei einer parallelen räumlichen Distanz. Folglich befindet sich der Proband bei einem synchronen RUT in seiner gewohnten Nutzungsumgebung (dem Feld) und führt den Test am eigenen Endgerät durch.

Mirroring

Eine Möglichkeit für die Durchführung eines synchronen RUT ist die Verwendung des sogenannten Mirrorings. Die Grundidee des Verfahrens ist es, das Display des Probanden-Smartphones auf einen Computer zu spiegeln und anschließend mithilfe einer Videokonferenz zum Testleiter weiterzuleiten. Dementsprechend ist für die erfolgreiche Durchführung des Mirrorings der Einsatz von spezieller Soft- und Hardware notwendig.

Wie in der Abbildung 1 zu sehen ist, besteht der erste Schritt des Mirrorings darin, das Smartphone des Probanden mit einem Computer zu verbinden. Erfolgt dies über eine USB-Verbindung, ist weiterhin spezielle Software notwendig, um das Display des Smartphones auf den Computer zu spiegeln. Apple-Nutzer können hier auf die interne Anwendung Quicktime zurückgreifen (Vorsicht: Diese Funktion wird erst ab dem Betriebssystem OS X Yosemite unterstützt). Android-Nutzer haben mehrere Möglichkeiten und können zum Beispiel das kostenlose Tool AirDroid verwenden. Besitzen die Probanden die notwendige Hardware, wie zum Beispiel ein Apple TV oder Google Chromecast, kann auch diese genutzt werden, um das Smartphone-Display über eine WIFI-Verbindung auf den Computer zu spiegeln. Anleitungen für das Spiegeln des Smartphone-Displays finden sich zahlreich im Internet und können je nach Anwendungsfall durch den Testleiter angepasst werden.

Ist das Display des Smartphones auf dem Bildschirm des Computers gespiegelt, folgt eine herkömmliche Videokonferenz (zum Beispiel via Skype oder WebEx) zwischen dem Probanden und dem Testleiter. Indem der Proband den Bildschirm seines Computers teilt, besitzt der Testleiter nun die Möglichkeit das Display des Smartphones in Echtzeit einzusehen. Die Videokonferenz erlaubt zudem die Moderation des Tests durch den Testleiter. Dementsprechend kann der Testleiter unmittelbar auf Unklarheiten und Hindernisse während des Tests reagieren. Weiterhin kann ein zusätzlicher Consultant in die Videokonferenz eingebunden werden und als Beobachter fungieren. Erfahrungen aus der Praxis zeigen, dass durch das Mirroring eine gute Qualität der Ton- und Bildaufnahme ermöglicht wird und die Tests problemlos ablaufen können.


Schematische Darstellung des Mirrorings

Abb. 1: Schematische Darstellung des Mirrorings


Ein Nachteil des Mirrorings besteht darin, dass der Testaufbau einen hohen technischen Einsatz des Probanden erfordert. Die Probanden müssen spezielle Soft- und Hardware installieren und konfigurieren. Demzufolge muss sichergestellt werden, dass eine detaillierte Anweisung im Vorfeld des Tests durch den Testleiter erfolgt. Ein weiterer Nachteil dieser Methode ist ebenso offensichtlich. Da das Smartphone des Probanden während des Tests mit einem Computer verbunden ist, kann sich der Proband nicht frei im Feld bewegen. Dadurch wird dem Probanden die Mobilität entzogen. An der Validität der Ergebnisse kann demnach gezweifelt werden. Abschließend ist anzumerken, dass das aufgezeigte Verfahren nicht für jegliche Art von mobilen Usability-Tests geeignet ist. Möchte man zum Beispiel eine Navigations-App testen, erscheint dies mit Hilfe des Mirrorings unmöglich.

Fliped-Notebook

Eine weitere Möglichkeit einen synchronen RUT durchzuführen ist die sogenannte Fliped-Notebook-Methode, welche erstmals im Artikel des Unternehmens Mailchimp vorgestellt wurde. Für die Durchführung der Fliped-Notebook-Methode wird neben dem mobilen Endgerät ein Notebook oder Tablet inklusive Webcam benötigt. Abbildung 2 zeigt einen exemplarischen Testaufbau. Wie der Name bereits vermuten lässt, wird das Notebook oder Tablet des Probanden während der Durchführung des Tests umgedreht, sodass es mit der Rückseite zum Probanden steht. Dieser macht nun eine umarmende Geste um das Notebook und hält dabei sein Smartphone so vor die Webcam des Notebooks bzw. Tablets, sodass diese das gesamte Display des Smartphones erfassen kann.



Abb. 2: Am Beispiel von Mailchimp ist zu sehen, dass die Fliped-Notebook-Methode auch mit einem Tablet durchführbar ist


Was nun folgt ist eine herkömmliche Videokonferenz zwischen Proband und Testleiter. Der Testleiter kann die Interaktionen des Probanden durch die Videokonferenz in Echtzeit mitverfolgen und den Test zusätzlich moderieren. Neben dem Display des Smartphones wird innerhalb dieser Methode auch die Gestik des Probanden aufgezeichnet. Besonders für Applikationen, die einen hohe Anspruch an die Verwendung mobiler Gestik besitzen, ist der Einsatz dieser Methode besonders geeignet.

Schlussfolgernd bleibt die Methode des Fliped-Notebooks aufgrund ihrer unorthodoxen Handhabung in der Praxis umstritten. Demzufolge konnte bis dato nicht empirisch aufgezeigt werden, inwieweit sich diese sehr unnatürliche wirkende Situation auf die Validität der Ergebnisse auswirkt. Analog zur Methode des Mirrorings, bleibt auch hier kritisch anzumerken, dass der Proband seiner Mobilität entzogen wird. Während des Tests ist der Proband extrem stark an den Aufnahmebereich der Webcam gebunden. Dies schränkt die Anwendungsmöglichkeiten der Methode erheblich ein.

WebEX + TeamViewer

TeamViewer ermöglicht den Fernzugriff auf Rechner Dritter über das Internet. Für synchrone Usability-Test mobiler Endgeräte kann das Tool weiterhin verwendet werden, um die Interaktionen eines Probanden-Smartphones in Echtzeit auf die Rechner des Testleiters und des Beobachters zu übertragen. Voraussetzung dafür ist eine Installation des Programms TeamViewer auf dem Rechner des Testleiters sowie die Installation der Applikation TeamViewer Quicksupport auf dem mobilen Endgerät des Probanden. Da das Tool keine parallele Übertragung des Smartphone-Displays und der Audioquelle zulässt, muss ein weiteres Tool in den Testaufbau eingebunden werden, welches die fehlende Funktion kompensiert. Hierfür dient ein herkömmliches Konferenz-Tool (zum Beispiel WebEx des Unternehmens Cisco), um sowohl die Audioquelle zu übertragen als auch den Test aufzuzeichnen.


Schematische Darstellung eins synchronen RUT

Abb. 3: Schematische Darstellung eins synchronen RUT durch WebEx und Teamviewer


Wie Abbildung 3 zu entnehmen ist, sind während der Durchführung des Tests alle im Test involvierten Personen (Testleiter, Beobachter und Proband) durch einen virtuellen Konferenzraum innerhalb von WebEx miteinander verbunden, sodass dieser die Grundlage des Testaufbaus bildet. Dabei sind der Testleiter und der Beobachter mithilfe ihrer Computer in den Konferenzraum von WebEx eingewählt. Sie besitzen dadurch die Möglichkeiten sowohl auditiv als auch durch den internen Chat von WebEx, miteinander zu kommunizieren. Während des synchronen RUT deaktiviert der Beobachter sein Mikrofon, wodurch die Kommunikation zwischen Testleiter und Beobachter folgend lediglich durch den internen Chat von WebEx stattfindet. Demzufolge wird ein aktiver Einfluss des Beobachters auf den Probanden ausgeschlossen. Um den Probanden in den Konferenzraum einzubinden, wird sich einer Funktion von WebEx zu nutzen gemacht, welche es ermöglicht, Personen durch einen herkömmlichen Telefonanruf zu einer Konferenz hinzuzufügen. Der Proband erhält zum Startzeitpunkt des Tests einen Anruf des Testleiters, wodurch der Proband und der Testleiter folgend aktiv miteinander kommunizieren können. Der Beobachter kann das Gespräch ebenfalls mitverfolgen, greift in der Regel aber nicht aktiv in den Test ein. Ist die auditive Verbindung zwischen Testleiter und Proband durch WebEx gewährleistet, wird der Proband aufgefordert, die Applikation TeamViewer Quicksupport zu starten. Beim Starten der Applikation generiert diese einen neunstelligen Zugangscode. Der Testleiter gibt den Code des Probanden in die auf seinen Computer installierte Version von TeamViewer ein. Durch diesen Prozess besitzt er nun die Möglichkeit das Display des Probanden-Smartphones in Echtzeit einzusehen. Damit der Beobachter die Interaktionen des Probanden ebenfalls mitverfolgen kann, teilt der Testleiter seinen Bildschirm innerhalb von WebEx. Dadurch ist die technische Installation abgeschlossen und der Test kann begonnen werden.

Die Methode bietet den Vorteil, dass sich der Proband frei im Feld bewegen kann. Hierbei ist jedoch zu beachten, dass die Qualität der Übertragung stark an die Datenverbindung des Probanden gekoppelt ist. Weiterhin muss beachtet werden, dass auch dieser Testaufbau ein hohes Engagement des Probanden erfordert.

Asynchroner RUT

Wie beim synchronen RUT ist bei einem asynchronen Remote Usability-Test eine räumliche Distanz zwischen Testleiter und Proband vorhanden. Die Besonderheit des asynchronen RUT ist weiterhin, dass keine direkte Interaktion zwischen Proband und Testleiter vorgesehen ist. Demzufolge wird der asynchrone RUT nicht durch einen Testleiter moderiert und erfolgt automatisiert. Neben der räumlichen Distanz sind Testleiter und Probanden demnach auch zeitlich voneinander unabhängig.

LOOKBACK

Eine Möglichkeit asynchrone Remote-Usability-Tests durchzuführen bildet das Tool Lookback. Das gleichnamige Unternehmen wurde Ende 2013 von den ehemaligen Entwicklern des Musik-Streaming-Anbieters Spotify, Nevvyn Bengtsson und Jonatan Littke, gegründet. Firmensitz des Unternehmens ist San Francisco, USA (dies ist auch der Grund, warum das Tools und der Support lediglich in englischer Sprache angeboten werden). Das Tool bietet seinen Nutzern die Möglichkeit das Display des eigenen Smartphones während der Interaktion aufzuzeichnen. Zusätzlich wird durch die Frontkamera des Smartphones die Mimik des Probanden sowie das Audiosignal über das integrierte Mikrofon des jeweiligen Endgeräts aufgezeichnet. Aktuell ist Lookback für die mobilen Betriebssysteme iOS und Android verfügbar. Das jeweilige Betriebssystem besitzt zurzeit weitreichende Auswirkungen auf die Mannigfaltigkeit des Tools, so ist es zum Beispiel unter dem Betriebssystem iOS nicht möglich eine Aufzeichnung der Interaktion vorzunehmen, ohne den Quellcode der Applikation vorab zu modifizieren. Eine uneingeschränkte Nutzung des Tools, wie soeben beschrieben, ist zum Zeitpunkt lediglich mit Geräten möglich, welche über das Betriebssystem Android 5.0 (oder höher) verfügen. Da sich Lookback in einer Beta-Phase befindet, wird die Anwendung momentan kostenlos zur Verfügung gestellt. Für die erfolgreiche Durchführung des asynchronen RUT ist es unabdingbar, neben der Installation des eigentlichen Testobjekts, ebenfalls die Applikation Lookback aus dem Google Play herunter zu laden und auf dem Smartphone zu installieren. Haben die Probanden die Installation Lookbacks erfolgreich abgeschlossen, führt die Anwendung sie durch den Test.


Start eines asynchronen RUT durch Lookback

Nachdem die Probanden die Testsitzung erfolgreich abgeschlossen haben, wird das Video direkt auf einen Server des Unternehmens hochgeladen. Anschließend besitzt der Testleiter Zugriff auf die Aufnahme und kann mit der Analyse beginnen.


Upload eines Videos bei Lookback

Der Nachteil Lookbacks ist, dass ein Einblenden von Testszenarien nicht möglich ist. Die Aufgaben der Probanden müssen demnach auf einen anderen Weg übertragen werden (zum Beispiel via E-Mail). Dieser Tatsache ist geschuldet, dass die Aufmerksamkeit der Probanden stetig zwischen dem Testobjekt und der Aufgabenbeschreibung wechselt. Da sich das Tool momentan noch in der Beta-Phase befindet, lässt sich jedoch hoffen, dass eine solche Funktion schnell umgesetzt wird.

Rapidusertests

Die Methode, die das Unternehmen Rapidusertests anwendet, entspricht in den Grundzügen dem bereits beschriebenen Mirroring, findet sich jedoch durch Rapidusertests in einer asynchronen Form wieder. Dementsprechend spiegeln die Probanden während der Durchführung eines asynchronen RUT das Display ihres Smartphones auf einen Computer. Zusätzlich zum einfachen Mirroring werden die Probanden durch eine speziell konzipierte Anwendung von Rapidusertests durch den Test geleitetet. Um einen Usability-Test mit Hilfe von Rapidusertests durchzuführen, müssen zunächst die Nutzungsszenarien im System angelegt sowie die Zielgruppe definiert werden. Die folgende Rekrutierung übernimmt Rapidusertests. Das Unternehmen verspricht laut eigener Website, dass erste Ergebnisse bereits nach 24 Stunden abgerufen werden können. Als Testleiter erhält man folgend bis zu 20-minütige Bildschirm- und Tonaufzeichnungen der Probanden, welche zeigen, inwiefern die Probanden mit einer Applikation interagieren. Wie ein solches Video aussieht, ist im folgendem einsehbar:

Usertesting

Eine innovative Form des synchronen RUT bietet das US-amerikanische Unternehmen Usertesting. Den Grundstein des Tools bildet hierbei eine interne Applikation des Unternehmens. Dementsprechend ist für die erfolgreiche Teilnahme an einem synchronen RUT der Download dieser Applikation durch den Probanden notwendig. Nicht weiter überraschend, erlaubt auch diese Applikation das Display des Probanden-Smartphones aufzuzeichnen. Parallel dazu werden die Probanden durch die interne Applikation des Unternehmens durch den Test geleitet. Hierfür ist ein stetiger Wechsel zwischen dem Testobjekt und der Applikation Usertestings nötig. Wie ein Test einer mobilen Website aufgebaut ist, kann im folgenden Video betrachtet werden:

Der Nachteil für den deutschsprachigen Raum besteht darin, dass Usertesting ein US-amerikanisches Unternehmen ist. Die damit verbundene Rekrutierung von Probanden bürgt dementsprechende Schwierigkeiten. Zwar besitzt das Panel des Unternehmens laut eigenen Angaben weltweit über eine Millionen Nutzer, doch sind diese überwiegend im englischsprachigen Raum ansässig. Laut eigenen Angaben ist auch eine eigenständige Rekrutierung möglich, was jedoch mit deutlichen Mehrkosten verbunden ist. Der vielseitige Service von Usertesting ist dementsprechend teuer, sodass ein Video von maximal 15 Minuten im Basic-Tarif einen Preis von 99$ (49$ für die ersten 10 Videos) besitzt. Eine Auszeichnung längerer Sequenzen ist lediglich mit einem Pro-Account möglich. Preise hierfür werden auf der Website des Anbieters nicht genannt, dürften den Basis-Tarif jedoch deutlich überschreiten.

Fazit

Möglichkeiten mobile Systeme Remote zu testen gibt es viele. Der vorangehende Blogbeitrag zeigte kostengünstige Methoden auf, mit denen sowohl das synchrone als auch das asynchrone Testen nativer Applikationen auf dem Smartphone möglich ist. Vorteil aller Methoden ist, dass für die Durchführung eines Tests keine Modifikation des Applikations-Quellcodes nötig ist. Unsere Erfahrungen zeigen, dass Unternehmen das Einbinden einer SDK in den Quellcode ihrer Applikation meist scheuen, sodass die aufgezeigten Tools ernstzunehmende Alternativen darstellen. Weiterhin ist eine Modifikation eines Quellcodes oftmals mit einem hohen zeitlichen Aufwand verbunden, was häufig den zeitlichen Rahmen eines Usability-Tests sprängt.

Es ist jedoch in Kauf zu nehmen, dass bisher keine Methode an die Standards aus dem Desktop-Bereich heranreicht, unabhängig davon, ob synchroner oder asynchron. Der Markt befindet sich weiterhin in einer stetigen Entwicklung und sollte dementsprechend gründlich verfolgt werden. Das synchrone Remote-Usability-Testing im mobilen Bereich wird sicherlich deutlich interessanter, sobald Videokonferenztools (wie Skype, GoToMeeting oder WebEx) das Teilen von Smartphone-Displays erlauben. Asynchrone Verfahren stehen vor der Herausforderung, die automatisierte Moderation in das zu testende Objekt einzubetten. Die aufgezeigten Tools zeigen, dass dies bisher nur auf sehr umständlichem Wege möglich ist. Wie schon Martin Beschnitt in seinem früheren Artikel Asynchrone Remote Usability-Tests: Tools, Kosten, … mahnte, gilt bis heute, dass die alleinige Erhebung von Nutzungs- und Befragungsdaten mithilfe asynchroner Tools (meist) nicht ausreicht, um eine Website optimieren zu können.

Synchrone Verfahren bieten eine gute Möglichkeit, um zum Beispiel eine schwer zu rekrutierende Zielgruppe zu testen. In der Praxis hat sich die Kombination aus TeamViewer und WebEx daür bereits bewährt. Zwar erscheint die technische Infrastruktur zunächst kompliziert, doch stellte dies keine Herausforderung für die Probanden dar, da der Testleiter stets unterstützend eingreifen konnte.

Es ist kritisch zu betrachten, dass die Remote-Verfahren mit einem starken Engagement von Seiten des Probanden als auch von Seiten des Testleiters verbunden sind. Weiterhin ist die Validität der gewonnenen Daten stets mit Vorsicht zu betrachten, denn es kann nicht eindeutig geklärt werden, welche Usability-Probleme letztendlich durch das zu testende System verschuldet werden und welche durch das technische Setup. Auch im Rahmen von Remote-Verfahren darf nicht davon ausgegangen werden ein völlig natürliches Vorgehen der Probanden verzeichnen zu können, denn letztendlich bleiben auch diese Verfahren eine vorab künstlich konstruierte Situation.

Um einen tieferen Einblick in das Testen mobiler Applikation zu gewinnen, arbeiten wir stets mit Hochdruck daran, unser Wissen in diesem Bereich weiter auszubauen. Demzufolge fördert eResult eine Masterarbeit an der Universität Hildesheim, die die Ergebnisse eines klassischen Usability-Tests im Labor mit denen eines synchronen RUT (durch WebEx + Teamvier) und eines asynchronen RUT (durch Lookback) vergleicht. Die Ergebnisse dieser Studie werden in Kürze als Forschungsbeitrag veröffentlicht.

Portraitfoto: Dustin Rauch

Dustin Rauch

User Experience Consultant

eresult GmbH

Bisher veröffentlichte Beiträge: 5

2 Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.