Mobile Usability-Tests: Was sollte man beachten?

EndgeräteWie testet man eigentlich mobile Websites, Apps oder gar mobile Endgeräte an sich in puncto Usability und User Experience? Was gibt es für Unterschiede zum klassischen, nutzerbasierten Usability-Test im Labor zur Evaluation von Websites oder Software?

Dieser Artikel zeigt 3 praxistaugliche (Erhebungs-)Möglichkeiten auf – inkl. Nennung der Vor- und Nachteile – und gibt zudem weitere Tipps aus der Praxis, die man beachten sollte.

Usability-Anforderungen des mobilen Internets unterscheiden sich deutlich
Allem voran: Nicht nur aufgrund der geringen Bildschirmgröße(n) spielt die Usability von mobilen Endgeräten, Websites und Apps eine entscheidende Rolle. Dabei unterscheiden sich die Usability-Anforderungen des mobilen Internets (teilweise) erheblich vom stationären Internet (z.B. aufgrund der vollkommen unterschiedlichen User Interface Paradigma bei Multitouch-Screens im Vergleich zu Desktop-PC). (Siehe hierzu auch: „Das mobile Web aus Usabilitysicht“) Dies stellen auch wir – die eResult GmbH – im Rahmen von Tests mit mobilen Endgeräten immer wieder fest.

Wer mobile Anwendungen erfolgreich entwickeln will, muss vor allem die Zielgruppe(n), deren Intention und Nutzungskontext verstehen und auch berücksichtigen. (Siehe hierzu u.a.: „Herausforderung App-Usability – auf was Sie bei der Gestaltung von Apps achten sollten“) Mobile Geräte wie Handys und Smartphones werden beispielsweise im Vergleich zu PCs oder Notebooks in einem relativ hektischen und ablenkenden Umfeld genutzt. Auch suchen Nutzer des mobilen Webs gezielter nach bestimmten Informationen.

Folglich ist eine direkte Beobachtung von (potentiellen) Nutzern aus den Kernzielgruppen im Umgang mit einer App oder einer mobilen Website im Rahmen eines klassischen Usability-Tests (detaillierte Methodenbeschreibung) eine Erhebungsmethode, die den vorangegangenen Anforderungen Rechnung trägt (Von einer PC-basierten Simulation/Emulation ist abzusehen, denn nur ein Test auf den jeweiligen mobilen Endgeräten lässt die wirklichen Nutzungsprobleme einer Anwendung erkennen!). Jedoch gilt es einige zusätzliche Dinge bei der Erhebung zu beachten – besonders im Hinblick auf die technische Anforderungen zur Aufzeichnung und Dokumentation der Einzelinterviews.

Feldtest vs. Labortest – wo testet man?

Grundsätzlich ist die Mobilität, die sich durch die Nutzungsmöglichkeit mobiler Endgeräte an nahezu jedem Ort zu jeder Zeit ergibt, zu berücksichtigen. Jedoch nur, wenn dies zwingend erforderlich ist um den Nutzungskontext realistisch abzubilden. Dies ist beispielsweise bei einer Navigationssoftware gegeben oder einer andersgearteten Anwendung, die auf der Ortserkennung via GPS aufbaut (z.B. ‘augmented reality’-Anwendungen).

Ich persönlich würde ansonsten immer von einem Test im freien Feld abraten, da der Erhebungs- und Auswertungsaufwand enorm ist – im Vergleich zum Test im Labor. Aus Gründen der Vollständigkeit wird diese Möglichkeit im späteren Verlauf des Artikels jedoch erwähnt.

Übertragung & Aufzeichnung des Displayinhaltes: 3 Möglichkeiten

Aufgrund der Tatsache, dass der Umgang mit mobilen Endgeräten weitaus flexibler ist als der mit einem normalen Desktop-PC, ergeben sich für die Aufzeichnung und Übertragung des Displayinhaltes und der Gestik & Mimik der Testperson während der Nutzung erhöhte Anforderungen. Denn: Nutzer neigen gerne dazu mit dem mobilen Endgerät umherzugehen, sich vorzubeugen oder zurückzulehnen, sich hinzulegen oder hinzusetzen, je nachdem, wo sie sich gerade befinden.

Dieser Tatsache muss im Usability-Labor bestmöglich Rechnung getragen werden. Anbei 3 Möglichkeiten, die wir bereits mehfach in der Praxis erprobt haben:

Möglichkeit 1: Test mit einer Dokumentenkamera
Die Testperson sitzt mit ihrem mobilen Endgerät an einem Tisch und kann dieses vor sich in einem auf dem Tisch definierten Bereich völlig normal und frei von jeglichen Beeinträchtigungen nutzen. Mithilfe einer Dokumentenkamera, die von oben auf das mobile Endgerät gerichtet ist, wird nun der Displayinhalt in den Beobachtungsraum übertragen. Eine zweite Kamera, die auf dem Tisch steht bzw. liegt, überträgt die Gestik und Mimik der Testperson. Dieses Bild wird ebenfalls in den Beobachtungsraum übertragen und für die Videodokumentation als Bild-in-Bild (zusammen mit dem Displayinhalt) aufgezeichnet.

Dokumentenkamera von ELMO

Dokumentenkamera von ELMO

Somit ist das Display des mobilen Endgerätes – inkl. der Aktionen der Testperson – jederzeit klar zu erkennen. Selbstverständlich findet parallel sowohl eine Audio-Übertragung in den Beobachtungsraum als auch eine Aufzeichnung statt.

Handyschlitten

Vorteile:

  • Die Nutzungsbedingungen sind sehr natürlich.
  • Der Versuchsaufbau erfordert kein „über die Schulter gucken“.
  • Auch bei einer Rotation des Geräts kann man den Displayinhalt mit verfolgen
  • Hohe Bildqualität aufgrund der festinstallierten Dokumentenkamera.

Nachteil(e):

  • Es besteht die Gefahr, dass die Testperson das mobile Endgerät während der Interaktion aus dem Beobachtungsbereich hinausbewegt. Zudem ist ggf. eine Rekalibrierung erforderlich, wenn die Testperson das mobile Endgerät deutlich in der Höhe bewegt (eingeschränkter Autofocus-Bereich)

Möglichkeit 2: Test mit einer direkt am Endgerät montierten Kamera
Das mobile Endgerät wird in einer Halterung (sog. „Handyschlitten“) fixiert. An dieser Halterung ist wie bei einer Schwanenhalskamera eine besonders leichte und kompakte Kamera angebracht. Die Konstruktion ist dabei besonders leicht und schränkt die Testperson nur minimal ein.

Somit ist es möglich, analog zur vorab beschriebenen Aufzeichnungsmöglichkeit, den Displayinhalt sowohl auf den Bildschirm des Testleiters als auch in den Beobachtungsraum zu übertragen. Ebenfalls überträgt eine zweite Tischkamera die Gestik & Mimik der Testperson. Eine Aufzeichnung und Übertragung des Audiosignals findet parallel statt. Anstelle der Tischkamera lässt sich auch am Handyschlitten eine weitere Kamera zur Erfassung der Testperson installieren. Dies wirkt sich aber negativ auf das Gewicht des Handyschlittens und somit auch auf die Nutzung aus.

Vorteile:

  • Feststehendes Bild des mobilen Endgerätes bei der Beobachtung
  • Der Versuchsaufbau erfordert kein „über die Schulter gucken“.

Nachteile:

  • Die Nutzungssituation ist durch die Apparatur beeinträchtigt.
  • Eine Rotation des Endgerätes durch den Nutzer macht die Beobachtung schwierig, da sich das Bildsignal nicht mit gedreht werden kann – während der Erhebung.
  • Aufgrund der kompakten Bauweise ist die Bildqualität der montierten Kamera relativ schlecht.

Möglichkeit 3: Test mit einer Helmkamera
Selbstverständlich ist es auch möglich, die Aufzeichnung und Beobachtung des Probanden via Helmkamera zu realisieren. Hierbei wird dem Probanden ein handelsüblicher (Fahrrad-)Helm aufgesetzt an dem eine kompakte Kamera so befestigt ist, dass sie sein Blickfeld bestmöglich erfassen kann. Die Aufzeichnung erfolgt über eine Handflächengroße Einheit, die der Proband an den Gürtel, in seine Hosentasche oder in eine bereitgestellte Hüfttasche stecken kann.

Beispiel für eine Helmkamera

Beispiel für eine Helmkamera

Mit dieser Messapparatur ist es dem Probanden nun möglich, sich vollkommen frei zu bewegen und frei mit dem mobilen Endgerät zu interagieren. Wichtig ist nur, dass er während der Nutzung direkt darauf blickt, damit die Kamera den Displayinhalt erfassen kann.

Wie bereits anfangs erwähnt, rate ich aufgrund eigener Erfahrungen von dieser Erhebungsvariante ab, sofern der Test des mobilen Angebotes aufgrund der Fragestellungen und des erforderlichen Nutzungskontextes nicht zwingend im freien Feld durchgeführt werden muss. Im Labor überwiegen die Vorteile der beiden vorab genannten Möglichkeiten zur Aufzeichnung und Übertragung des Audio- und Videosignals. Zudem lässt die Erhebung mit der Helmkamera keine direkte Beobachtungsmöglichkeit für weitere Personen zu. Auch der Interviewer/Testleiter hat es teilweise schwer, dem Probanden jederzeit über die Schulter zu schauen – beispielsweise wenn der Proband über die Straße geht, Rolltreppe fährt, etc. Die Datenanalyse ist aufgrund dessen erst im Nachhinein vollständig möglich.

Zu guter Letzt ist noch das Wohlempfinden des Probanden zu berücksichtigen. Nicht nur, dass das Tragen einer solchen Helmapparatur teilweise unangenehm ist (man erinnere sich an die Head-mounted Eyetracker-Modelle). Es erregt auch Aufsehen in der Öffentlichkeit, was man eigentlich gerne vermeiden würde, da dies den Probanden sehr beim Testen stört.

Weitere Tipps & Tricks

  • Besonderheiten bei der Auswahl / Rekrutierung von Probanden:
    Besonders beim Test mobiler Angebote ist es zwingend erforderlich, Testpersonen zu rekrutieren, die das entsprechende mobile Endgerät selber besitzen und dieses auch aktiv nutzen. Ansonsten würde man nicht die Anwendung an sich, sondern vielmehr das Betriebssystem oder Endgerät als solches auf seine Usability-Schwachstellen hin evaluieren.
    Darüber hinaus müssen Testpersonen ein hohes Involvement gegenüber dem Testobjekt (z. B. einer iPhone-App) aufweisen – grundsätzlich und auch im Moment der Testteilnahme. Aufgrund dessen sollte man beim Screening immer mit abfragen, welche mobilen Endgeräte die potentiellen Testpersonen aktuell besitzen/verwenden. Somit ist es möglich, Testpersonen mit einem bestimmten Modell, Betriebssystem und/oder einer bestimmten Bildschirmauflösung zu rekrutieren.
    Weitere interessante Abfragen sind auch die Anzahl an derzeit installierten Apps und die drei am häufigsten genutzten Apps-/WebAngebote. So kann man sich ein umfassendes Bild vom jeweiligen (potentiellen) Probanden machen.
  • Bestenfalls auf/mit dem Endgerät testen!
    Sofern kein Prototyp getestet wird, der eine spezielle Installation erfordert, sollten die Testpersonen folglich immer Ihr eigenes Endgerät zum Test mitbringen. Hintergrund: Dies entspricht der natürlichen Nutzungssituation mobiler Angebote. Es besteht eine viel stärkere persönliche Bindung als beispielsweise zu einem Desktop-PC, der von mehreren Familienmitgliedern genutzt wird. Wichtig neben dem Mitbringen des mobilen Endgerätes ist übrigens auch immer das Mitbringen bzw. Bereitstellen eines entsprechenden Ladekabels. Ansonsten können Tests auch mal schnell zu „Ende“ sein.
  • Seien Sie so unaufdringlich wie möglich und konzentrieren Sie sich!
    Liz McMahon von Pancentric führt in ihrem kurzen Artikel “A Guide to Usability Testing an iPhone app” zwei wichtige Learnings an, die ich 100%ig teile. Zum einen sollte man den Testablauf so wenig wie möglich stören. D.h. eine Rekalibirerung der Aufnahmetechnik sollte nur im Notfall erfolgen und zumindest im Testlauf entsprechend eingegliedert werden (z.B. zwischen zwei Aufgabenstellungen). Zum anderen muss man sich als Interviewer deutlich stärker auf die Interaktionen der Nutzer mit dem Endgerät konzentrieren, da einzelne Seiten bzw. Ansichten von Apps sind nicht so informationslastig wie bei Websites sind. Infolgedessen verbringt der Proband weniger Zeit auf diesen. Die Aussagen des Probanden in Form des „Lauten Denkens“ werden dadurch ebenfalls kürzer und knapper. Letztendlich ist die Aufnahme mit Morae oder eine vergleichbaren Software zu empfehlen, um im Einzelfall gewisse Handlungsabfolgen nochmal genau zu reflektieren zu können.
Service von Usabilityblog.de-Partnern » Werben auf Usabilityblog.de

Werben auf Usabilityblog.de

Vielen Dank für Ihr Interesse.

Bei Ihre Fragen und Wünsche bzgl. der Werbeschaltung werden Sie sich einfach an Herrn Wilhelm.

Daten zu den Nutzer des Blogs finden Sie in den aktuellen Nutzerstrukturdaten.

4 Kommentare zu „Mobile Usability-Tests: Was sollte man beachten?

  1. Fabian Rademacher

    Hallo Martin,

    Das ist ja echt interessant: Ich bereite grad auch einen Test für ein mobiles Gerät vor und habe anscheinend dieselben Recherchen gemacht! Außer der Helmkamera (nicht praktisch) sind meine Ergebnisse genau die gleichen und wir haben uns aus genannten Gründen für die Dokumentenkamera entschieden. Ein weiterer Grund war, dass diese bereits vorhanden war. Eine ebenfalls bereits vorhandene Webcam mit Weitwinkelobjektiv nimmt die Interaktion des Testkandidaten mit dem Endgerät von vorne auf.

    Wir hatten kurzzeitig auch über eine Selbstbauvariante des Handyschlittens nachgedacht, aber es aus Zeitgründen doch wieder gelassen. Die kommerziellen Schlitten kosten ca. 1100-3500 USD und haben meist auch nur einen normalen Videoausgang. Man müsste auch das Videosignal wieder in den Rechner bekommen. Kleine Webcams mit Schwanenhals könnten das von Haus aus. Deshalb erschien uns die Idee erst sehr attraktiv.
    http://www.90percentofeverything.com/2010/05/07/quick-tip-make-your-own-iphone-usability-testing-sled-for-5/

    Viele Grüße
    Fabian

  2. Pingback: Usability-Labs bei Apps – so schauen wir bei eResult Nutzern über die Schulter | usabilityblog

  3. Pingback: Usability-Testing von Responsive Webdesigns | Usabilityblog.de

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *