Neues aus dem UX Lab: Frequency vs. Severity und Cross-Device Testing

Das neue Jahr vergeht wie im Fluge. Zum Jahresende gab es noch Tipps zum Lauten Denken, zur realistischen Aufgabengestaltung bei Usability-Tests und ein Eyetracking-Buch. Nun möchte ich Ihnen die beiden Themen Frequency vs. Severity bei Usability-Problemen und Cross-Device Usability Testing näher bringen.

Gibt es eine Korrelation zwischen Problemhäufigkeit (frequency) und Schwere des Problems (severity) in Usability Evaluationen?

Ein viel diskutiertes Thema – auch bei uns im Unternehmen.
In dem Paper „The Relationship Between Problem Frequency and Problem Severity in Usability Evaluations“ aus dem JUS – Journal of Usability Studies (Vol.10, Issue 1, Nov 2014, pp. 17-25) von Jeff Sauro, bewerteten mehrere Gutachter die Schwere der Usability-Probleme in neun Usability-Studien unabhängig voneinander. Ergebnis: nur in einer der neun Studien zeigte sich eine positive Korrelation zwischen Problemhäufigkeit und -schwere.

Was heißt das nun für uns UX Professionals?

  • Wir sollten weiterhin die Häufigkeit und Schwere der Probleme in einer Usability-Studie ermitteln und dokumentieren.
  • Der Schweregrad eines Problems ist unabhängig davon, wie viele Benutzer dieses Problem haben (Frequenz).
  • Unterschiedliche Gutachter decken unterschiedliche Probleme auf und bewerten deren Schwere unterschiedlich. (Alter Hut!)
  • Wann immer möglich, sollten mehrere Gutachter (UX-Experten) eingesetzt werden, um die Schwere eines Usability-Problems so objektiv wie möglich einzuschätzen.

Puhhh…alles richtig gemacht in den letzten 15 Jahren Unternehmens- und Projekthistorie bei eResult. Wir arbeiten immer mind. 2 Experten auf Expert Reviews und Usability-Tests und beleuchten dabei sowohl die Problemschwere als auch –häufigkeit, um konkreten Handlungsempfehlungen auszusprechen.

Cross-Device / Cross-Platform Usability Testing

2014 war definitiv das Jahr der Responsive Website Usability-Tests! Ich erinnere mich nicht an einen einzigen Labtest, bei dem wir nicht mindestens auf Desktop und Smartphone oder gar auch Tablet getestet haben.

Was aus meiner Sicht bislang aber noch stiefmütterlich behandelt wird, ist das Thema der geräteübergreifenden Nutzung von Websites bzw. Plattformen. Aufgrund der technologischen Möglichkeiten und internetfähiger Mobilgeräte kommt es heutzutage nicht selten vor, dass in der Bahn noch einmal schnell die Watchlist des Aktiendepots über die native App der Direktbank angeschaut wird, um dann zuhause am PC über die Desktop-Website die entsprechenden Käufe/Verkäufe zu tätigen.

Majrashi und Hamilton liefern mit Ihrem „Cross-Platform Usability Measurement Model (CPUM)” (Lecture Notes on Software Engineering, Vol. 3, No. 2, May 2015), die mir bislang einzige wissenschaftliche Quelle zu diesem Thema.

Wenngleich das Model aus meiner Sicht ein wenig zu theoretisch ist, beschreibt es sowohl ein Set an Metriken, um die Usability von Cross-Device Plattformen zu bewerten als auch ein Vorgehen zur Durchführung entsprechender Usability-Test.

Es bestätigt mich jedoch in der generellen Vorgehensweise, die wir bei eResult hinsichtlich plattformübergreifender Evaluationen etabliert haben (exemplarisch erläutert am Beispiel einer Direktbank / Online-Banking):

  1. Vorab zu klärende Fragen mit dem Kunden (nur ein kleiner Auszug):
    1. „Haben Sie Zahlen für die Cross-Device-Nutzung aus Ihrem Webanalyse-Tool? Lassen sich hier Nutzungsmuster ableiten (z.B. von der Smartphone App zur Desktop-Website)?“
    2. „Welche der Plattformen werden im Vergleich untereinander am häufigsten für welche(n) Nutzungsintention / Use Cases genutzt?“
    3. „Welche Funktionen/Möglichkeiten bieten die nativen Apps im Vergleich zur responsiven Website zusätzlich / nicht an? Ist Funktionsumfang/Inhalt redundant oder auf bestimmte Nutzungsintentionen fokussiert?“
  2. Grobes Studiendesign:
    1. Bereits bei der Rekrutierung (Terminakquise) achten wir darauf, die typischen Aufgaben der Probanden im Bereich Online-Banking / Trading sowie die dafür genutzten Geräte / Plattformen zu erfragen. Diese matchen wir dann mit entwickelten Tasks für den Usability-Test. Infrage für den Cross-Device Usability-Test kommen somit nur Probanden, die mind. 2 Plattformen der Direktbank kennen und nutzen. Dies gilt analog auch für Wettbewerskunden.
    2. Zu Beginn der Einzelinterviews erfolgt eine sog. Warm-up-Phase. Hier erfragt der Interviewer noch einmal explizit die Nutzungsgewohnheiten des Probanden und wählt auf Basis dessen den passendsten Task auf der vom Probanden präferierten Endgerätekombination. Es handelt sich somit um „teilweise selbst erstellte Aufgaben“, die einen hohen Grad an Realität sowie persönlichem Involvement des einzelnen Probanden garantieren (siehe hierzu bei Interesse: http://www.userfocus.co.uk/articles/testtasks.html). Die Herausforderung an den Interviewleiter ist es, die vom Probanden genannten Tasks mit den laut Studienkonzept Angedachten in Einklang zu bringen als auch eine logische Abfolge zu wählen.
    3. Über die Testtage hinweg achten wir anhand einer Matrix darauf, dass alle Tasks auf allen Plattformen eine entsprechende Mindest-Fallzahl erreichen. Diese kann über alle Tasks, Nutzergruppen als auch Plattformen/Endgeräte gleichverteilt sein oder entsprechend der tatsächlichen Nutzungshäufigkeiten (Web Analytics-Auswertung) erfolgen.
    4. Wir gehen davon aus, dass jeder Proband innerhalb von 60min 4-5 Tasks absolvieren kann – davon mind. einen Device-übergreifend. Um solche Szenarien möglich realistisch zu gestalten, arbeiten wir gerne mit Nutzungssituationen am Stehtisch, auf dem Sofa oder am Schreibtisch im Uselab.
    5. Nach jeder bearbeiteten Aufgabe erfolgt die Abfrage der Zufriedenheit des Probanden mit der/den dafür genutzten Plattformen (meist unterstützt über einen kleinen, standardisierten Fragebogen). Am Ende des Interviews erfolgt die Abfrage einer Gesamtbewertung aus Nutzersicht.
    6. Je nachdem wie fordernd die einzelnen Tasks sind, führen wir entweder ein Lautes Denken während der Aufgabenbearbeitung durch oder aber ein retrospektives, zusammen mit dem Interviewer im Nachgang. Zweitgenanntes ermöglicht auch eine saubere Erhebung von Performanzwerten (siehe dazu im Detail auch das CPU-Modell), wenn gewünscht.
    7. Laufen wir nach 1-2 Erhebungstagen Gefahr die anvisierten Fallzahlen pro Task/Plattform durch ‚part self-generated tasks‘ nicht zu erreichen, kann der Interviewer stärker durch die vorgegebenen Task führen – indem er dem Probanden im Warm-up nicht mehr so viel Freiheiten beim Selbstbestimmen seiner Testaufgaben gibt.
    8. Erkennen wir bereits nach ein paar Tests, dass erhebliche Usability-Probleme beim Lösen eines Tasks bestehen, entscheiden wir in Absprache mit unserem Kunden, ob wir diesen in weiteren Interviews weiterverfolgen (Stichwort: Quantifizierung / summatives Testing) oder aber die Zeit und restlichen Probanden nutzen, weitere (optional vorgehaltene) Tasks und Bereiche des Konto- und Depotbereichs zu evaluieren.

Soviel von mir,
viele Grüße aus dem UX Lab und bis im April.

Portraitfoto: Martin Beschnitt

Martin Beschnitt

Geschäftsführender Gesellschafter

eresult GmbH

Bisher veröffentlichte Beiträge: 144

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.