Lab-Test: die kleineren und größeren Probleme des Usability-Alltags

Ungeachtet von den Sorgen der Kunden (Ist das Produkt jetzt soweit fertig? Kann es jetzt in den Test? Müsste nicht noch dies oder jenes vorher geändert werden?) ist für Usability-Researcher eine der zentralen Fragen bei der Studiendesignentwicklung: Wie sieht die Zielgruppe des Produkts aus?
Die Frage sollte der Kunde beantworten können und ist (meistens) nicht Gegenstand weit reichender Analysen der Usability-Experten.

Dennoch hängen der Erfolg und die Aussagekraft der Studie von der richtigen Rekrutierung der Probanden aus der Zielgruppe ab. Auch wenn man es nicht oft genug betonen kann: Qualitative Studien müssen nicht auf Schlagwörter wie „Grundgesamtheit“, „Stichprobengröße und –auswahl“ achten. Sicher gilt es wichtige Merkmale der Zielgruppe ausreichend vertreten zu haben. Natürlich ist ein N> 6 und N< 25 sinnvoll, hängt aber immer auch vom Testgegenstand und vom Portemonnaie des Auftraggebers ab.
Ist der Testgegenstand größer, ist eine größere Anzahl von Probanden sinnvoller, da Zeitnot in den Interviews dazu führen kann, dass Bereiche nicht befriedigend von allen Probanden abgedeckt werden können. So bleibt Spielraum um den Fokus bei dem einen oder anderen Interview zu verschieben.

Die Rekrutierung der Probanden kann nur über vorher festgelegte Kriterien erfolgen. Manche sind einfach zu erfüllen, wie z.B. Geschlecht oder Alter. Andere Merkmale können den UX schon im Voraus zittern lassen, ob sich genug Probanden finden lassen. Wenn sich eine festgelegte Größe nicht realisieren lässt, ist dies immer schlecht, vor allem wenn sie unter 10 Personen liegt. Dennoch lässt sich in diesem Fall argumentieren, dass es im Labtest eben um die Qualität der gewonnen Daten geht. Ganz pragmatisch bedeutet dies nun, dass der vermeintlich defizitären Labtest nun auf einzelne Aspekte des Produkts eine größeres Augenmerk legen kann, zusätzliche Fragen den Katalog bereichern können und so die Chance besteht tiefer gehende Daten zu gewinnen.

Wenn sich im Kundengespräch dann herausstellt, dass quantitative Erkenntnisse eine wichtige Rolle spielen sollen, gilt es darauf gezielt einzugehen. Letztendlich könnten Erwartungen diesbezüglich mit einem Labtest niemals befriedigend erfüllt werden. So besteht noch die Möglichkeit diesbezügliche Missverständnisse aufzudecken und auszuräumen. Eventuell lässt sich noch der Wunsch nach einer quantitativen Online-Studie befriedigen.

Leider können Fehlrekrutierungen niemals ausgeschlossen werden. Wer kennt dass nicht: man sitzt in einer Session und spätestens wenn das „Warm-Up“ zu ende geht, wenn die Kontrollfrage als K.O.- Kriterium abgefragt wurde ist klar, dass hier ein „Missverständnis“ in den Rekrutierungsfragen vorliegen muss.
Ein Augenmerk sollte daher auf den präzisen Formulierungen der Rekrutierungsfragen liegen. Diese sollten mit einem größtmöglichen Vorlauf abgefragt werden (möglichst Schriftlich!). Dabei empfiehlt es sich, zehn Prozent der gesamt Größe der Studie (aufgerundet) als Ersatzinterviews zu rekrutieren, damit Ausfälle aufgefüllt werden können. Sicher ist sicher.

Schlimmer sind allerdings die klassischen „Marktforschungsdienstleister“, die Allrounder in der Branche, die wie die Darsteller in Talkshow durch die Kanäle, hier durch die Usability-Tests, Fokusgruppen und Partnerinterviews geistern. Zugegeben: deren Anteil an sämtlichen erhobenen Daten in der Marktforschung dürften verschwindend gering sein. Aber letztere entlarven sich häufig durch widersprüchliche Angaben und Statements in den Interviews. Häufen sich diese Anzeichen dämmert einem erst im Laufe des Interviews, dass die gewonnenen Daten mit Vorsicht zu genießen sind.

Soweit zu den kleineren und größeren Problemen bei Labtests im Usability-Alltag. In weiteren Beiträgen werde ich darauf eingehen, wie man Probanden richtig auswählt, eine valide Datenerhebung durchführt und die gewonnen Ergebnisse optimal vermittelt.

Fallen euch noch weitere kleinere bzw. größere Probleme im Zusammenhang mit Nutzertests im Labor ein?
Wenn ja, welche?

2 Gedanken zu „Lab-Test: die kleineren und größeren Probleme des Usability-Alltags

  1. Thorsten Wilhelm

    Klasse Beitrag, vielen Dank. Sehr wertvolle Hinweise und Tipps. Kann ich alles nur bestätigen: Die Zeilgruppe muss korrekt abgebildet werden; neben den einschlägigen Merkmalen ist dabei das Involvment gegenüber dem Testgegenstand aus meiner Erfahrung auch zu beachten. Sprich: Die Testpersonen sollten ein persönliches und am besten sogar ein „momentanes“ Interesse am Testgegenstand (Website) und dessen Inhalten haben. Sprich: Wenn eine Website für z. B. Digitalkameras getestet wird, dann sollte der Nutzer sich für das Produkt interessieren. Grad das momentane Interesse (situative Involvement) ist wichtig. Kann man z. B. erfragen (planen Sie in den kommenden Wochen den Kauf einer Kamera) und zugleich derart steigern, dass man z. B. die Aufwandsentschädigung für die Testteilnahme nicht in Form von Geld auszahlt sondern z. B. einem Zuschuss zu einem Kamera kauf. Dann nutzt die Testperson die Site (Online-Shop für Kamera) sicherlich auch im Lab, so wie zu Hause. Und das muss das Ziel sein.
    Freue mich auf weitere, interessante Beiträge zu diesem „Königstest“ der Usabilityforschung.

    Antworten
  2. Matthias

    Eine wirklich gute Zusammenfassung zum Thema Lab-Test.
    Es ist wirklich schwierig eine Zielgruppe genau und richtig zu definieren. Und dabei steht und fällt mit dieser Definition alles…

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *