Klassisch versus modern: Usability-Test im Labor und asynchroner Videotest auf dem Prüfstand – Teil 2: Kosten und Aufwände

Letzte Woche haben wir im 1. Artikel unserer Beitragsserie über den Vergleich der Problemanzahl und -qualität und das unterschiedliche Involvement der Probanden berichtet. Wie versprochen, werfen wir nun einen Blick auf die Kosten und Aufwände der betrachteten Verfahren: Usability-Test im Labor, asynchroner Videotest und asynchroner Remote-Usability-Test.

In Sachen Kosten-Nutzen gibt es bei den Verfahren auf den ersten Blick klare Unterschiede; Hierbei nehmen wir auch wieder Bezug auf den asynchronen Remote-Usability-Test, den wir im vorangegangenen Artikel ausgeklammert hatten.

Berücksichtigte Faktoren

Als Indikatoren dienen uns die Kosten und Aufwände für die Studienkonzeption und das Aufsetzen des Erhebungstools, die Rekrutierung und Incentivierung, die benötigte Ausrüstung für die Erhebung (Tool, Laborausrüstung, Laborkosten), der zeitliche Aufwand für die Durchführung der Studie sowie der Auswertungsaufwand. Wichtig: Wir können selbstverständlich nur eine grobe Orientierung liefern – angelehnt an unser durchgeführten Untersuchung.

Gegenüberstellung der Aufwände

Erhebungsaufwände für einen Usability-Test

Tabelle 1: Erhebungsaufwände für einen Usability-Test mit den drei verglichenen Methoden.

Zum besseren Verständnis der Tabelle bedarf es einiger Erläuterungen: Bei der Studienkonzeption werden für den Videotest die Aufgabenstellungen direkt in das Webinterface eingegeben, die weitere Programmierung übernimmt der Dienstleister. Die Studienkonzeption des asynchronen Remote-Tests dauert länger, wenn der Mitarbeiter sich erst mit dem Tool vertraut machen muss. Bei der Rekrutierung und Incentivierung wurden gemittelte Kosten angesetzt, die für das Auffinden einer ‚normalen‘ Zielgruppe und deren Entschädigung üblicherweise anfallen. Die Kosten für das Usability-Labor sind kalkulatorische Kosten, mit denen die meisten Dienstleister rechnen. Die Kosten für das asynchrone Remote-Tool richten sich nach einem der preisgünstigsten Tools, das uns für den Test zur Verfügung stand (Loop11). Je nach Funktionsumfang können für ein asynchrones Erhebungstool jedoch deutlich höhere Kosten entstehen (siehe hierzu den Beitrag Asynchrone Remote Usability-Tests: Tools, Kosten, …). Beim Erhebungsaufwand ist zu beachten, dass für den Labortest der Aufwand auf zwei Mitarbeiter aufzuteilen ist (Testleiter/Interviewer und Protokollant). Für den asynchronen Test ist beim Erhebungsaufwand v. a. das Sicherstellen der Teilnahme zu sehen (ggf. notwendige Nachrekrutierung, wenn nicht genügend Datensätze vorliegen, die den Qualitätskriterien entsprechen).

Für die Auswertung benötigen Labortest und Videotest in etwa identische Aufwände. Das hängt damit zusammen, dass jeder Videotest nach der erfolgten Erhebung in Echtzeit angeschaut werden muss, um die Erkenntnisse in Erfahrung zu bringen. Bei 20 je 20-minütigen Tests kommen da schnell gute sieben Stunden zusammen; wobei man sicherlich mal eine Pause braucht, wenn man parallel Notizen anfertigt und der Kopf dann auch alsbald zu rauchen beginnt. Der Großteil der Erkenntnisse beim Labortest liegt schon durch die Beobachtung der Tests während der Erhebung vor. Dies ist beim Videotest nicht möglich. Der Aufwand für die Auswertung des asynchronen Tests liegt v. a. in der Aufbereitung der Ergebnisse für eine Präsentation. Der Datenbestand selbst ist ja schon im weitesten Sinne innerhalb des Tools ausgewertet, sodass hier direkt interpretiert werden kann, um Empfehlungen zu generieren.

Fazit

Der Videotest lässt mit vertretbarem Aufwand, begrenzter Projektdauer und überschaubaren Kosten eine gute Generierung von Erkenntnissen zu. Die Auswertung wird dabei selbstständig durchgeführt und ist daher mit dem entsprechenden Aufwand durch Echtzeitsichtung verbunden.

Für den asynchronen Remote-Usability-Test werden verhältnismäßig geringe Aufwände fällig, die aber auch mit der Ergiebigkeit korrelieren. Die Auswahl eines teureren Tools in der Studie hätte sicherlich mehr Erkenntnisse als ein preisgünstigeres generiert. Die Rekrutierung erfolgt meist auf eigene Faust über ein eigenes Panel oder Kundendaten. Dafür ist die Auswertung relativ schnell erledigt.

Der Labortest fällt auf den ersten Blickdurch die höchsten Aufwände und Kosten und eine längere Projektdauer auf. Dies relativiert sich jedoch u. a. dadurch, dass die Tests live in einem Nebenraum mit beobachtet werden können und deutlich längere Tests möglich sind. Eine Testdauer von bis zu 90 Minuten ermöglicht nur der Labortest. Auch ist der Test erklärungsbedürftiger, bedingt funktionaler Prototypen möglich. So liefert er die umfangreichsten und ganzheitlichen Erkenntnisse und bietet dem beauftragenden Unternehmen auch die größte Flexibilität, um etwa während einer Studie noch Änderungen zu berücksichtigen.

Hier finden Sie die wichtigsten Punkte des Labortests und des Videotest noch einmal gegenübergestellt:

Die wichtigsten Merkmale von Labor- und Videotest.

Tabelle 2: Die wichtigsten Merkmale von Labor- und Videotest.

Allen Verfahren gemein ist die notwendige Expertise des Projektteams. Ist Wissen nicht vorhanden, muss dieses zusätzlich eingekauft oder aufgebaut werden (Usabiliy-Labor: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 2:Personal). Schließlich kann bzw. sollte nicht jeder einfach drauf los testen.

Wichtig: Die dargestellte Studie ist eine der ersten vergleichenden Untersuchungen unter Einbeziehung des Videotests. Die Erkenntnisse sollten auch nicht überinterpretiert werden. Wir werden daher weitere Untersuchungen durchführen, um noch allgemeinere Erkenntnissen zu generieren, als es eine Einzelstudie an einem Fallbeispiel ermöglicht. Bis hierhin zeigt sich allerdings, dass diese neue, toolbasierte Methode des Videotests vielversprechend ist und das UX-Methodenspektrum bereichert.

Ein Gedanke zu „Klassisch versus modern: Usability-Test im Labor und asynchroner Videotest auf dem Prüfstand – Teil 2: Kosten und Aufwände

  1. Elske Ludewig

    Hallo Sascha,
    vielen Dank für die beiden Beiträge zum Thema und die Gegenüberstellung der Methoden. Ich finde das super spannend und hätte noch eine Frage zum Auswertungsaufwand: Inwiefern wurde hier das Entwickeln, Formulieren und ggf. Visualisieren von Empfehlungen berücksichtigt? Wie du ja schreibst, können beim Labortest bereits während der Erhebung Ideen entstehen. Zudem sind ja auch spontane Rückfragen an die Testperson möglich. Mich würde interessieren, was bei den genannten Auswertungsaufwänden dann tatsächlich „herauskommt“. Letztendlich ist das ja auch ein sehr ausschlaggebender Punkt bei der Entscheidung für die Methode.

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.