Usability-Labor: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 1: Equipment

Usability-Lab

Sofern Sie sich entscheiden, nutzerbasierte Usability-Tests in Eigenregie durchzuführen, benötigen Sie vor allem 2 Dinge um qualitativ hochwertige Ergebnisse zu erzielen: Das richtige Equipment und geschultes Personal (=Experten)! Die dritte Komponente: die Rekrutierung von Testpersonen gemäß Ihrer Zielgruppe, lasse ich bewusst außen vor. Denn dies versteht sich für mich von selbst. Sie merken, es geht mir nicht um das von Nielsen, Krug & Co. propagierte „quick & dirty“ oder „Hauptsache man testet irgendwie…“ – sondern um das Testen auf einem professionellen Niveau.

In einem früheren Artikel („Usability-Tests selbst gemacht – Die besten Tipps und die wichtigsten Vor- & Nachteile“), habe ich bereits einige Punkte aufgeführt, die man bei der Durchführung beachten sollte. Der erste Teil dieser Artikelserie beschäftigt sich jedoch speziell mit den erforderlichen Technikkomponenten eines Usability-Labors.

Räumlichkeiten & genereller Aufbau
Befassen wir uns erst einmal mit der erforderlichen Infrastruktur. Hierzu benötigen Sie 2 Räume (einen Test- und einen Beobachtungsraum). Diese müssen nicht zwingend direkt nebeneinander liegen und einen Einwegspiegel besitzen. Die Übertragung des Geschehens (Audio und Video) kann auch per Netzwerk oder Wlan erfolgen und im Beobachtungsraum per Beamer und Lautsprecher ausgegeben werden. Dies kann z.B. Vorteile haben, wenn Ihre Wände nicht komplett schallisoliert sind. Nichts ist irritierender für Probanden als Gelächter von nebenan – besonders wenn es dann auftritt, wenn man bei der Bearbeitung einer Aufgabe „scheitert“.

Bestehen Sie aber auf einem Einwegspiegel (z.B. weil Sie das Labor auch für Gruppendiskussionen nutzen möchten) durch den Sie das gesamte Testgeschehen – inkl. Testleister/Interviewer – beobachten wollen, ist das direkte Nebeneinanderliegen der Räume natürlich unumgänglich. Die Erfahrungen, die ich in zahlreichen Usability-Tests (besonders für Websites & Software) selbst gesammelt habe, zeigen jedoch immer wieder, dass der Proband sich durch diesen Spiegel tendenziell stärker beobachtet fühlt, als wenn eine kleine Webcam vor/neben ihm positioniert wird.

Hier einmal ein möglicher schematischer Aufbau eines Usability-Labors (Variante mit Einwegspiegel) [1]:

Schematischer Aufbau eines Usability-Labors mit Einwegspiegel

Schematischer Aufbau eines Usability-Labors mit Einwegspiegel

Bitte vertiefen Sie sich nicht zu sehr in die dort beschriebene Anordnung der Kameras im Testraum. Es ist meist nur eine Kamera (z.B. in Form einer kompakten Webcam) erfroderlich, die frontal vor dem Probanden oder etwas seitlich in die Richtung des Interviewers versetzt positioniert wird.

Das etwas schräge Aufnehmen des Probanden hat den Vorteil, dass man ihn im Gespräch mit dem Interviewer als auch beim lauten Denken bei der Aufgabebearbeitung im Bild hat. Somit ersparen Sie sich das aufwändige Mixen von mehr als 2 Videoquellen (Quelle 1: Bildschirm des Testrechners, Quelle 2: Webcam). Sofern Sie über ein Eyetracking-System verfügen (z.B. Tobii T60) ist eine solche eh bereits im Monitor integriert.

Impressionen eines komplett ausgestatteten Labs finden sie beispielsweise hier.

Übrigens: Machen Sie sich nicht nur Gedanken über die zwei Räume, sondern auch wie die rekrutierten Probanden dorthin gelangen. D.h. denken Sie an einen Wartebereich bzw. Empfang und eine Person, die Ihre Probanden dort betreut.

Software
Ohne große Werbung machen zu wollen, ist Morae von Techsmith (in der aktueller Version 3.2) das Non-Plus-Ultra in Sachen Usability-Testing-Software. Die 1400 Euro für das komplette Software-Paket sind gut investiertes Geld und bieten neben den Basisfeatures zur Audio- und Videoübertragung des Testgeschehens sowie zur Videobearbeitung und Datenanalyse anhand von Markern auch noch einige weitere nützliche Gimmicks wie z.B. den Einsatz einer Wii-remote-Fernbedienung, um wichtige Ereignisse adhoc durch den Interviewer festhalten zu können. Die oft im gleichen Zuge erwähnte, günstigere Software Camtasia (selber Hersteller) eignet sich nur bedingt, da u.a. das zeitgleiche Beobachten der Tests an anderen Rechnern bzw. Orten per Netzwerk nicht möglich ist. Eines der erforderlichen Basis-Features, wenn Ihr (interner) Kunde oder Chef einmal bei den Tests live dabei sein möchte!

Technik
Anbei nun eine kurze Auflistung wichtiger Technik-Komponenten für ein Usability- Labor (ohne Einwegspiegel) – inkl. Nennung grober Kosten. Bitte sehen Sie es mir nach, wenn ich vielleicht nicht jedes erforderliche Kabel oder ähnliches erwähne:

Testraum

  • Leistungsfähiger Test-PC – 700 Euro (am besten flüsterleise, um den Testablauf nicht zu stören)
  • Angenehm bedienbare Tastatur und Mouse, PC-Lautsprecher – 100 Euro (Sie glauben gar nicht wie gerne sich Probanden über so etwas beklagen)
  • TFT-Monitor (mind. 19 Zoll) – 150 Euro (sollte die gängigen Bildschirmauflösungen darstellen können. Seien Sie sich bewusst, dass je nach Zielgruppe ggf. größere Monitore erforderlich sind.)
  • Webcam – 100 Euro (Achten Sie darauf, dass diese gut zu befestigen ist bzw. sicher steht. Bildwackler sind während des Tests einfach unschön anzuschauen.)
  • Grenzflächenmikrofon – 150 Euro (Warum? Weil die zeitgleiche Übertragung von Audio und Video mithilfe von Morae zu einem teilweise nicht unerheblich Delay (1-5 Sekunden) im Beobachtungsraum führen kann. Abhilfe schafft eine separate Audioübertragung per Funk)
  • Mischpult & Sender für drahtlose Audioübertragung – 300 Euro
  • In-Ear-System für Interviewer – 300 Euro (Hiermit haben Sie die Möglichkeit, dem Interviewer aus dem Beobachtungsraum mithilfe eines Tischmikrofons noch etwas „ins Ohr zu flüstern“ – ohne den gesamten Testverlauf zu stören. Dies ist bei technischen Problemen hilfreich oder aber wenn der Kunde/Beobachter noch eine ganz wichtige Nachfrage hat.)
  • Tobii T60 – 19 Zoll Eyetracker – 24.000 Euro (als optional anzusehen)

Beobachtungsraum

  • Beobachtungs-PC – 500 Euro (zur Übertragung / Darstellung des Testes im Beobachtungsraum)
  • Tischmikrofon inkl. Mischpult – 250 Euro (Wichtig: Es sollte immer nur der 2. Usability-Experte Anweisungen zum Interviewer durchleiten dürfen. Nur zu gerne wird diese Möglichkeit ansonsten von wissbegierigen Beobachtern missbraucht.)
  • Notebook – 700 Euro (zwecks Protokollierung des Tests mithilfe von Morae)
  • Beamer – 1000 Euro
  • Leinwand – 500 Euro
  • Live-Streaming – 3000 Euro (ortsunabhängige Übertragungsmöglichkeit in Echtzeit und guter Qualität. Bitte beachten Sie dabei: Man hat nicht dieselben Kommunikationsmöglichkeiten und Vorteile, wie wenn man im selben Raum sitzt!)

Software

  • Morae Paket inkl. 1 Jahre Update – 1.400 Euro
  • Tobii Studio Enterprise – 10.000 Euro (Software für den Eyetracker)

Überschlägt man dies, so kommt man auf rund 43.000 Euro. Hier sind jedoch noch keine kalkulatorischen Raumkosten berücksichtigt. Von einem bestehenden Netzwerk inkl. Internetanbindung in Ihrem Hause bin ich ebenfalls als Grundvoraussetzung ausgegangen.

Was brauchen Sie nun sonst noch?
Soviel zum Thema erforderliches Equipment. Was Sie jetzt nur(!) noch brauchen, ist das in der Durchführung von Usability-Tests geschulte Personal (sprich ausgebildete Interviewer und Usability-Experten) – und natürlich eine gewisse kontinuierliche Auslastung sowohl des Labors als auch des Personals.

Warum beides so wichtig ist, erläutere ich Ihnen im nachfolgenden Teil der Artikelserie „Usability-Labor: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 2: Personal“.

Quellen:
[1] Dumas, Joseph S. / Redish, Janice C.: A Practical Guide To Usability Testing. Revised Edition, Intellect Books: Exeter, 1999.

6 Gedanken zu „Usability-Labor: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 1: Equipment

  1. Claus Wagner

    Ein schöner Artikel. Danke dafür. Was Sie hier auflisten ist schön und liest sich gut. Das Feinste vom Feinsten… wirklich. Doch ist das immer notwendig? Nein, finde ich nicht. Der Techniküberschuss schießt oftmals über das Ziel hinaus. Und muss ja mitbezahlt werden… daher den Ansatz von Krug und Nielsen inplizit als „unprofessionell“ darzustellen ist m.E. nicht richtig.

    Die Frage ist doch immer die gleiche: Was soll untersucht werden und dann erst die Frage, mit welchen Mitteln wird untersucht. Nicht für jeden Usabilitytest benötige ich (teure) Eyetracker. Auch wenn das Eyetracking mehr und mehr in Mode gekommen ist, weil ja auch erschwinglicher also noch vor 5 bis 10 Jahren.

    Was Nielsen und Krug m.E. richtig klar darstellen: Die Technik ist zweitrangig, erstrangig ist der Kontakt zur Zielgruppe, zum Nutzer und letztlich auch die Prüfung der Anwendung mit der Zielgruppe.

    Ob das Mikrofon 200 Euro teuer ist oder nicht, spielt dabei keine Rolle, die Aufnahme muss verständlich sein. Und das ist sie auch mit einem „normalen“ Diktiergerät… das ist es, was „Quick & Dirty“ meint, finde ich…

    Antworten
  2. Martin Beschnitt Beitragsautor

    Hallo Herr Wagner,
    vielen Dank für Ihr Feedback.

    Gebe Ihnen erst einmal vollkommen Recht in Hinblick auf das Thema Eyetracking. Hier bedarf es immer einer konkreten Fragestellung, die nicht über andere Erhebungsmöglichkeiten beantwortet werden kann. Ansonsten sind die „hübschen Bildchen“ nicht wirklich hilfreich. Ist dies der Fall, bieten wir dies unseren Kunden auch nur separat oder gar nicht an – mit der entsprechenden Begründung.
    Man sollte jedoch immer beachten, dass das Eyetracking die einzige zuverlässige und valide Methode (im Gegensatz zum Mousetracking) ist, um das Suchverhalten bzw. die unbewusste Wahrnehmung von Probanden nachvollziehbar zu machen.
    Natürlich macht sich die Anschaffung eines solchen Systems erst bezahlt, wenn es entsprechend oft und methodisch sinnvoll eingesetzt wird.

    In Sachen „Techniküberschuss“ ist es bei uns als Full-Service-Dienstleister natürlich so, dass wir z. B. mithilfe der Videoaufzeichnung auch einen gewissen Beweis unserer Arbeit anlegen. Zumal die daraus entnommenen Highlight-Videos extrem überzeugend sind bei Präsentationen beim Kunden.
    Diese Erfordernis der Videodokumentation sehe ich auch bei einem internen Usability-Lab, das in einem Unternehmen inkl. Mitarbeiter als eine Art interner Dienstleister fungiert. Denn auch hier gilt es das (Produkt-)Management / den internen Kunden von den manchmal nicht erfreulichen Testergebnissen zu überzeugen.
    Möchte der (interne) Kunde die Tests weder beobachten noch Highlight-Videos haben (setzt großes Vertrauen voraus), dann wird dies natürlich nicht berechnet. Ich kann unseren Kunden jedoch immer wieder nur empfehlen: Bitte beobachtet die Tests! Die dabei gewonnnen Insights und Ideen übersteigen jeden schriftlichen Ergebnisband.

    Mit einem Diktiergerät kann ich selbstverständlich den Test noch einmal persönlich nachvollziehen. Aber kann ich hierbei ohne weiteren Beobachter nochmal die damit verbundenen Aktionen des Nutzers reflektieren, wenn ich parallel mit der Interviewführung beschäftigt war? Und wie binde ich dann eine weitere Person bei der Auswertung des Tests ein, wenn sie nicht mit beim Test dabei war – und nur die Diktiergerätaufzeichnung vorliegen hat? Ich persönlich bin ein Freund von Projektteams mit 2-3 Usabilityexperten bei der Erhebung und Auswertung, um den „subjektiven Anteil“ eines jeden Expertens so weit wie möglich zu minimieren.

    „Die Technik ist zweitrangig, erstrangig ist der Kontakt zur Zielgruppe, zum Nutzer und letztlich auch die Prüfung der Anwendung mit der Zielgruppe.“ Sehe ich genauso, und wollte Nielsen & Co’s Discount-Ansatz auch nicht im Umkehrschluss als unprofesionell betiteln (schlecht gewähltes Wording meinerseits:-)). Vor allem weil Sie als Vorreiter den Weg geebnet haben. Aber wenn es um die Etablierung eines gewissen kontinuierlichen Qualitätsstandards und die Wiederholung von Testreihen geht, dann braucht es meiner Meinung nach entsprechendes technisches Equipment + das passende Personal – und das ist nun mal nicht „günstig“. Rechnet sich aber allemal in Hinblick auf den damit erreichbaren Erfolg!

    Bin schon gespannt auf Ihren Kommentar zum 2. Teil.

    Viele Grüße

    Antworten
  3. Pingback: Usability-Labor: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 2: Personal | usabilityblog

  4. Pingback: Die Macht der Neutralität – oder: Warum Nutzertests im Lab am besten von externen Consultants durchgeführt werden sollten | usabilityblog

  5. Pingback: Neues aus dem UX Lab: 101+ Dinge, an die man bei der Durchführung von Usability-Tests denken sollte - Teil 1/2 - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.