Beobachten, Befragen, Messen – Pascal Mangold bietet Tipps und Anregungen für ganzheitliche Analysen im Usability-Lab

Ich bin mehr als stolz, dass ich Pascal Mangold von Mangold International für Usabilityblog.de zu einem Interview gewinnen konnte.

Pascal kenne ich nun schon seit mehr als 10 Jahren. Kennengelernt habe ich ihn, als ich am Institut für Marketing & Handel das Use-Lab einrichten bzw. ausbauen durfte. Das war 1998.

Mangold International ist inzwischen Marktführer für Software und Systemlösungen im Bereich qualitative und quantitative Forschung und Analyse.
Wenn es darum geht Verhalten zu beobachten und fundiert zu analysieren, dann geht kein Weg an den Lösungen aus dem Hause Mangold vorbei. Diese sollte, ja muss man sich einfach anschauen.

Pacal Mangold betreut Kunden aus Forschung & Praxis:
Psychologie-Institute an Hochschulen ebenso, wie Luft und Raumfahrt Unternehmen, Automobil-Hersteller, Sicherungstechnik-Anbieter und natürlich Usability-Agenturen sowie Usability-/UX- Abteilungen in Unternehmen.

Im Interview mit Pascal konnte ich erfahren, was gute von schlechten Usability-Labs unterscheidet und welche aktuellen Entwicklungen sich rund ums „Beobachten, Messen und Befragungen“ in Use-Labs abzeichnen.

Auf geht’s …
Sie dürfen sich auf 8 Fragen und 8 gehaltvolle, inspirierende Antworten freuen.

Usability-Labore gibt es immer mehr. Teststudios, Usability-Agenturen und immer mehr Unternehmen verfügen über eigene Use-Labs. Die Ausstattung ist jedoch oft recht unterschiedlich. Was sind aus Deiner Erfahrung heraus betrachtet die absoluten Basis-Anforderungen an ein Usability-Labor – sagen wir mal für Tests von Websites?

Studiendaten lassen sich ja prinzipiell durch drei Verfahren erheben: „Beobachten“, „Befragen“ und „Messen“. Jede dieser Methoden hat individuelle Stärken, aber auch Schwächen und Grenzen. Beispielsweise nützt es wenig durch Messung zu erfahren, dass 80% der Kandidaten einen bestimmten Knopf drücken. Vielmehr ist entscheidend, warum dieser Knopf gedrückt wird!

Auch die Methode des Befragens hat hier Grenzen, denn eventuell handelt es sich um eine unbewusste Aktion, an die sich die Probanden oft nicht erinnern. Als dritte Möglichkeit bleiben Beobachten oder Zuhören, um mögliche Usability Issues aufzudecken.

Deshalb ist meine Empfehlung, technische Einrichtungen in Form spezialisierter Software, Hardware und Audio/Video Komponenten in einem Teststudio zur Verfügung zu haben, mit der alle drei genannten Datenerhebungsmethoden durchgeführt werden können. Unser Tool LogSquare ist beispielsweise so eine Lösung:

Ich gebe Dir ein Bespiel dazu:

Ein Proband sitzt vor dem PC und soll eine Aufgabe im Web lösen. Dazu möchte man ihn von einem anderen Raum aus beobachten. Der Beobachter will Kommentare und Kodierinformation live erfassen. Gleichzeitig soll auch der Proband schriftliche Kommentare abgeben können und mit dem Versuchsleiter chatten können. Diese Kommentare und Chats sind extrem wichtig, um später auch die Schwierigkeiten und Hinweise auswerten zu können, über die während des Versuchs nicht verbal gesprochen wurde.

Dabei möchte der Versuchsleiter den Versuch aus dem Nebenraum auch steuern, d.h. einzelne Aufgaben starten und stoppen und als erfolgreich oder nicht erfolgreich verbuchen. Bei einigen Aufgaben sollen auch Fragebögen eingeblendet werden. Natürlich werden der Bildschirm des Probanden, alle Tastatureingaben, Mausaktivitäten, seine Mimik und seine verbalen Kommentare mit erfasst.

Alleine in diesem einfachen Szenario wird schnell klar, dass in einem simplen Usability Test schnell unterschiedliche Datenströme, wie Videos, Audio, Logfiles, Kommentare, Kodierdaten und vor allem Zeitinformationen anfallen.

Natürlich sollen diese Daten in unterschiedlichen Dimensionen statistisch analysiert und ausgewertet werden. Das alles haben wir mit dem Software Tool LogSquare gelöst. Keine Mitschriften auf Zetteln, keine Excel Tabellen, keine separaten Videos in Camcordern, keine Papierfragebögen etc. Öffne einfach die Projektdatei des Tests in LogSquare und mach Deine Analysen. Klick-Klick-Klick. Alles auf der Zeitachse synchronisiert und in einem Tool integriert.

Die Vielfalt unterschiedlicher Datenquellen und Methoden ist grad das Problem vieler Anwender. Wie kann man damit effizient und vor allem effektiv umgehen?

Richtig, das größte Problem ist es, Daten so zu erfassen, dass sie einander zeitlich zuordenbar sind. Diese Zuordnung bedeutet auch, dass die Daten nicht nur logisch, sondern auch computertechnisch miteinander verknüpft sind und im Kontext ausgewertet werden können.

Bei Mangold International haben wir uns darauf spezialisiert Systeme zu entwickeln, die Daten unterschiedlicher Quellen synchron erfassen, Daten von dritten Anwendungen, wie beispielsweise Simulatoren in der Automobilindustrie oder Logfiles von Mobil-Geräten, zu synchronisieren und in einer integrierten Umgebung zur Auswertung darzustellen. Dies ist uns in der Mangold Software LabSuite gelungen.

Mangold

Mangold INTERACT mit Physiologie-Daten und Nutzervideo

Um die Komplexität eines realen Projekts nochmals zu verdeutlichen:

Ein großer Spielehersteller will ein neues Rollenspiel testen – er nutzt dazu ein von Mangold ausgestattetes Game Research Lab. Dabei sollen zwei Teams von je fünf Spielern gegeneinander spielen. Die Teams werden mit Audio/Video Einrichtungen beobachtet und ihre Bildschirme und Aktionen – wie bei LogSquare beschrieben – aufgezeichnet. Zusätzlich soll das Blickverhalten des jeweiligen Team-Leaders mit einem kompletten Eye Tracker erfasst werden. Da kann man sich leicht vorstellen, was das bedeutet!

Das eingangs erwähnte Beispiel mit LogSquare wird hier schlicht und einfach verzehnfacht! Plus zwei komplette Eye Tracking Datenströme plus die Audio/Videoaufzeichnungen der Überwachungskameras. Alles startet natürlich zu beliebigen Zeitpunkten, da die Spieler sich individuell anmelden etc. Ganz zu schweigen von den Daten, die die verschiedenen Beobachter live mitprotokollieren. In dieser Datenflut kann man schnell ersticken.

Aufzeichnen kann man letztlich alles, nur muss das dann auch handhabbar sein und zu Ergebnissen führen! Der Spielehersteller verwendet hier beispielsweise die Mangold Tools LogSquare, VideSyncPro zur synchronen Videoaufzeichnung, MangoldVision als EyeTracker und INTERACT zur Auswertung. Das Tolle ist, dass man eine zentrale Projektdatei einfach in Mangold INTERACT öffnet und die verbundenen Datenquellen synchron zusammen zur Auswertung bereit stehen. Das ist ein recht komplexes aber reales Beispiel. Gerade wenn es um Produkte mit extrem großen Nutzergruppen und finanziellem Volumen geht, lohnt sich der Aufwand aber definitiv.

Ganz klar ist, wer so etwas ohne eine integrierte Tool-Umgebung durchführt, wird seine Zeit nicht für das Erarbeiten von Ergebnissen aufwenden, sondern diese sehr wahrscheinlich mit der Handhabung der unterschiedlichen Datenquellen und Software Tools, Excel Tabellen, handschriftlichen Notizen, Fragebögen etc. verschwenden.

Deshalb mein Rat: Nicht anfangen, wenn nicht klar ist, wie die Daten ganz einfach von A nach B kommen und wie sie sich im Kontext auswerten lassen! Hier hilft definitiv nur eine professionelle und integrierte Tool Umgebung, wie beispielsweise die Mangold Lab Suite.

Grad Usability-Agenturen sollten ihren Kunden etwas Besonderes bieten, um zu begeistern.
Wodurch könnten sich deren Labs abgrenzen, was müssen Usability-Agenturen über die Basisanforderungen hinaus so bieten?

Ganz ehrlich? Designer, Ingenieure, Softwareentwickler und auch Marketing- oder Produktmanager sind von Ihren Produkten meist sehr überzeugt, da sie das Produkt ja auch in- und auswendig kennen.

Deshalb geht es im Wesentlichen für Agenturen darum, einerseits die Notwendigkeit von Tests „zu verkaufen“ und nach deren Durchführung auch die Ergebnisse „zu verkaufen“!

Im ersten Fall heißt es oft „Wir brauchen keine Tests, wir haben sehr gute Entwickler und Designer“ oder noch besser „wir machen das schon ewig!“. Hier ist definitiv Überzeugungsarbeit notwendig. Am einfachsten funktioniert das mit realen Beispielen. Zeige einem Produktmanager Optimierungspotential eines ähnlichen Produkts. Rechne ihm vor, wie viel Geld im Support oder Garantiebereich damit gespart werden kann. Zahlen überzeugen hier am leichtesten.

Im zweiten Fall, wenn ein Test durchgeführt wurde, ist das Ergebnis noch lange nicht beim Auftraggeber angekommen. Denn es ist klar, dass kein Mensch gerne Sachen hört wie „das XXX versteht niemand“ oder „das YYY ist viel zu kompliziert“. Da kann man ganz leicht auf persönliche Empfindlichkeiten der Betroffenen stoßen. Hier gilt es darzulegen, dass es die gewonnen Erkenntnisse durch Produkttests mit realen Menschen entstanden sind und nicht, dass die aufgelisteten Ergebnisse nur gefühlte Einschätzungen sind. Dann hat nämlich nicht ein fremder Dritter – in diesem Fall die Usability Agentur – kritisiert, sondern es ist offensichtlich, dass der reale Kunde Probleme mit dem Produkt hat. Und das kratzt nun an der Ehre der Beteiligten, denn niemand möchte etwas machen, was nicht funktioniert, sondern Lob erhalten und Freude erzeugen.

Ergo: Usability Agenturen müssen immer auch Verkaufen!

Eine professionelle Präsentation von Ergebnissen ist das A und O. Auch die Demonstration von technischen Einrichtungen überzeugt oft schnell. Sprich: das richtige Equipment hilft der Agentur schneller zu arbeiten und mehr Geschäft zu machen. Selbstverständlich auch im Sinne des Auftraggebers, denn in einer solchen Umgebung kann ich dem Kunden jederzeit mit wenigen Mausklicks beweisen, dass ich mir die Ergebnisse nicht aus dem Ärmel geschüttelt habe. Diese sind zuverlässig und vor allem nachvollziehbar erarbeitet worden.

Und der Kunde hat Anspruch auf nachprüfbare Ergebnisse. Hier sehe ich den Begeisterungsfaktor. Wenn der Auftraggeber einerseits an Beispielen sieht, dass tolle Ergebnisse entstehen können, und wenn er andererseits den Weg dorthin nachvollziehen kann und technische komplexe Möglichkeiten einfach präsentiert bekommt. Das schafft Glaubwürdigkeit, Vertrauen und meiner Erfahrung nach oft auch Begeisterung beim Kunden.

Warum ist dir das Thema Video so wichtig?

Wie bereits gesagt, gibt es einen himmelweiten Unterschied zwischen eigener Wahrnehmung und Realität. Ohne philosophisch zu werden bezeichne ich die Realität als das, was ich per Video und Ton aufzeichne und jederzeit wieder exakt reproduzieren kann.

Die eigene Wahrnehmung trügt nicht nur den Probanden, sondern auch den Beobachter. Frag‘ drei Leute an einer Unfallstelle, was Sie gesehen haben und Du wirst komplett unterschiedliche Aussagen bekommen. Ganz zu schweigen vom Fahrer, der eine ganz andere Sicht als alle übrigen hat.

Gerade die Reproduzierbarkeit halte ich für essentiell. Wenn ich ein aufgezeichnetes Video jederzeit abspielen kann, habe ich die Möglichkeit mich auf ganz bestimmte Dinge zu konzentrieren. Ich muss nicht versuchen alles erdenkliche in einem einzigen Durchgang erfassen zu wollen: Was hat der Anwender gerade gemacht, wo hat er geklickt, was hat er genau gesagt, wie lange hat das gedauert, war er von der Umgebung abgelenkt etc.

Es ist Fakt, dass wir Menschen immer nur einen winzigen Ausschnitt unserer Umgebung bewusst wahrnehmen. Das ist in beliebig vielen psychologischen Versuchen leicht beweisbar. Trotzdem unterliegen viele Anwender dem Glauben, durch einfaches hingucken oder live Beobachten die Situation komplett erfassen zu können. Versteh‘ mich nicht falsch, natürlich kann man durch sehr aufmerksames Zuhören wirklich interessante Erkenntnisse gewinnen – aber eben nicht gleichzeitig genauso aufmerksam Aktionen des Anwenders verfolgen, seine Mimik analysieren und den Anwendungskontext erfassen.

Deshalb plädiere ich dafür, bei live Beobachtungen zum Beispiel mit unserer Software INTERACT oder LogSquare einfach abstrakte Marker zu setzen. Dann kannst Du später ganz leicht zu diesen wenigen Punkten springen und Dir in Ruhe anzuhören, was der Anwender genau gesagt hat. Du kannst Dir ansehen was er zehn Sekunden davor gemacht hat und eventuell sehen, dass er in den darauf folgenden 60 Sekunden ein Joy of Use Erlebnis hatte. Bei solchen Situationen stellst Du schnell fest, dass das gesagte eigentlich irrelevant ist, denn der Anwender führt offensichtlich etwas anderes aus, als das, worüber er gerade spricht.

Summa summarum: Ein Mitschreiben der Nutzerkommentare hätte in diesem Fall eventuell gar keine Erkenntnis gebracht. Faktisch ist die Live Situation aber für immer vorbei! Deshalb nehme ich Video auf und merke mir die relevanten Stellen einfach an. So kann ich es jederzeit reproduzieren. Die zehn Sekunden vor dem Ereignis offenbaren, warum der Anwender überhaupt eine Fehlentscheidung getroffen hat und wie das System trotz Anwenderfehler einen Joy of Use auslösen konnte.

Oft höre ich „wir haben keine Zeit uns die Videos anzusehen“. Das verstehe ich natürlich voll und ganz. Wer hier das falsche Werkzeug einsetzt, geht natürlich komplett im Video hin- und her-Spulen unter und hat null Nutzen. Macht man es aber mit einem Profi Werkzeug wie zum Beispiel mit unserem INTERACT, dann werden mehr und bessere Ergebnisse in kürzerer Zeit entstehen.

Eye Tracking nimmt an Bedeutung immer mehr zu. Ein tolles Verfahren – das auch schön bunte Bilder liefert. Ich bin nicht unbedingt ein Freund von Heatmaps, und freue mich stets über Eye Tracking Lösungen, die mehr Analyseverfahren anbieten als Heatmaps. Was bietet das Eye Tracking System von Mangold in dieser Hinsicht?

Für mich bietet Eye Tracking die Möglichkeit das darzustellen, was ich weder beobachten noch fragen kann. Nämlich die unterbewusste visuelle Wahrnehmung. Dabei klammere ich peripheres Sehen oder ähnliche kognitive Prozesse bewusst aus.

Wie bereits erwähnt, ist das Thema „Verkaufen“ auch für Usability Agenturen in vielerlei Hinsicht wichtig. Da können Heat-Maps gut helfen. Tatsächlich malt man aber bei einer Heat Map über das Bild. Das fand ich schon immer sehr merkwürdig, weil man ja nicht mehr sieht, was darunter ist. Deshalb haben wir in unserem MangoldVision System bereits vor Jahren eine andere Darstellung erfunden. Unsere Focus Maps dunkeln alle nicht betrachteten Bereiche ab, so dass der Focus auf dem liegt, was der Proband tatsächlich gesehen hat. Ein unglaubliches A-ha Erlebnis für jeden Webdesigner. Er sieht sofort, dass alle auf das hübsche Frauengesicht schauen, aber keiner den Produkttext liest.

Auch waren wir die ersten, die beliebige Fragebögen in den Prozess integriert haben, morphing Areas of Interest eingeführt haben und ähnliche coole Features. Dass das wirklich relevante neue Ideen waren hat sich schnell gezeigt, denn die wurden von anderen Herstellen zügig kopiert.

Ein zentraler Punkt ist sicherlich, dass auch der MangoldVision Eye Tracker ein Bestandteil der Mangold Lab Suite ist und damit komplett mit anderen Tools integriert werden kann. So lassen sich beispielsweise live Kodierungen in INTERACT und Videoaufzeichnungen des Probanden mit wenigen Mausklicks synchronisieren und auswerten, da die Tools der Mangold Lab Suite eben alle miteinander kommunizieren können.

Die Liste lässt sich noch lange fortführen, wobei ich aber wirklich auf unsere Homepage verweisen will, denn da gibt’s viel Detailinformation.

Wir – bei eResult – haben unseren Claim 2007 von „Ihr Usability-Partner“ in „Ihr Partner für optionale User Experience“ verändert. Grund: Unsere Kunden wollten von uns nicht mehr nur Empfehlungen zur Verbesserung der Usability. Sie wollten auch Anregungen zur Steigerung der Nutzungsfreude (Joy of Use) und Kundenzufriedenheit.

Wie reagiert Ihr auf diese Entwicklung – bietet Ihr beispielswiese Verfahren an, mit denen Emotionen gemessen werden können?

Unser Produktportfolio umfasst auch Physiologie Messgeräte, mit welchen grundsätzlich Emotion gemessen werden kann. Das ist nicht ganz einfach, denn ein „aufgeregt sein“, oder auch „arousal“ genannter Zustand kann ja sowohl positiv als auch negativ sein.

Weiterhin sind unterschiedliche Sensoren, wie beispielsweise Herzschlag, Atmung und Hautwiderstand unterschiedlich zu interpretieren. Die reagieren weder gleichzeitig noch gleich lang noch gleich heftig.

Wer hier weiß, was er macht, hat mit unseren Produkten prinzipiell leichtes Spiel, denn die Daten lassen sich mit Videoaufzeichnungen von VideoSyncPro ganz leicht synchronisieren. Dies ist absolut notwendig, denn ich möchte später ja wissen, zu welchem Zeitpunkt meines Videos welche Messwerte meiner Physiologie-Messung gelten. Das ganze kann ich dann mittels INTERACT und DataView schön synchron visualisieren. Nur so bekomme ich ein vollständiges Bild davon, was wirklich passiert ist: Ich sehe den Probanden aus unterschiedlichen Blickwinkeln in mehreren Videos, ich haben seine physiologischen Messwerte als Kurven vor mir, ich höre was er sagt, sehe alle meine inhaltlichen Kodierungen und Anmerkungen und habe noch Nutzereingaben oder andere Log-Daten, mit denen ich schnell zu den interessanten Stellen springen kann.

Alles zusammen in einer Tool-Umgebung und alles auf einer Zeitachse synchronisiert! Besser geht’s nicht.

Zum Schluss ein Blick in die Zukunft: Was kommt in sagen wir 3-5 Jahren „Neues“ rund um Lab-Technik und Analyse-Software auf uns zu, woran arbeitet Ihr gerade?

Da kann ich derzeit leider wirklich nicht aus dem Nähkästchen plaudern. Als ein Marktführer für Beobachtungslaborlösungen haben wir gelernt, dass unser Mitbewerb sehr gerne von unseren Ideen profitiert. Deshalb nur so viel: schau öfter mal auf unserer Homepage vorbei! Wir haben einige wirklich coole Sachen in der Pipeline, die das Erfassen und Auswerten von Daten noch aussagekräftiger und einfacher machen.

Vielen Dank für ein Interview der besonderen Art: Gehaltvolle Aussagen, konkrete Anregungen und Tipps. Qualität pur, ganz so wie eure Lösungen. Ich freue mich sehr auf weitere Beiträge von Dir hier auf Usabilityblog.de.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.