Expertenevaluation: Wie setze ich sie richtig ein?

Zu den beliebtesten Methoden der Usability-Evaluation gehört die Expertenevaluation. Sie ist eine der am häufigsten eingesetzten Methoden. Die Gründe dafür sind vielfältig, die Methode benötigt keine Forschungsinfrastruktur, Ergebnisse sind schnell verfügbar, sie ist unabhängig von Probanden und sie ist zudem im Budget in der Regel unterhalb eines Use-Labs anzusiedeln. Die Methode im eigenen Unternehmen durchzuführen hat allerdings auch ihre Tücken, so können Tester befangen sein und unterliegen schwerwiegenden Denkfehlern, die sich negativ auf die Qualität der Testergebnisse auswirken.

Die Durchführung der Methode kommt ohne Tools aus, braucht wenig Vorbereitung und ist in der Durchführung einfach. Eine unabhängige Person versetzt sich so gut es geht in die Lage des Nutzers und bewertet den Untersuchungsgegenstand. Dabei werden zwei unterschiedliche Herangehensweisen unterschieden.

Cognitive Walkthrough: Beim Cognitive Walkthrough, ein aufgabenbasierter Ansatz, versetzt sich der Experte in die Lage des Nutzers, um die häufigsten und wichtigsten Usecases aus Nutzersicht durchzuspielen. Das impliziert, dass die Nutzergruppe bekannt ist und sich der Usability-Experte nicht nur mit der Zielgruppe auseinandergesetzt hat, sondern sich auch in diese hineinversetzen kann. Um das zu erreichen helfen beispielsweise Personas, Empathy Maps und vor allem die von Spencer (2000) vorgeschlagenen Fragen:

1. Wird der Nutzer wissen, was er in diesem Schritt tun muss?
2. Wenn der Nutzer diesen Schritt richtig gemacht hat, wird er wissen, ob er den richtigen Schritt gemacht hat und auf dem richtigen Weg zur Zielerreichung ist?

Die Analyse der Usability-Probleme basiert daher zum einen auf dem Wissen der Experten über die Usability-Probleme allgemein, als auch über die Fähigkeit sich in den Kunden hineinzuversetzen und das Wissen um den Kunden selbst.

Heuristische Evaluation: Im Gegensatz zum Cognitive Walkthrough ist die heuristische Evaluation ein richtlinienbasierter Ansatz und basiert auf Kriterienkatalogen von Richtlinien wie z. B. nach Nielsen und Molich (1994) oder der DIN EN ISO 9241-10 (1996). Der Kriterienkatalog von Nielsen und Molich sieht zum Beispiel so aus:

1. Sichtbarkeit des Systemstatus
2. Übereinstimmung von System und realer Welt
3. Benutzerkontrolle und Freiheit
4. Konsistenz und Standards
5. Fehler vermeiden
6. Erkennen vor Erinnern
7. Flexibilität und effiziente Nutzung
8. Ästhetisches und minimalistisches Design
9. Unterstützung beim Erkennen, Verstehen und Bearbeiten von Fehlern
10. Hilfe und Dokumentation

Beide der Methoden werden häufig als Expertenevaluation bezeichnet, auch wenn sie unabhängig voneinander durchgeführt werden. Die Methode kann, richtig eingesetzt, viele Probleme aufdecken und bietet einen guten Startpunkt, um die größten Stärken und Schwächen einer Website zu erkennen. Doch darin liegt die Schwierigkeit der Methode: der richtige Einsatz. Einer der Kritiker am Einsatz der Methode ist einer der Begründer, Rolf Molich. Er ist der Ansicht, dass die Methode deshalb falsch eingesetzt wird, weil sie als Ersatz für die eigentlichen Nutzertests gesehen wird, anstatt sie als ergänzendes Instrument zu nutzen. Ich stimme hier voll und ganz zu, dass die Expertenevaluation, wenn sie als einzige Methode angewendet wird, zwar Probleme aufdecken wird, aber zum Teil auch Probleme nicht finden wird oder Probleme aufdeckt, die nicht vorhanden sind.

Verstehen Sie mich nicht falsch: eine Expertenevaluation ist besser als die Usability vollkommen außen vor zulassen; es wird funktionieren, aber sollte auf lange Sicht nicht unabhängig von anderen Methoden angewendet werden. Über ähnliche Ansichten haben bereits andere Kollegen ausführlicher geschrieben, siehe zum Beispiel hier.

Was sind die Tücken, wenn Sie die Methode als unabhängige Methode nutzen?

Beide Methoden implizieren das Heranziehen von mentalen Modellen der Nutzer und Heuristiken. Das bedeutet, dass ein Teil der Evaluation Erfahrung ist und ein Teil Bauchgefühl, oftmals zu viel Bauchgefühl. Das ist die Schattenseite, die bei der Nutzung von mentalen Modellen und Heuristiken entsteht: Fehler, die in der Nutzung des Bauchgefühls entstehen, Biases (kognitive Verzerrungen).

Meiner Meinung nach spielen unter anderem folgende Biases eine größere Rolle:

• Bestätigungsfehler: die Tendenz eher nach Informationen zu suchen und zu interpretieren, die den eigenen Erwartungen entsprechen. Mein eigenes mentales Modell kann vollständig von dem des Kunden abweichen und trotzdem werden Informationen gesucht, die dem entsprechen, was dem eigenen mentalen Modell entspricht und den eigenen Standpunkt bestätigen.
• Déformation professionelle: das eigene Berufsbild wird auch auf andere Bereiche angewendet. Zwar könnte man sagen, dass die Aufgabe eines UX-Experten ist, die Nutzer zu verstehen. Andererseits entsteht hier auch ein Spannungsfeld, da es auch die Aufgabe ist, die Technologien zu verstehen, das macht es schwer, sich in den Nutzer hineinzuversetzen, der die Technologie nicht versteht, weil der Kunde unter Umständen weniger Berührungspunkte mit der Technik selbst hat.
• Halo-Effekt: Das Gesamtbild der Website hat einen Einfluss auf andere Faktoren, so kann ein gutes Design und ein guter erster Eindruck der Seite auch über schlechte User Experience hinwegtäuschen. Wirkliche Probleme ergeben sich dann erst aus der Beobachtung des Nutzers in seinem Umfeld.

Wenn man sich diese Effekte ins Bewusstsein ruft und auch während der Expertenevaluation im Hinterkopf behält, können diese sicher zur besseren Erhebung beitragen sowie hochwertigere und vielfältigere Erkenntnisse bringen.

In der Vergangenheit habe ich erlebt, wie die Methode in Unternehmen selbst angewendet wird, in dem das Produkt oder die Software selbst erstellt wurde. Dabei spielen noch weitere Faktoren eine Rolle, die das Bild zusätzlich verzerren können:

• Selbstwertdienliche Verzerrung: Um ein positives Selbstbild zu erhalten, werden Misserfolge externen Ursachen zugeschrieben. Das spielt insofern eine Rolle, dass Misserfolge unter Umständen verharmlost werden und das mentale Modell verfälschen.
• Gruppendenken: In einer Gruppe besteht oft Konformität über die Annahme wie es sein soll, da jede beteiligte Person ihre Meinung an die erwartete Gruppenmeinung anpasst. Oft hat man die gleichen Annahmen darüber wie ein Nutzer zu funktionieren hat, wie die Person, die auch das Konzept für ein Feature oder auch eine ganze Website gestaltet hat. Während die Person unter normalen Umständen die Meinung ablehnen würde, wird sie hier den Annahmen über den Nutzer zustimmen.
• IKEA-Effekt: Wenn das Produkt selbst geschaffen wurde, dann wird ihm ein höherer Wert beigemessen als einem Produkt, das ein anderes Team oder eine andere Firma erschaffen hat.

Diese Liste ist mit Sicherheit keine vollständige Liste, selbstverständlich spielen auch noch andere Verzerrungen eine Rolle in der Bewertung. Es läuft darauf hinaus, dass die Expertenevaluation konstruktivistisch ist und man als Experte nur Annahmen über die mentalen Modelle des Nutzers machen kann, ohne die Möglichkeit sie zu überprüfen. Die Schlussfolgerung dessen ist, dass es keine objektive User Experience gibt, sondern, dass verschiedene Nutzer eine unterschiedliche Meinung vertreten und verschieden Probleme haben.

Wie setze ich die Methode korrekt ein?

Um die Ergebnisse so objektiv wie möglich zu machen, sollten folgende Punkte berücksichtigt werden:

1. Nutzen Sie mehrere Sets von Heuristiken (siehe oben).
2. Nutzen Sie sowohl den Cognitive Walkthrough als auch die Heuristische Evaluation.
3. Die Person, die den Untersuchungsgegenstand evaluiert, sollte noch nicht damit in Berührung gekommen sein und so wenig Bezugspunkte als möglich haben.
4. Nutzen Sie mehrere Experten, die den Gegenstand evaluieren – das können auch 3 bis 5 Experten sein. Diese sollten um ein Gruppendenken zu vermeiden, den Testgegenstand unabhängig voneinander bewerten und die Ergebnisse im Anschluss zusammentragen.
5. Der durchführende Experte sollte sich sowohl in dem Bereich des zu evaluierenden Gegenstands auskennen, als auch fundierte Kenntnisse der Mensch-Maschine-Interaktion haben.
6. Und das wichtigste: Nutzen Sie die Expertenevaluation nicht als Ersatz für Nutzertests. Sie werden vielleicht Probleme finden, die keine Probleme sind oder Probleme nicht finden, die ein großes Hindernis für den Nutzer darstellen. Die Methode sollte als ein erster Anlauf dienen, um größere Hürden aufzudecken und als Ergänzung oder Vorbereitung auf andere Methoden. Die Expertenevaluation eignet sich daher sehr gut zur Generierung von Hypothesen.

Fehlende Priorität

Ein weiteres Problem der der Expertenevaluation ist, dass die Ergebnisse nur schwer zu priorisieren sind. Die Priorität ergibt sich vereinfacht aus der Häufigkeit und der Relevanz. Während sich die Häufigkeit in den meisten Usability-Tests als einfacher Anteil aus dem Problemauftreten ergibt, scheint die Schwere häufiger schon komplizierter einzustufen. Auch hier haben sich einige Usability-Größen den Kopf zerbrochen und versucht, die Priorisierung zu objektivieren (Nielsen, Rubin, Dumas uvm.). Letzten Endes beruhen diese allerdings auf einer subjektiven Einschätzung des Problems. Bei der Expertenevaluation wird zusätzlich auch die Häufigkeit des Problems auf eine subjektive Einschätzung des Experten gebracht und das gesamte Rating wird subjektiv.

Fazit

Obwohl die Methode nicht perfekt ist, gibt es Umstände, unter denen sie Sinn macht. Anhand der Expertenevaluation können erste große Fehler sichtbar gemacht werden und es kann eine Grundlage für eine Testroadmap geschaffen werden.

Um sie möglichst gut einzusetzen, sollten die gefundenen Probleme vor allem nachträglich verifiziert werden. Die Expertenevaluation sollte daher immer mit anderen Methoden einhergehen. Z. B. kann ein klassischer Lab-Test mit geschulten Interviewern die mentalen Modelle der Nutzer tatsächlich zu Tage bringen oder die Auswertung von Verhaltensdaten, die in der Expertenevaluation gefundenen Ergebnisse, verifizieren oder widerlegen.