Nomen est Omen bei Expertenbasierten Evaluationen – Aber was macht den Experten aus?

Expertenbasierte Evaluation

Expertenbasierte Evaluation

Die Expertenbasierte Evaluation (engl.: Expert Review) ist eine der am häufigsten angewendeten Methoden zur Optimierung der Usability von Websites, Software, mobilen Anwendungen oder Geräten. Ein großer Vorteil dieser Methode ist, dass der Untersuchungsgegenstand bereits in sehr frühen Entwicklungsstadien evaluiert und optimiert werden kann. Bereits erste Entwürfe in Form von Sreens oder Scribbles reichen aus, um diese durch Experten analysieren und optimieren zu lassen. Daneben gibt es verschiedene weitere Anwendungsfälle für eine Expertenbasierte Evaluation, die jedoch nicht Gegenstand dieses Beitrags sein sollen. Vielmehr soll es darum gehen, was den im Methodennamen enthaltenen Experten eigentlich zu einem solchen macht. Was kennzeichnet einen Experten, der fundiert bewerten und konkrete Empfehlungen zur Optimierung aussprechen kann, unabhängig davon, um was für einen Untersuchungsgegenstand es sich handelt?

Die Methode
Zunächst einmal muss noch darauf hingewiesen werden, dass Expertenbasierte Evaluationen natürlich nie von einem Experten allein durchgeführt werden. Stets wird die Anwendung von 2 oder 3 Consultants getrennt bewertet, die Ergebnisse in einem Workshop diskutiert und Empfehlungen im Konsens abgeleitet. Dabei orientieren sie sich zum Einen an allgemein anerkannten Heuristiken (z.B. DIN EN ISO 13407, Usability-Heuristiken nach Nielsen & Molich) und prüfen, ob die zu untersuchende Anwendung mit diesen konform ist oder ob es Abweichungen gibt, die die Bedienbarkeit beeinträchtigen. Zum Anderen erfolgt der so genannte Cognitive Walkthrough. Die Experten versetzen sich in die Lage der späteren Nutzer und spielen typische Use-Cases, die sie zuvor identifiziert haben, auf diese Weise durch. Es wird geprüft, ob der Nutzer in der Lage sein wird, alle erforderlichen Handlungsschritte fehlerlos zu bewältigen, ob die zur Verfügung stehenden Optionen erkennbar sind, usw. . Alle identifizierten Probleme werden nach der Schwere gewichtet. Abschließend werden Empfehlungen zur Behebung dieser Probleme entwickelt.

Da hier also kein Nutzer direkt befragt wird, basiert das Ergebnis der Evaluation ausschließlich auf den Experten, die sie durchführen. Ihre verantwortungsvolle Aufgabe können sie nur dann optimal ausfüllen, wenn einige Voraussetzungen vorhanden sind.

Der Experte…
Ein Experte muss zunächst einmal die oben genannten Heuristiken kennen und anwenden können. Dafür sind grundlegende Kenntnisse zum Thema Usability erforderlich, die dazu auf die jeweilige Oberfläche angepasst werden müssen. Die Kenntnis der allgemein anerkannten Prüfkriterien ist jedoch unverzichtbar für eine Expertenbasierte Evaluation.

…kennt die Branche, …
Außerdem ist es für das Ableiten konkreter Empfehlung wichtig, ein gewisses Verständnis für die Branche aufbringen zu können. Dazu sollte der Experte informiert sein, welche Entwicklungen und Herausforderungen es aktuell gibt. Manchmal kann auch die Kenntnis neuer Gerichtsurteile oder sonstiger Bestimmungen wichtig sein. Das Branchenwissen kann helfen, Inhalt und Struktur der Anwendung zu verstehen und entsprechend zielgerichtet optimieren zu können.

…ist up-to-date…
Von einem Experten wird weiterhin erwartet, dass er auf dem neuesten Stand in Bezug auf Entwicklungen und vor allem Trends ist, die im jeweiligen Anwendungsbereich Relevanz haben (z.B. Online-Shopping, Mobile Commerce, etc.). So kann er nicht nur Vorhandenes besser beurteilen, sondern auch wertvolle Anregungen in Bezug auf die Weiterentwicklung des Untersuchungsgegenstandes geben. Dieses „Up-to-date“-sein erfordert natürlich eine kontinuierliche Beobachtung des Marktes und persönliche Weiterbildung. Denn gerade im Web geht die Entwicklung sehr rasch voran. Da heißt es „am Ball bleiben“ – im Interesse des Kunden.

…und kann sich in den Nutzer hineinversetzen.
Für die Güte und Relevanz einer Expertenbasierten Evaluation ist es unverzichtbar, dass der Experte in der Lage ist, den Nutzer und seine Intentionen zu verstehen. Im oben genannten „Cognitive Walkthrough“ soll der Experte die Anwendung aus Sicht des Endnutzers bedienen und dadurch Probleme aufdecken, die die Usability für die Zielgruppe einschränken. Um dieses Verständnis für die Denkweise und die Handlungen der Nutzer zu gewinnen und aufrechtzuerhalten, ist es zum Beispiel empfehlenswert, dass der Experte von Zeit zu Zeit selbst Nutzertests im Labor durchführt. Durch das Beobachten und Interviewen der Testpersonen, aber auch durch die Protokolle lauten Denkens, gelingt es dem Experten später sehr gut, eine Anwendung aus Sicht des Nutzers zu beurteilen und geeignete Empfehlungen abzuleiten.

Diese und weitere Merkmale sichern die Qualität einer Expertenbasierten Evaluation, die durch bloßes Abarbeiten von Checklisten so nicht gegeben wäre. Eine zielführende Bewertung und Optimierung durch Experten ist also anspruchsvoller, als man vielleicht meinen würde. Das Ergebnis der Evaluation (im Sinne der Zielsetzung) wird sich in diesem Anspruch jedoch widerspiegeln.

Wie ist Ihre Meinung zum Thema? Welche Eigenschaften eines „echten“ Experten würden Sie ergänzen?

2 Gedanken zu „Nomen est Omen bei Expertenbasierten Evaluationen – Aber was macht den Experten aus?

  1. Pingback: Nutzermeinungen als Schlüssel zum Erfolg – Gegenüberstellung verschiedener Methodenansätze | usabilityblog

  2. Pingback: So führen Sie Usability-Reviews für Ihren Shop durch | ePages

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *