Work Load – Frust und Überforderung im Kontext der Usability-Evaluation messen

Usability-Optimierung hat zum Ziel, frustrierende und negative Erfahrungen während der Interaktion zu vermeiden. Einfache und intuitive Bedienbarkeit führt zu Zufriedenheit und erhöht die Wahrscheinlichkeit von Wiederbesuch und Kundenbindung. Diese empfundene Einfachheit steht in engem Zusammenhang mit dem kognitiven und emotionalen Aufwand, der eingesetzt werden muss, um das beabsichtigte Ziel der Interaktion zu erreichen. Da Usability zunehmend als Erfolgsfaktor vor allem auch im eCommerce berücksichtigt wird und einfache Bedienung dadurch selbstverständlich wird, sinkt die Schwelle der akzeptierten Anstrengung. Aufwand, Anstrengung, Frustration: diese Aspekte lassen sich unter dem Faktor Work Load oder Arbeitsbelastung zusammenfassen und messen.

Was hat der Work Load mit Usability zu tun?

Stellen Sie sich vor, jemand sucht auf der Seite der örtlichen Verwaltung nach Informationen, um einen Antrag für einen Führerschein zu stellen. Am besten will er gleich den entsprechenden Antrag herunterladen. In einer Viertelstunde muss er zu einer Verabredung und will vorher schnell noch suchen. Die Navigation enthält keinen eindeutigen Link, der zu dem passenden Ressort führen könnte. Nach mehreren Versuchen kommt der Suchende zu einem alphabetischen Zugang, wählt V für Verkehr und findet auch hier nicht den passenden Link. Er ist jetzt schon ziemlich frustriert und versucht es mit der Onsite-Suche. Es erscheint nun endlich ein geeigneter Treffer und er findet Informationen zu den Ansprechpartnern, den Öffnungszeiten und den notwendigen Unterlagen für die Antragstellung. Leider steht an dieser Stelle der Antrag nicht zum Download bereit. Er hat jetzt noch zwei Minuten. Über die Suche findet er die Formularseite, die wieder einen alphabetischen Zugang anbietet, klickt auf F für Führerschein und bekommt eine Fehlermeldung. Jetzt hat er keine Lust mehr und auch keine Zeit und bricht ab.

Es ist klar, dass die Usability auf dieser Webseite problematisch ist. Aber wie hängt das mit dem Work Load zusammen? In diesem Beispiel ist der Nutzer auf mehreren Ebenen belastet. Einmal steht er unter Zeitdruck und das erhöht den Stress bei der Suche. Er hat den Anspruch, in einer Viertelstunde die Informationen und den Antrag zu finden und misst seine Leistung an dieser Vorgabe. Inwiefern er seinem eigenen Leistungsanspruch genügt, ist ebenfalls ein Belastungsaspekt. Die unbefriedigende Navigation auf der Seite bedeutet zudem eine kognitive Belastung, weil der Suchende immer wieder neu überlegen muss, unter welchem Navigationspunkt und Buchstaben die Information zu finden sein könnte. Durch die fehlende Downloadmöglichkeit des Antrags auf der Seite des Ressorts muss der Nutzer nochmal weiter suchen und dies bedeutet eine weitere Anstrengung. Die emotionale Belastung ist zudem im Verlauf der Suche hoch. Der Zeitdruck bedeutet Stress. Da die Information erst nach mehreren Versuchen gefunden wird, erlebt der Nutzer Frustration und auch die erfolglose Suche nach dem Antragsformular bedeutet eine emotional negative und frustrierende Erfahrung.

Es ist anzunehmen, dass der Nutzer im Beispiel seinen eigenen Work Load sehr hoch einschätzen würde. Wenn die Belastung hoch ist, dann ist die Wahrscheinlichkeit eines Abbruchs ebenfalls sehr hoch. Der Work Load kann also auch als ein Abbruchindikator gesehen werden. Usability-Probleme werden häufig unter dem Aspekt priorisiert, ob dieses Problem zum Abbruch der Interaktion führen kann. Vor diesem Hintergrund ist die Messung des Work Load ein Instrument, das die Priorisierung von Usability-Problemen unterstützen kann.

Wie lässt sich der Work Load messen?

Zwei für die Praxis geeignete Arten von Methoden zur Messung des Work Load lassen sich unterscheiden. Einmal können psychophysiologische Methoden eingesetzt werden. Sie messen zum Beispiel die Herzfrequenz, die Gehirnaktivität oder die Augenaktivität und versuchen darüber auf die Belastung und Anstrengung zu schließen. Auch der Hautleitwiderstand deutet sich als geeigneter Indikator an. Hier soll es aber zunächst um die zweite Form der Messung des Work Load gehen: die Selbsteinschätzung über Befragungsinstrumente. Es wird im Folgenden ein Tool vorgestellt, das für den Einsatz im Projektalltag einige Vorteile bietet: Der NASA-TLX.

Der NASA Task Load Index (NASA-TLX) wurde von Hart und Staveland vorgestellt. Der Work Load wird über sechs Dimensionen gemessen: geistige Anforderung, physische Anforderung, zeitliche Anforderung, Leistung, Anstrengung und Frustration. Diese Dimensionen wurden aus einer Menge von 19 Kandidaten als besonders sensitiv für Manipulationen des Work Load herausgefunden. Sie werden durch Beschreibungen konkretisiert und über Skalen mit geeigneten Ankerpunkten gemessen. Zusätzlich zur so erfassten Selbsteinschätzung bewerten Probanden auch die Relevanz der Dimensionen für die vorliegende Aufgabe. Die Dimensionen werden hierbei paarweise präsentiert und der Proband gibt jeweils an, welche der beiden Dimensionen sein Erleben der Arbeitsbelastung im konkreten Anwendungsfall besser erfasst. Die Bewertungen innerhalb der Dimensionen werden dann nach Relevanz gewichtet und darüber ein globaler Wert errechnet. Die Qualität der Messung steigt und fällt hier damit, wie gut Probanden die Dimensionen und was mit ihnen erfasst werden soll, verstehen. Die genaue Lektüre der Beschreibungen zu den Dimensionen und die Beseitigung von Unklarheiten durch den Versuchsleiter sind hier besonders wichtig. Die Gewichtung der Dimensionen ermöglicht dann die Anpassung der Work Load Messung an die konkrete Aufgabe. Dieser Teil kann aber zur Vereinfachung auch durch eine Experteneinschätzung ersetzt werden. Zur Erhebung und Berechnung des Work Load mit dem NASA-TLX steht ein Online-Tool in deutscher Sprache zur Verfügung.

Der NASA-TLX verfolgt also ein multidimensionales Konzept zur Messung des Work Load und erfasst damit das Konstrukt in seiner Vielschichtigkeit. Der Anwendungskontext war zunächst die Luft- und Raumfahrt. Das Tool wurde aber inzwischen in vielfältigsten Kontexten eingesetzt, unter anderem auch im Bereich Automobil und der Nutzung von Computern. Im Vergleich zu anderen verbreiteten Tools wie der Subjective Workload Assessment Technique (SWAT) weist der NASA-TLX eine vergleichbar gute Sensitivität auf. Deutliche Vorteile sind bei der einfachen Anwendung erkennbar. Dies ist insbesondere von Vorteil, wenn der Work Load mehrmals nach Aufgaben gemessen wird. Der Testablauf wird dann nicht zu sehr unterbrochen. Vor diesem Hintergrund erscheint der NASA-TLX als ein sehr praxistaugliches Tool.

NASA-TLX: Potential für den Projektalltag

Wir bei eResult haben bisher den NASA-TLX nicht eingesetzt, werden das aber in einer anwendungsorientierten Grundlagenstudie nun tun und darüber hier im Blog berichten.

Unsere ersten Ideen zu den Einsatzmöglichkeiten …

Einsatzmöglichkeiten zeigen sich zum einen, wenn es um den Vergleich von zwei Alternativen geht. Hier kann es interessant sein, über die Messung des Work Load eine weitere objektive Bewertungsgrundlage dafür zu haben, ob es Unterschiede im Erleben von Frustration und Überforderung gibt. Gegenüber anderen, mehr auf die Usability-Kriterien bezogenen Instrumenten, liegt der Vorteil des NASA-TLX in der direkten Messung von Abbruchindikatoren. Bei zwanzig bis 25 Probanden kann bei wiederholter Messung des Work Load hierfür eine gute Datengrundlage erreicht werden. Der direkte Vergleich der Work Load Daten ermöglicht dann eine genauere Einschätzung der Unterschiede unter diesem Aspekt. Dabei können auch verschiedene Bereiche der beiden Lösungen gesondert bewertet werden, wenn der Work Load mehrmals etwa für verschiedene Use Cases gemessen wird. Qualitative Erkenntnisse werden ergänzt und möglicherweise untermauert, wobei differenziertere Analysen weiterhin ein Abwägen von Vor- und Nachteilen sicherstellen.

Aber auch Use Cases innerhalb der Evaluation eines einzelnen Produktes können auf den Grad der Anstrengung und Frustration getestet werden. Daten aus dem NASA-TLX sind dann ein Anhaltspunkt dafür, wie nah Probanden während der Interaktion an einem entnervten Abbruch sind und wie hoch demnach der Handlungsbedarf in diesem Bereich ist.

Es lassen sich also Anwendungsfelder finden, wie die Messung des Work Load in Projekten eingesetzt werden kann. Eine Herausforderung liegt in der Zuordnung von Interaktionsbereichen zu Messwerten des Work Load. Je näher diese Messwerte an einen Kontext geknüpft werden, desto konkreter können Problembereiche priorisiert werden. Problematisch ist es, dass der Ablauf der Interaktion mehrmals für die Erhebung des Work Load unterbrochen werden muss. Tests haben zumeist keinen streng standardisierten Ablauf. Er wird an den natürlichen Handlungsfluss des Probanden angepasst. An welcher Stelle soll dann der Fragebogen eingesetzt werden? Vieles muss also in der Praxis noch erprobt werden, um das Potential der Work Load Messung nutzen zu können.

Wir werden das in den kommenden Wochen tun – und darüber berichten. Damit lassen wir Sie an unseren Erfahrungen teilhaben.

Vielleicht haben auch Sie schon Erfahrungen mit dem Einsatz von Befragungsinstrumenten im Rahmen von Usability-Evaluationen? Welche Ideen haben Sie zur Messung des Work Load und den Einsatzmöglichkeiten in Usability-Tests? Ich bin gespannt auf Ihre Kommentare.