Welche Usability-Methoden gehören heutzutage in die Toolbox eines (Web-) Usability-Professionals?

Werkzeug auf einem Tisch aufgereiht.

Hört man den Begriff Usability, so denkt man meist an die klassischen Methoden wie den Usability-Test im Labor mit Probanden oder eine Expertenbasierte Evaluation (auch Expert Review) genannt. Doch dies ist nur die Spitze des Eisbergs. Der Werkzeugkasten eines Usability-Professionals bietet weitaus mehr Methoden, die je nach Fragestellung, Art und Entwicklungsstand des Testobjektes, Zielgruppe, Kontext, etc. ihren Einsatz finden. Siehe hierzu unter anderem den Beitrag „Die Frage aller Fragen: Wann welche Methode“. Denn die Auswahl der richtigen Methode ist teilweise alles andere als trivial. Aber dies soll nicht Gegenstand dieses Beitrags sein. Der vorliegende Beitrag liefert einen Überblick über die in der Praxis gängigen Usability-Methoden inkl. einer kurzen Erläuterung.

Methodenüberblick

Die nachfolgende Liste zeigt eine Übersicht über die gängigsten Usability-Methoden in Literatur und Praxis – mit dem Fokus auf Web-Usability. Sie hat keinen Anspruch auf Vollständigkeit. (Schon allein die zahlreichen Variationen grundlegender Methoden und die unzähligen Synonyme machen dies nahezu unmöglich.)

1.) Aufgabenanalyse (Task Analysis)

Die Ergebnisse der Aufgabenanalyse bilden die notwendige Grundlage für einen nutzerzentrierten Entwicklungsprozess. Bei der Aufgabenanalyse steht der Einsatzbereich der Website im Vordergrund. Es werden die typischen Aufgaben mit ihren Prioritäten sowie die dazu notwendige Qualifikation der Anwender analysiert. Weiterhin gilt es, die typische Zielgruppe, deren Verhaltensmuster  und ihre Charakteristiken zu ermitteln. Aus all diesen Angaben werden später Modelle (z. B in Form von Szenarien oder Use Cases) erstellt, um Raum für Verbesserungen aufzeigen.

2.) Contextual Inquiry

Ein geschulter Interviewer befragt und beobachtet den Anwender im natürlichen Anwendungskontext und befragt ihn anhand eines strukturierten Interviewleitfadens. Die Anwender werden bei der Lösung von typischen Aufgaben beobachtet, zu ihrer Bewertung der Anwendung befragt und ihre Vorgehensweise bei der Aufgabenbearbeitung diskutiert. Die Datenerhebung und -analyse umfasst Aspekte, die im Testlabor verborgen bleiben: Einflüsse der natürlichen Umgebung des Anwenders auf die Nutzung, Studium der Artefakte (z.B. EDV-Ausstattung, Arbeitsgeräte) und Interaktionen mit Kollegen, Familie, Freunden usw.

3.) Fokusgruppen

Fokusgruppen sind eine Technik aus der klassischen Marktforschung, die auch im Usability Engineering ihre Anwendung findet. Dabei diskutieren potentielle Benutzer aus einer homogenen Zielgruppe in einer von einem neutralen Moderator geleiteten Gruppendiskussion über (neuartige) Konzepte und erarbeiten unter Anwendung von Kreativtechniken gezielte Optimierungsvorschläge bzw. Ideen zur (Weiter-)Entwicklung. Entscheidend ist, dass zuvor Themen und Aspekte festgelegt werden. Diese Diskussion kann sowohl offline als auch online erfolgen.

4.) Nutzertagebücher

Mit einem Nutzertagebuch werden grundlegende Daten über eine Zielgruppe oder den Umgang mit einem Produkt / einer Anwendung gewonnen. Dabei dokumentieren die Studienteilnehmer ihr Verhalten über einen längeren Zeitraum hinweg in einem Tagebuch. Dieses „Tagebuch“ kann verschiedene Formen zur Erfassung und Übermittlung der Daten annehmen: Papiertagebücher, Handys und PDAs, Onlinefragebögen, Messengersysteme, etc.

5.) Online-Befragungen

  • Onsite-Befragung: Anhand eines Layers werden die Besucher einer Website zur Teilnahme an einem Online-Fragebogen eingeladen. Diese Art der Befragung wird hauptsächlich während/nach der Nutzung des Internetangebotes zur Bestimmung von Nutzerstruktur/-intentionen eingesetzt.
  • Panelbefragung: Hierbei wird in einem Online-Access-Panels die gewünschte Zielgruppe abgebildet und anhand eines Online-Fragebogens befragt. Möglich sind hier beispielsweise Anforderungs-, Zufriedenheits- und Benchmarkinganalysen.

6.) Personas

Personas sind archetypische Nutzermodelle, die Personen aus der Zielgruppe in ihren Merkmalen charakterisieren. Sie helfen dem Entwicklerteam aufgrund Ihrer umfangreichen Beschreibung, sich in die Lage der potentiellen Nutzer zu versetzen und diese Perspektive während des gesamten Designprozesses leicht vertreten zu können. Sie werden mit einem Namen, einem Gesicht, einer Funktion, einem Werdegang und einem Privatleben versehen. Personas verfügen über Ziele und Verhaltensweisen, haben Vorlieben und Erwartungen.
Um sie entwickeln zu können, bedarf es vorerst anderer quantitativer und qualitativer Methoden, um geeignete Nutzerdaten erheben zu können, wie beispielsweise Online-Befragungen oder Interviews. Liegen diese Daten vor, lassen sich durch Segmentierung- und Clusteranalyseverfahren sog. Kern- und Randpersonas, die Hauptnutzergruppen und deren Untergruppen repräsentieren, ermitteln.

7.) Remote Usability Tests

  • Asynchrone Remote Usability Tests ermöglichen anhand eines speziellen Softwaretools eine automatisierte und ortsungebundene Bewertung einer Website durch Nutzer in ihrer gewohnten Umgebung. Die Nutzer werden anhand von kleinen Aufgaben und Fragen über das Web-Angebot geleitet werden. Das Tool sammelt hierbei sowohl Mausklicks und Navigationspfade (visualisiert sowohl durch Clickstreams als auch durch Screenshots) als auch die Antworten und Kommentare der Testpersonen.
  • Der synchrone Remote Usability Test versucht, die Methode des klassischen Usability-Tests im Labor über das Internet auszuweiten und zu den Testpersonen nach Hause zu transportieren (mithilfe eines Online-Meeting-Tools). Somit ist es möglich die Testpersonen über eine Webkamera zu beobachten, über eine VoIP-Verbindung mit ihnen zu kommunizieren und ihre Bildschirmaktivitäten zu verfolgen.

8.) Expertenbasierte Evaluation

In der Regel ist die Expertenbasierte Evaluation (auch Expert Review) eine Kombination aus der Heuristischen Evaluation und dem Cognitive Walkthrough.
Im Rahmen der Heuristische Evaluation bewerten mehrere Experten unabhängig voneinander die Gebrauchstauglichkeit einer Anwendung anhand anerkannter Usability Prinzipien – den Heuristiken.
In der Vorbereitungsphase machen sich Experten mit dem Produkt und dem Nutzungskontext vertraut. Sie nehmen gewissermaßen die Rolle des Nutzers ein. Danach prüft jeder Experte zunächst für sich allein die Anwendung. Zum Schluss vergleichen alle Experten ihre Ergebnisse, ordnen die gefundenen Probleme nach Häufigkeit und Schwere (Severity Rating) und erarbeiten Lösungsvorschläge. Neben den klassischen Heuristiken nach Nielsen existieren unzählige weitere Regeln/Checklisten nach denen sich evaluieren lässt.
Beim Cognitive Walkthrough identifizieren und analysieren Usability-Experten alle Schritte, die für die Nutzung einer Anwendung notwendig sind. Mehrere Experten spielen dabei typische Nutzeraufgaben in der vorgegebenen, korrekten Weise durch (Szenario). Sie beurteilen, ob der Nutzer später in der Lage sein wird, die Handlungsschritte und die Verfügbarkeit des jeweils nächsten Handlungsschritts zu erkennen. Zudem wird geprüft, ob der Nutzer die richtigen Aktionen ausführen kann und den Fortschritt seiner Handlung erkennt.

9.) Card-Sorting

Ein Card-Sorting-Test dient der Entwicklung verständlicher Informationsarchitekturen z.B. zur Optimierung des Navigationskonzeptes. Hierbei fassen Nutzer Kärtchen mit Begriffen (=Bezeichnung von Unterrubriken) zu Gruppen zusammen. Man unterscheidet grundsätzlich 2 Methoden: Beim geschlossenen Card-Sorting werden die Begriffe vorgegebenen Kategorien zugeordnet, beim offenen Card-Sorting bilden die Nutzer eigene Kategorien, die die späteren Hauptrubriken darstellen (sollen).
Bei einem mehrstufigen Card-Sorting werden die im ersten Durchgang gebildeten Gruppen später noch weiter zusammengefasst. Vor dem Sortieren kann zusätzlich die Verständlichkeit der Begriffe abgefragt werden (Wording-Analyse).

10.)Usability-Test im Labor

Der klassische (Szenario-basierte) Nutzertest, auch Labortest oder Usability-Test genannt,  ist die wohl bekannteste Methode zur Evaluation der Gebrauchstauglichkeit. Dabei testen Nutzer aus der spezifischen Zielgruppe einen Prototyp auf Schwachstellen und Verbesserungsmöglichkeiten (induktiver Test) oder eine bestehende Anwendung auf das Erreichen einer bestimmten Leistungsfähigkeit (deduktiver Test).
In den Testsessions, die meistens in einem Usability-Labor stattfinden, bearbeiten die Probanden typische Aufgaben, die die Kernfunktionalitäten der Anwendung wiederspiegeln. Während der Aufgabenlösung werden die Testpersonen von einem erfahrenen Usability-Experten beobachtet (teilnehmende Beobachtung). Gleichzeitig werden die Probanden meistens gebeten, ihre Probleme bei der Bedienung der Website zu verbalisieren, damit die hinter den Aktionen liegenden Motivationen deutlich werden (siehe: Methode des Lauten Denkens).
Nebenbei erfolgt oft eine Videoaufzeichnung der Testpersonen und deren Kommentare, sowie des Bildschirms für spätere Analysen. Abhängig vom Testdesign findet nach dem Test noch eine qualitative Nachbefragung statt. Die Einbindung einer Blickverlaufsmessung (Eye-Tracking) ist möglich.

11.) Rapid Prototyping

Beim Test von Prototypen handelt sich in der Regel um szenario-gestützte Testsessions mit einer geringen Anzahl an Nutzern (siehe Usability-Test im Labor). Als Testmaterial liegen einfache, in der Regel bedingt-funktionale Prototypen vor. Die Testpersonen nutzen diese Prototypen so, wie sie später die Anwendung nutzen würden, „denken laut“ und zeigen dabei auf Stellen, die sie anklicken würden.
Beim Rapid Prototyping wird ein Prototyp in mehreren Stufen getestet. Nach jeder Teststufe oder aber bereits während des Tests wird der Prototyp optimiert. Es werden iterativ Untersuchungs- und Optimierungstage angesetzt (z.B. Tag 1: Testsessions mit anschließender Ergebnisdiskussion, Tag 2: Optimierung des Prototyps, Tag 3: Wiederholung der Testsessions, usw.).

12.) Eye-Tracking

Durch eine im bzw. vor dem Monitor platzierte Infrarottechnik (abhängig vom System) ist es während einer Eye-Tracking-Sitzung möglich, sämtliche relevanten Daten wie Augenbewegungen (Fixationen/Sakkaden), Blickverläufe, aber auch Mausbewegungen und Klicks zu erfassen. Dadurch lassen sich u.a. das Suchverhalten und die Aufmerksamkeitsdauer einer Testperson bei der Nutzung einer Anwendung ermitteln.
Kombiniert mit Beobachtungs- und Befragungsdaten unterstützen Blickbewegungs-/ Blickverlaufsmessungen die Interpretation des Nutzerverhaltens und liefern wertvolle Hinweise auf inhaltliche und gestalterische Optimierungsansätze.

13.) Web-Analytics

Ein Web-Analytic-Tool untersucht typischerweise, woher die Besucher kommen, welche Bereiche auf einer Internetseite aufgesucht werden und wie oft und wie lange welche Unterseiten und Kategorien angesehen werden. Zur Sammlung und Auswertung des Nutzungsverhaltens werden verschiedener Verfahren (Logdatei, Cookies, Pixel & Tags, …) eingesetzt. Durch das definiren bestimmter Klickstrecken können individuelle Reports erstellt werden (Funnel-Analyse).
Grundlegend kann bei Web Analytics zwischen Auswertungsverfahren zur permanenten Erfolgsmessung und Methoden zur Auffindung von Schwachpunkten auf der Website unterschieden werden.

14.) Multivariate Tests (MVT)

Wird beim A/B-Test auf einer Website nur ein Element wie z.B. ein Bild verändert und getestet, erfolgt beim Multivariaten Test hingegen eine Ausweitung auf mehrere Elemente. Diese werden zur selben Zeit und in verschiedenen Ausprägungen getestet. Bei multivariablen Testverfahren geht es darum herauszufinden, welche Zusammenstellung aus den verschiedenen Elementen am meisten Erfolg bringt.
Wichtig ist hierbei, dass es für jedes einzelne Testelement eine Hypothese gibt, die dann im Testaufbau in den einzelnen Testmodulen und deren Ausprägungsformen widergespiegelt wird. Um die Hypothese zu bestätigen, benötigt es zudem eine geeigneten Zielgröße, mit derer der Erfolg belegt werden kann. Im Prinzip sind Multivariate Tests somit mehrfache und parallele A/B-Tests.

Weiterführende Links / Quellen

Wer online noch weitere Informationen zu den einzelnen Methoden einholen möchte, dem sind u.a. folgenden Websites („Toolboxen“)zu empfehlen:

 

Heutzutage nicht mehr wegzudenken: Web-Analytics und Multivariate Tests (MVT)

Hervorzuheben sind heutzutage sicherlich die beiden Methoden/Tools: Web-Analytics und Multivariate Test (MVT) aufgrund Ihres Nutzens für Usability-Experten.

Web-Analytic-Tools machen es einem Usability Professional leicht potentielle Problembereiche aufgrund von Abbruchzahlen (aus dem Tracking-Tool) zu identifizieren und diesen dann im Nachgang mit anderen Methoden, wie z. B. einem Usability-Test im Labor oder einer Expertenbasierten Evaluation nachzugehen. Im Nachhinein lassen sich die Tools bzw. deren Zahlen übrigens auch hervorragend nutzen um qualitativ erhobene Daten zu „quantifizieren“.

Beispiel: Aus einem Nutzertest mit 12 Probanden ergibt sich die Vermutung, dass auf der Startseite viele Nutzer abbrechen, weil die Seite bei einer Standardauflösung von 1024×768 im sofort sichtbaren Seitenbereich abgeschlossen wirkt („Scrollstopper“). Aufgrund dessen verlassen Sie die Seite, weil sie die gesuchten Informationen nicht entdecken konnten.
Man öffnet folglich das Tracking-Tool und wertet aus, ob es eine Abhängigkeit der Abbrüche auf der Startseite in Verbindung mit den Auflösungen hat

Multivariate Tests (MVT) eignen sich hervorragend, um den Erfolg von Usability letztendlich zu messen. Denn: Nur mit einem Multivariaten Test lassen sich die tatsächlichen Umsatzeffekte von systematisch hergeleiteten Designvarianten live ausloten.

Aus diesen Gründen komplettieren diese beiden genannten Methoden die Usability-Toolbox eines jeden Usability-Professionals – zumindest im Webbereich. (Siehe dazu auch folgende Artikel: „Ganzheitliche Website-Optimierung: Die sinnvolle Kombination von qualitativen und quantitativen Usability- und Marktforschungsmethoden“ und „Test im Usability Labor vs. Multivariate Tests – ein Methodenvergleich„.

Ihre Meinung ist gefragt!

Über die bereits genannten Methoden hinaus gibt es besonders im Webbereich noch einige weitere Methoden: z. B. sog. Discount-Usability-Engineering-Methoden, die da u.a. wären: Phone Usability Method, 5-Sekunden-Test, Plus-Minus-Methode, Greeking, Lorem-Ipsum-Covering-Methode. Sollte Interesse an der Erläuterung dieser Methoden bestehen, wird dies ggf. ebenfalls in einem Folgebeitrag nachgeholt.
Darüber hinaus ist auch eine Folgebeitrag zu speziellen Methoden aus dem Software Engineering denkbar/möglich, wie z. B. Affinity diagramming, Coaching/Teaching Method, Co-discovery Learning und Wizard of Oz.

Entscheiden Sie, was Sie gerne einmal lesen möchten(!)

Zudem würde mich gerne einmal interessieren: Welche Methoden kennen Sie (noch) bzw. welche dürfen auf gar keinen Fall fehlen und welche setzen Sie davon hauptsächlich ein?

Portraitfoto: Martin Beschnitt

Martin Beschnitt

Geschäftsführender Gesellschafter

eresult GmbH

Bisher veröffentlichte Beiträge: 15

13 Kommentare

  • Hallo Martin,

    vielen Dank für den ausführlichen Überblick. Mich würden vor allem noch Informationen über die sog. Discount-Methoden interessieren und wie man diese vor allem im Rahmen von Neuprojekten sinnvoll und effizient einsetzen kann. Welche Erfahrungen hast Du mit diesen Methoden gemacht?

    Viele Grüße aus Köln.

  • Moin!
    Vielen Dank für die schöne Übersicht.

    1. Ich würde noch das Testen mit Papierprototypen ergänzen – mit einfach beschrifteten Tasten etc. wird vermieden, dass dem Layout Aufmerksamkeit geschenkt wird – die Funktionalität steht im Vordergrund.

    2. Gehört die Logfile-Analyse zu „Web-Analytic“? Wichtig sind dabei immer Ausstiegspunkte – besonders im Bestellvorgang.

    3. Ergänzen würde ich noch den Einsatz von Testsoftware – das reicht von der Messung des Farbkontrastes bis zur W3C-Validierung des Quellcodes einer Webseite.

    Und noch ein Hinweis zum Artikel: Statt „Contextual Inquiry“ wäre die Verwendung eines deutschsprachigen Begriffes wie Kontextanalyse in der Überschrift griffiger 😉 Gilt auch für Eye-Tracking etc., wobei die Nennung des englischsprachigen Fachbegriffs in Klammern sinnvoll ist.

    Viele Grüße aus Hagen!

  • Pingback: t3n-Linktipps: WordPress-PuSH, twitternde Händler, CSS-Tricks, Usability-Methoden und die Haut als Touchscreen » t3n News

  • Hallo,

    finde die Übersicht gut. Könnte eine feststehende Rubrik werden.

    Logfile-Analysen im Sinne von Keyword-Analysen sind beispielsweise innerhalb der Suche sehr wichtig und gehören zur „beobachtenden Methode“.

    Auf Keyword-Ebene wird der Usecase simuliert (Was hat ein User gesucht und was hat er bekommen? Für was interessieren sich unsere User).
    Aber auch Usbaility-Probleme können über die Keyword-Analyse herausgefunden werden: Wo sind Defizite in der Navigation? Wird überportional z. B. nach „Login“ oder „Wo ist meine Bestellung?“ gesucht? etc.

    Gerade auch zusammen mit Web-Analytics ergibt sich die Aussagekraft bezüglich Optimierung des Angebotes einer Website oder eines Protals, z. B. Abverkäufe über die Suche (search for shopping).

    Frage zu Card-Sorting. Wäre dies auch eine Methode im Umfeld von Suchen? Hat damit jemand Erfahrungen?

    Viele Grüße,
    Sonja Quirmbach

    P.s. zum Wandel der Zeit: Das Top Buzzword „Web-Analytics“ wurde bis vor etwas längerem als kurzem auch „statistische Auswertungen und Reportings“ benannt. Tools dazu gab es auch schon. Jetzt etwas provokativ: Alter Hase, neues Fell! ;o)

    Wie seht ihr das?

  • @Marc Jelitto: Vielen Dank für den Hinweis bzg. Paper Prototyping (oder sollte ich lieber Papier Prototypen sagen?). Ich war ehrlich gesagt beim Schreiben hin- und hergerissen es direkt mit aufzunehmen. Habe mich voerst dagegen entschieden, weil ich meist bei einem projekt zu dem Entschluss komme, dass ein Axure-Prototyp fast/mind. genauso schnell erstellt ist. Aber ich muss Ihnen recht geben: Die Methode ermöglicht eine hohe Flexibilität im Umgang mit dem Prototyp. Ein neues Post-it ist schneller erstellt, ein Wording schneller ausradiert/optimiert als dass man das Prototyping-Tool erneut aufgerufen hat:-) Ich glaub ich werde es demnächst noch als Methode ergänzen.

  • @Sonja Quirmbach: Ich muss Ihnen Recht geben, manchmal kommt es mir bei den ganzen bezeichnungden der Methoden – inkl. den zahlreichen Synonymen auch so vor als ob es nur darum geht neue Buzzwords zu kreiieren. Aber wem kann man schon ein Produkt bzw. eine Methode verkaufen, die schon 30 Jahre alt ist (Marketing-Denke)? Ich werde sehen, dass ich bei den einzelnen Methoden noch die gebräuchlichsten Synonyme, nebst der deutschsprachigen Übersetzung, aufführe. Die Idee der feststehenden Rubrik ist nicht schlecht. Heißt das, dass man die Rubrik Methoden & Verfahren noch weiter runterbrechen sollte?

  • Hi Martin,

    toller Artikel! Es gibt da eine schöne Übersicht von Todd Warfel der das Ganze in einem zeitlichen Ablauf zeigt: http://tinyurl.com/37w8ps
    In die Toolbox gehört für mich zudem auch immer der „Strategie Workshop“ bei dem die Ziele des z.B. Webauftritts und die zugehörigen Erfolgsindikatoren definiert werden.

    Viele Grüße, Marcel

  • @Christian: Ich muss gestehen, dass die sog. Discount-Methoden, abgesehen von der heuristischen Evaluation, bei uns im Projektgeschäft nicht so häufig vorkommen. Dennoch sind wir gerade dabei sämtliche Tools wie Silverback, Lopp11, Usabilla, C-Inspector & Co. zu reviewen, um zu schauen, bei welchen Projekten & Fragestellungen sich der Einsatz solcher Tools eignet. Ich werde beide Themen in den kommenden Beiträgen einmal aufgreifen.

  • Ich fände es noch spitze, wenn man konkret auch einen kurzen Software-Überblick dazu packen würde (keine Empfehlung, nur eine grobe Auswahl der am Markt verfügbaren Programme), z.B. für remote-usability-testing-tools (Netraker, Vividence, Relevant view etc). Bestimmt für viele extrem hilfreich.

  • Hey,
    vielen Dank für den mega ausführlichen Artikel. Probiere gerade mit Etracker Heatmaps und Clickmaps einiges an der usability größerer Webseiten zu verbessern…Konnte viel Inspiration aus diesem Artikel ziehen und werde mich jetzt hier im Blog mal weiter umschauen 🙂

    Grüße aus Aachen

  • Martin Beschnitt

    Hallo Carsten,
    vielen Dank fürs Feedback und viel Erfolg beim Analysieren und Optimieren anhand von Moustracking-Daten. Hier ist jedoch Vorsicht geboten: Die Verteilung der Klicks bzw. Mausbewegungen auf Webseite sagt nichts über die Wahrnehmungssteuerung einzelner Elemente aus – bzw. nur bedingt. Hierzu gibt es zuviele „Maustypen“. Es lassen sich lediglich Thesen ableiten, die man mithilfe weiterere Research-Daten belegen muss. Wichtig ist z.B. Was war die Intention des Nutzers? Hat er gefunden, was er gesucht hat? etc.
    Gruß nach Aachen

  • Hi Martin,
    ist natürlich vollkommen richtig!
    Da wird noch einiges an Arbeit anstehen, aber einige der beschriebenen Methoden könnten auch für mich noch relevant werden, bin mal gespannt wie ausführlich die Usability Optimierung noch weitergeführt wird.
    Alles Gute bis dahin,
    Carsten

  • Pingback: Usability Testingmethoden — Information Architecture and Usability - btk-fh

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert