Verbreitung und Relevanz von Usability-Methoden in der Praxis

StatistikNeben der Aufzählung typischer Usability-Methoden eines Usability-Professionals (siehe: „Welche Usability-Methoden gehören heutzutage in die Toolbox eines jeden (Web-) Usability-Professionals?“, ist zudem die Betrachtung der Häufigkeit ihres Einsatzes interessant. D.h. wie oft finden welche Methoden überhaupt Ihren Einsatz bei der nutzerzentrierten Entwicklung von Interfaces? Der vorliegende Artikel liefert Zahlen & Fakten zur Verbreitung und Relevanz von Usability-Methoden in der Praxis. Und stellt die Frage, welche Methode dieses Jahr besonders stark gefragt sein wird.

In der Literatur finden sich verschiedene Angaben über die Häufigkeit der Anwendung von Usability-Methoden in der Praxis. Meistens beziehen sich die angegebenen Zahlen jedoch allgemein auf die Konzeption von grafischen Benutzungsoberflächen und nicht auf einzelne Anwendungsgebiete (wie z. B. Web, Software, Intranet, …)

Folgende Abbildung zeigt die Ergebnisse einer Untersuchung / Befragung von Jakob Nielsen aus dem Jahre 1995 [1]:

Nielsen 1995

Untersuchung / Befragung von Jakob Nielsen aus dem Jahre 1995


Bei diesem eingeschränkten Methodenportfolio ging der klassische Nutzertest als klarer Sieger hervor. Jedoch sind diese Daten allein aufgrund Ihrer mangelnden Aktualität nicht mehr verwendbar.

Dem Branchenreport 2003 des German Chapters (GC) der Usability Professionals‘ Association e.V. (UPA) zufolge werden Befragungen, Usability-Testing, iteratives Prototyping sowie die Aufgabenanalyse häufig eingesetzt. Weniger oft wird eine Beobachtung der Nutzer vor Ort durchgeführt. Methoden wie Fokusgruppen, Card-Sorting und Eye-Tracking werden laut Branchenreport selten eingesetzt [2].

upa2003

Durchschnittliche Häufigkeit des Einsatzes (1 = „nie“ bis 5 = „sehr häufig“)


Leider wurde dieser durchaus interessante Teil der Befragung in den nachfolgenden Jahren nicht mehr im Rahmen des deutschen Branchenreports erhoben.

Die Umfrage des Usability-Dienstleisters SirValUse in Kooperation mit der Fachzeitschrift Technology Review untersuchte 2005 den Stellenwert des Faktors Gebrauchstauglichkeit in deutschen Unternehmen. Dabei wurden 1190 Fach- und Führungskräfte aus verschiedenen Branchen auch in Bezug auf den eigenen Einsatz und die Bewertung von entwicklungsbegleitenden Usability-Tests befragt [3]. Die Wichtigkeit der Methoden korreliert dabei stark mit der Häufigkeit der eingesetzten Methoden. Dabei erzielte die nur bedingt geeignete Methode der Gruppendiskussion (Fokusgruppe) das beste Ergebnis (79 %), dicht gefolgt vom klassischen Usability-Test mit 71 %. Auch dem Paper Prototyping kommt mit fast 50 % eine hohe Bedeutung zu. Selten eingesetzt werden Methoden wie Eye-Tracking (28 %), Wording-Test (28 %) und Card-Sorting (14 %).

Die hohe Relevanz und Verbreitung der Fokusgruppen wird durch das Ergebnis der im Juni 2006 durchgeführten Umfrage des Full-Service-Usability-Dienstleisters eResult GmbH bestätigt [4]. Die eResult-Newsletter-Abonnenten wurden gefragt, welche Usability-Methoden und Erhebungsverfahren sie im Rahmen ihrer Projekte einsetzen. Lediglich Blickverlaufsmessungen erhielten mit 60 % der Nennungen einen höheren Zuspruch als die Fokusgruppen (48%). Dies stellt wiederum einen Widerspruch zu den Ergebnissen der SirValUse-Studie dar.

eresult Methoden


Darüber hinaus befragte die eResult GmbH 77 Internetexperten im Rahmen einer Online-Befragung  zur Bedeutung von 16 ausgewählten und in der Praxis gängigen Usability-Methoden mit dem Fokus auf das Websitegenre „Corporate Website“ – unterteilt in die einzelnen Phasen des Entwicklungsprozesses (Analyse, Konzeption, Umsetzung, Betrieb). [5]

Die Auswertung der Befragungsergebnisse ergab, dass sich unter den Top 4-Methoden drei, in frühen Phasen der Entwicklung einer Corporate-Website (Konzeption, Analyse) zum Einsatz kommende, Methoden befinden: Die Aufgabenanalyse, das Prototyping und die Anforderungsanalyse über Zielgruppenbefragung in einem Panel. Logfile- bzw. Clickstream-Analysen, die eher in der Betriebsphase einer Corporate-Website zum Einsatz kommen, gehören ebenfalls zu den Top 4-Methoden. Expertenevaluationen und Nutzerbefragungen – angelegt als Onsite-Befragungen – stellen weitere Methoden bzw. Verfahren dar, die bei der Entwicklung und Optimierung von Corporate Websites eingesetzt werden. Als weniger relevant werden Eye-Tracking-Studien, Nutzerbeobachtungen vor Ort und Card Sorting-Tests von den 77 befragten Internetexperten angesehen.

Überraschend ist, dass Nutzertests im Usability-Lab und Remote Usability-Tests, die derzeit wohl dominierenden Methoden bei der Evaluation und Optimierung von Websites, in Bezug auf Corporate-Websites eine eher unterdurchschnittliche Bedeutung aufweisen. Dies kann sicherlich damit erklärt werden, dass mit diesen beiden Methoden vor allem Interaktionsprozesse analysiert und optimiert werden. Auf informationsorientierten Corporate-Websites sind solche komplexen Handlungsprozesse jedoch kaum vorzufinden. Zudem handelt es sich bei beiden Verfahren um die kostenintensivsten ihrer Art.

Folgende Tabelle fasst die wichtigsten Methoden der einzelnen Entwicklungsphasen zusammen:

corporate websites 2

Die UPA selbst liefert mit ihrer zweijährlichen internationalen Umfrage UPA Member and Salary Survey, bei der bereits 2005 knapp 1400 Teilnehmer aus 24 Ländern befragt wurden, die wohl umfangreichste Studie in Hinblick auf die Häufigkeit von eingesetzten Usability-Methoden – jedoch auch hier ohne einen Schwerpunkt auf eine Branche bzw. eine Technologie zu setzen. Dies wäre jedoch auch durchaus eine eigene Befragung wert…

Anbei einmal eine Gegenüberstellung der Ergebnisse aus den letzten drei Befragungen (eigene Darstellung nach [6], [7], [8]) – Angaben in Prozent / Mehrfachnennungen möglich:

upa_vergleich

upa Vergleich


Anmerkung zur Tabelle: “Remote usability testing” wurde 2009 gesplittet in „Usability testing (remote, moderated)” und “Usability testing (remote, unmoderated)”
Schaut man sich die Entwicklung an, so ist der Einsatz der Methoden über die Jahre recht gleich geblieben. Besonders unter den ersten 5-6 Plätze sind nur geringe Veränderungen zu erkennen. Diese Zahlen machen aber noch einmal deutlich, wie stark die klassischen Methoden wie Expert Review und der Usability-Test  noch dominieren

Fazit

Betrachtet man die Ergebnisse der einzelnen Studien so kommt man zu keinem eindeutigen Schluss. Die Studien widersprechen sich teilweise sogar deutlich. Dies ist darauf zurückzuführen, dass nicht immer nach denselben Methoden gefragt wurde bzw. andere Antwortvorgaben existierten. Zudem wurden keine einheitlichen Bezeichnungen für die Testmethoden gewählt als auch sehr unterschiedliche Personengruppen befragt. Ein weiteres Problem ist, dass die Bedeutung und Relevanz der Usability-Methoden einem steten, zeitlichen Wandel unterliegt. These: Besonders im Internetbereich sorgen neue Technologien und Techniken dafür, dass zukünftig einzelne Methoden verstärkte Beachtung finden könnten (z. B. das Remote-Testing)!

Dennoch sind die teilweise nicht mehr ganz aktuellen Zahlen interessant, wenngleich  man jedoch allein aufgrund dieser Daten keinen Entschluss treffen darf, welche Methode man im Sinne der benutzerzentrierten Entwicklung einsetzen sollte. Siehe dazu u.a.: „Die Frage aller Fragen: Wann welche Methode“ .


Ihre Meinung ist gefragt!

Persönlich würde ich sagen, dass der 2007/2008 prophezeite „RUT-Boom“ (RUT = Remote Usability Testing) bislang ausgeblieben ist – zumindest in Deutschland. Ich würde sogar eher dazu tendieren, dass der klassische Usability-Test im Labor dieses Jahr wieder eine Renaissance erleben wird.
Was meinen Sie: Kommen die neuen, innovativen Methoden oder haben Sie selber das Gefühl, dass man sich derzeit eher auf klassische Usability-Methoden besinnt? Besonders der Vergleich aus Dienstleister- und Unternehmens-/Kundensicht würde mich hier brennend interessieren.
Darüber hinaus: Welche Methode(n) setzen Sie in der Agentur / in Ihrem Unternehmen am häufigsten ein –sofern Sie dies beziffern können?

Quellen:
[1] Nielsen, Jakob: Technology Transfer of Heuristic Evaluation and Usability Inspection. Keynote der IFIP INTERACT’95 International Conference on Human-Computer Interaction, Lillehammer, 1995, http://www.useit.com/papers/heuristic/learning_inspection.html.

[2] Beu, A. [et al.]: Branchenreport und Honorarspiegel 2003 – Befragung zur Situation der Usability-Professionals in Deutschland. Stuttgart: German Chapter der Usability Professionals‘ Association e.V., 2004, http://germanupa.de/german-upa/branchenreport/upa-branchenreport-fn-2003.pdf

[3] o. V.: Usability Trend I/2005 – Untersuchung zum Stellenwert des Faktors Gebrauchstauglichkeit (Usability) in deutschen Unternehmen. Hamburg:  SirValUse Consulting GmbH, 2005, http://www.sirvaluse.de/uploads/media/SirValUse_Usability_Trend_2005_01.pdf

[4] Wilhelm, Thorsten: Umfrage zur Relevanz und Verbreitung von
Usability-Methoden. Göttingen: eResult GmbH, 2006, http://www.eresult.de/studien_artikel/forschungsbeitraege/usability_umfrage_methoden.html

[5] Beschnitt, Martin / Wilhelm, Thorsten: eResult Studie zu Corporate Websites: Erfahrene Web-Manager setzen Usability-Analysen in frühen Entwicklungsphasen ein. Göttingen: eResult GmbH, 2007,http://eresult.de/studien_artikel/forschungsbeitraege/corporate_website_studie.html

[6] o. V.: UPA 2005 Member and Salary Survey. Bloomingdale: Usability Professionals’ Association, 2005, http://www.upassoc.org/usability_resources/surveys/2005_upa_salary_survey.pdf.

[7] o. V.: UPA 2007 Member and Salary Survey. Bloomingdale: Usability Professionals’ Association, 2007, http://www.upassoc.org/usability_resources/surveys/salarysurvey2007-public.pdf.

[8] o. V.: UPA 2009 Member and Salary Survey. Bloomingdale: Usability Professionals’ Association, 2009, http://www.upassoc.org/usability_resources/surveys/2009salarysurvey_PUBLIC.pdf.

3 Kommentare zu „Verbreitung und Relevanz von Usability-Methoden in der Praxis

  1. Pingback: uberVU - social comments

  2. Dirk Schulze

    Unsere Erfahrung als Dienstleiter und Anbieter einer speziellen Methode (m-pathy Mouse-Tracking) ist, dass gerade bei großen und auf den Online-Bereich fokussierten Unternehmen verstärkt nach neuen Wegen und Methoden gesucht wird.

    Wir sitzen an der Schnittstelle zwischen Webanalyse und (nicht reaktivem) Remote Usability Testing. Wenn die Webanalyse-Daten beispielsweise erhöhte Abbruchraten anzeigen, begeben wir uns mit Live-Daten auf die Suche nach dem Warum. Gerade bei iterativer Softwareentwicklung kann so schrittweise immer wieder unter realistischen Bedingungen getestet werden.

    Ein Beispiel, das wir sehr oft beobachten: Fehlermeldungen bei Formularen oder technische Probleme in Registrierungsprozessen. Die treten in einem klassischen Probandentest zu selten auf, aufgrund der geringen Fallzahlen. Den einzelnen Nutzer stellen sie aber vor erhebliche Probleme, was wiederum bei Onlineshops mit hohem Besucheraufkommen zu massiven Umsatzeinbußen führen kann.

    Jede Methode kann bestimmte Fragen besonders gut beantworten. Dort wo nutzerzentrierte Gestaltung einen hohen Stellenwert hat, kommen deshalb in verschiedenen Entwicklungsphasen auch verschiedene Methoden zum Einsatz, um durch die Kombination der verschiedenen Vorteile möglichst alles abzudecken.

  3. Martin Beschnitt

    Hallo Herr Schultze,
    da gebe ich Ihnen vollkommen recht. Meist erfordern bestimmte Frage-/Problemstellungen die Kombination von zwei oder mehreren Methoden.
    Beim Test von Formularen halte ich Mouse tracking auch für sehr interessant/hilfreich. Der einzige Wermutstropfen ist jedoch bislang, dass man nichts über die Intention der Nutzer weiß bzw. man das letztliche Warum für einen Fehler/Abbruch manchmal nur erahnen kann. Man kann jedoch aufgrund dessen Thesen entwickeln, neue Varianten erstellen und dann im A/B-Test schauen, obs es nun besser funktioniert bzw. welche Variante am wenigsten Fehler erzeugt. Aber das ist jetzt nur ein Beispiel wie man vorgehen kann. Ich denke, Sie haben da noch ein paar mehr auf Lager.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *