Benjamin Uebel im Experteninterview – Neues Verfahren für automatisierte Tests

Derzeit arbeite ich bei eResult an einer Grundlagenstudie. In dieser wird der klassische Usability-Test im Labor mit dem toolbasierten asynchronen Remote-Usability-Test und einem neuen Angebot von Remote-Tests verglichen. Es erfolgt dort ein ungelenkter qualitativer Test, bei dem der Bildschirm der Probanden und deren lautes Denken während des Tests aufgezeichnet werden. Das Material wird im Anschluss in Echtzeit ausgewertet.

Benjamin Uebel


Die Studie wird die spezifische Eignung der einzelnen Verfahren dokumentieren und den idealen Einsatzbereich der jeweiligen Verfahren aufzeigen.
Ein Anbieter dieses neuen Verfahrens ist die Firma Userlutions in Berlin, die wir für eine Kooperation gewinnen konnten. Als Auftakt der Zusammenarbeit stand uns Geschäftsführer Benjamin Uebel Rede und Antwort und erklärte das Produkt, das unter dem Produktnamen RapidUsertests firmiert.


eResult: Herr Uebel, wie entstand die Idee für das Angebot der sog. RapidUsertests von Userlutions?

Herr Uebel: Wir haben von kleinen und mittleren Unternehmen die Rückmeldung bekommen, dass Ihnen die User Experience ihrer Webseiten sehr wichtig ist, sie aus Zeit- oder Kostengründen jedoch auf klassische Usability-Tests im Labor verzichten. Daraus entstand die Idee, Usability-Tests automatisiert über das Internet durchzuführen und so schnelle, preiswerte und dennoch hochwertige Tests online anzubieten.

eResult: Was passiert da genau?

Herr Uebel: RapidUsertests.com ermöglicht es Webseitenbetreibern, innerhalb von 24 Stunden die Nutzerfreundlichkeit ihrer Website zu überprüfen. Tests können selbst online erstellt werden. Personen aus ganz Deutschland testen dann die Webseiten an ihrem heimischen Rechner. Man erhält Videos, in denen man sieht, was die Nutzer getan haben und man HÖRT ihre laut ausgesprochenen Gedanken. Wir haben einen webbasierten Audio- & Screenrecorder, der Stimme und Monitor der Testpersonen aufzeichnet. So bekommt man recht tiefgehende Einblicke in die User Experience und auftretende Usability-Probleme. Die Ergebnis-Videos kann man sich online ansehen und auswerten.

eResult: Die Probanden selbst werden dabei nicht per Kamera aufgezeichnet. Dadurch können die Gestik und Mimik nicht wie im klassischen Labortest mit ausgewertet werden. Auch dürfte für den Kunden interessant sein, die Probanden seiner Zielgruppe direkt zu Gesicht zu bekommen.

Herr Uebel: Da haben Sie recht. Interessanterweise haben wir Webcam-Aufnahmen der Nutzer sogar aus unserem Tool ausgeschlossen, weil unsere ersten Testkunden zu sehr durch die Gesichter vom eigentlichen Geschehen auf der Webseite abgelenkt waren. Ich rechne jedoch damit, dass es in einigen Jahren automatische Emotionsanalysen per Webcam geben wird, die wir dann auch in UX-Tools werden nutzen können.

eResult: Welche Vorteile bietet Ihr Verfahren gegenüber Verfahren wie dem klassischen Labortest oder dem asynchronen Remote-Test ohne Videoaufzeichnung?

Herr Uebel: Die offensichtlichsten Vorteile gegenüber Labortests: Das bessere Kosten-Nutzen-Verhältnis. Ein Test mit 10 Nutzern kostet nur wenige hundert Euro und kann dennoch eine große Zahl an Usability-Problemen aufzeigen. All unsere Kunden sind überrascht von der hohen Qualität der Ergebnisse. Das Tempo: Die Ergebnisse liegen in Form von Usability-Videos nach 24 Stunden vor. Agiles bzw. Adhoc-Testen ist somit problemlos möglich. Die Tests finden in ganz Deutschland zu Hause bei den Nutzern statt, also in der natürlichen Nutzungssituation ohne den Einfluss einer künstlichen Laborumgebung. Man kann selbst Usability-Tests durchführen und hat zunächst keinen Organisationsstress mehr.
Im Vergleich zum asynchronen Remote-Test ohne Videoaufzeichnung werden unserer Erfahrung nach einfach mehr Usability-Probleme identifiziert.

eResult: Das Identifizieren von Problemen setzt ja in erster Linie Erfahrung bei der Auswertung voraus. Fraglich ist, inwieweit das bloße Sichten des Materials durch einen in Testing und Auswertung relativ unerfahrenen Kunden zu einer hohen Anzahl an korrekt identifizierten Problemen führt. Außerdem muss jedes Video in Echtzeit gesichtet werden. Innerhalb von 24 Stunden liegt zwar das Material vor, die Auswertung nimmt je nach Probandenanzahl mindestens einen weiteren Tag in Anspruch. Genauso viel Zeit wird auch für Durchführung und Auswertung eines klassischen Labortests benötigt.
Die gleiche Anzahl an ermittelten Problemen ist vermutlich nur zu erreichen, wenn bei beiden Methoden gleich viele Probanden am Test teilnehmen.

Herr Uebel: Was die Auswertung & Interpretation angeht, sollte man bei kostspieligen Webprojekten in jedem Fall eine professionelle Beratung durch Externe in Anspruch nehmen. Andererseits gibt es aber auch Webseitenbetreiber, die die Freiheit genießen, selbst Tests auszuwerten. Man lernt sehr viel, wenn man Nutzer der eigenen Webseite auch mal selbst beobachtet.

eResult: Wie würden Sie Ihr Verfahren nennen?

Herr Uebel: Es hat sich noch kein Verfahrensname etabliert. Griffig wäre z. B. der Begriff „Videotests“. Oder vielleicht „Crowd-Usability-Tests“ bzw. „Online-Usability-Tests“. Inhaltlich präzise, aber etwas sperrig: „Think-Aloud-Onlinetest“.

eResult: Für welches Angebotsspektrum ist das Verfahren besonders geeignet?

Herr Uebel: Die RapidUsertests eignen sich besonders für Usability-Tests von B2C-Webseiten, z. B. von Informations-Portalen oder Online-Shops.

eResult: Welches Thema wird derzeit im Internet noch vernachlässigt? Kann Ihr Verfahren auch solche Defizite aufzeigen?

Herr Uebel: Aus meiner Sicht wird das Potenzial der Conversionrate-Optimierung nicht hinreichend berücksichtigt. Dabei können dadurch bei gleichem Marketingbudget mehr Kunden gewonnen werden, die Costs per Order sinken und der Umsatz steigt. Wir verwenden die RapidUsertests in diesem Kontext u. a. für Usability- und Wettbewerber-Analysen. Einige Performance-Agenturen nutzen unser Tool auch regelmäßig, um Hypothesen für ihre A-/B- und multivariaten Tests zu generieren.

eResult: Da bin ich vollkommen Ihrer Meinung. Ohne konkrete Hypothesen ist A-/B-Testing kaum erfolgreich umzusetzen. Das ist daher ein sehr guter Ansatz.
Welche Entwicklungen sehen Sie für die Zukunft der toolbasierten UX-Forschung?

Herr Uebel: Ich bin sicher, dass sich die toolbasierte Forschung neben den klassischen Labor-Methoden etablieren wird, da sie ökonomische und in einigen Aspekten auch methodische Vorteile bietet.
Für Großunternehmen wird die toolbasierte Forschung immer dann relevant sein, wenn die methodischen Stärken für die jeweilige Fragestellung geeignet sind. So kann es in einigen Testszenarien von Vorteil sein, geografisch verteilt und in der natürlichen Nutzungsumgebung zu testen. Für den Mainstream der kleinen und mittelständischen Webseitenbetreiber sind die ökonomischen Vorteile der UX-Tools sehr stark. Die Beobachtung des amerikanischen usertesting.com, welches in den letzten zwei Jahren über 100.000 Videotests durchgeführt hat, deutet an, dass zukünftig mehr Tests durch UX-Tools durchgeführt werden als klassisch im Labor. Einfach, weil plötzlich Webseitenbetreiber testen, die bisher darauf verzichtet haben. Und auch wir möchten in Deutschland dazu beitragen, Usability-Tests bei der Breite der Webseitenbetreiber zu etablieren.

eResult: Entschuldigen sie die Nachfrage: Jedes Testing ist zweifellos besser als keines, aber wie unterstützen Sie hierbei die Websitebetreiber? Wie wird sichergestellt, dass das Studiendesign gut aufgesetzt ist und die Aufgabenstellungen richtig gewählt und nicht z. B. suggestiv sind? Wie können Ihre Kunden es bewerkstelligen, selbst die Beobachtungen in Erkenntnisse und erfolgversprechende Handlungsempfehlungen umzusetzen?

Herr Uebel: Eine gute Frage. Wir bieten einerseits Standarddesigns zum Beispiel für Online-Shops an, die einfach individualisiert werden können. Da wird in Zukunft auch noch mehr kommen. Außerdem prüft einer unserer Usability-Berater nach jeder Buchung eines Tests die gestellten Aufgaben und gibt bei Problemen Feedback.

eResult: Vielen Dank für Ihre interessanten Antworten, Herr Uebel. Ich freue mich bereits auf die weitere Kooperation.

Wir halten Sie hier im Blog natürlich regelmäßig über den aktuellen Fortschritt der Grundlagenstudie auf dem Laufenden und berichten über besonders herausstechende Erkenntnisse.

Ein Gedanke zu „Benjamin Uebel im Experteninterview – Neues Verfahren für automatisierte Tests

  1. Pingback: Inhouse Usability Test vs. “Rapid Usability Test” | UX-Blog

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.