Low-Budget Remote Usability-Plattformen – Potentiale und Grenzen

Immer mehr Unternehmen folgen dem Grundsatz „jeder Usability-Test ist besser als gar keiner“ und nutzen altbewährte als auch neue Tools zu Durchführung dieser. Dieser Artikel diskutiert die in den USA bereits sehr beliebten und günstigen Testing-Tools a la usertesting.com, die es nahezu jedermann ermöglichen einen Usability-Test zu konzipieren und diesen via Web durchführen zu lassen.

Methodik
Die Online-Plattform stellt für die Durchführung des Tests die Infrastruktur und die Zielgruppe bereit. Per Web-Interface kann man das Studienkonzept (Aufgaben) erstellen. Zudem wählt man die anvisierte Zielgruppe aus, die dann über die Plattform zum Online-Usability-Test mit einer geringen Stichprobengröße eingeladen wird. Manche Plattformen bieten auch die Einladung eigener Kontakte an.
Bei der Aufgabenbearbeitung der Probanden wird der sowohl der Screen des Probanden als auch dessen Gestik und Mimik (per Webcam) und Aussagen (per Mikrofon) auf Video aufgezeichnet. Abhängig vom Anbieter ist es ebenfalls möglich nach der Aufgabenbearbeitung bzw. am Testende einen Fragebogen einzublenden.
Als Ergebnis erhält man die Testvideos inkl. der Antworten auf den Fragebogen zur eigenen Auswertung.
Die dadurch entstehenden Kosten sind recht überschaubar: pro Testperson und Plattform liegen sie zwischen 20-70 Euro (exklusive Incentives).

Potentiale
Die zentralen Vorteile dieser neuen DIY-Tools liegen auf der Hand:

  • Es ist keine eigene Infrastruktur, kein Usability-Labor, keine Software nötig.
  • Meist ist es möglich, erste Ergebnisse (Videos) schon über Nacht zu bekommen.
  • Geringe Gesamtkosten pro Studie
  • Durchführung von Studien in kürzester Zeit in Eigenregie

Grenzen
Die genannten Vorteile bestimmen aber wiederum auch die Grenzen dieser Tools. Sie ermöglichen es jedermann eine – wenn auch kleine – Marktforschungsstudie zu realisieren – unabhängig davon, ob er es kann oder nicht (siehe hierzu: Was braucht es, um gute Usability-Tests durchzuführen? – Teil 2: Personal und Usability-Tests selbst gemacht – Die besten Tipps und die wichtigsten Vor- & Nachteile).
Treu dem Motto „garbarge in, garbage out“ ist der Erfolg der Studien wie bei allen Methoden & Verfahren eines User Experience-Consultants also wieder sehr stark abhängig von den Fähigkeiten des Studienleiters. Hier relativieren sich schlimmstenfalls die geringen Fixkosten dadurch, dass falsche Erkenntnisse abgeleitet werden, deren Umsetzung zu Umsatzeinbußen oder rückläufigen Nutzungszahlen führen.
Worüber Sie sich zudem bewusst sein sollte: Die erforderliche Zeit für die Erhebung einer solchen qualitativen Studie fällt definitiv geringer aus als bei einem klassischen Usability-Test im Labor. Die einzelnen Videos müssen sich Sie dennoch mind. einmal komplett anschauen. Sicherlich werden Sie sich auch oft wünschen „Mist, könnte ich den Probanden doch jetzt noch einmal eine individuelle Rückfrage stellen.“ Aus eigenen Erfahrungen kann ich ergänzen, dass es per automatisierten Test sehr schwierig ist, Probanden immer wieder zum Lauten Denken anzuregen.

Einige Anbieter
Anbei einige Plattformen, die die beschrieben Leistungen anbieten. Meist ist die erste Studie kostenlos oder zumindest zu vergünstigten Konditionen erhältlich:

  • www.usertesting.com (Amerikanischer Anbieter mit Panel in den USA, Kanada und England)
  • www.userlytics.com (Amerikanische Plattform)
  • www.trymyui.com (Amerikanische Plattform
  • www.userfeedbackhq.com (Anbieter aus der Schweiz mit europäischem Panel)

Achten Sie jedoch immer auf die Beschreibung bzw. Zusammensetzung des Panels. Nicht überall ist ersichtlich, wie die Plattformen an Ihre Nutzer kommen.
Als Betreiber eines eigenen Panels wissen wir, wie wichtig das Thema Transparenz und Vertrauen in diesem Zusammenhang ist.

Fazit
Es lebe das von Nielsen propagierte Discount Usability Engineering! Die beschrieben Test-Plattformen bieten vor allem kleineren Unternehmen die Möglichkeit, kostengünstig Usability-Tests in Eigenregie durchzuführen, um so Ihre Website zu optimieren.
Sie fördern jedoch auch das Risiko verfälschter Ergebnisse / falscher Interpretationen aufgrund mangelnder Expertise.
Vielleicht ist deshalb ja der Run auf Weiterbildungsangebote zum Usability-Experten ja so groß… Ggf. kann ja sogar ein FAQ bzw. Training auf der Plattform selbst die gröbsten Fehler vermeiden. Eine jahrelange Berufs-/Projekterfahrung ersetzen kann es jedoch nicht.

P.S.: Achtung, es handelt sich hier um die Möglichkeit qualitative Online-Usability-Tests mit einer geringen Stichprobengröße durchzuführen. Wen quantitative Ergebnisse inkl. Erhebung von Performanzwerten interessieren, sei folgender Artikel zu empfehlen: Asynchrone Remote Usability-Tests: Tools, Kosten, …

8 Gedanken zu „Low-Budget Remote Usability-Plattformen – Potentiale und Grenzen

  1. Bernhard Schindlholzer

    Toller Artikel, der die wichtigsten Punkte gut zusammenfasst.

    Auch wir sind der Meinung, dass man jahrelanges Expertenwissen nicht einfach durch eine solche Plattform ersetzen kann. Wir bieten für unsere Kunden einen Onlinekurs zum Thema Usability-Testing an, aber jahrelanges Wissen kann man – wie auch im Artikel beschrieben – nicht einfach ersetzen.

    Wir haben in den letzten 12 Monaten aber auch erlebt, dass diese Art von Usability-Tests der ideale Einstieg für klein- und mittelgrosse Unternehmen ist. Wenn die KMUs dann selbst erlebt haben, wie sehr man vom Feedback von Kunden in Form von Usability-Tests profitieren kann, steigt die Bereitschaft beim nächsten Relaunch einer Online-Plattform vielleicht nicht nur am Ende einen Usability-Test zu machen, sondern das gesamte Projekt mit einem „User Centered Design“ Ansatz zu verfolgen.

    Und hier wird es dann wirklich spannend: Mit all diesen Plattformen kann man nun zu geringen Kosten schon in der frühesten Phase Usability-Tests durchführen und z.b. Mockups und Prototypen schnell testen, Verbesserungen aufnehmen und wieder testen. Mit Balsamiq bzw. demnächst auch myBalsamiq.com stehen hier tolle Tools zur Verfügung, die man für die Usability-Tests nutzen kann.

    In diesem Szenario erhält dann auch das Wissen des Usability-Experte eine noch wichtigere Bedeutung und seine Rolle verändert sich vom reinen „Usability-Test-Experten“ hin zum User Experience/User Centered Design Experten.

    Antworten
  2. Martin Beschnitt Beitragsautor

    Hallo Herr Schindlholzer, bin da ganz Ihrer Meinung. Besonders der letzte Absatz Ihres Kommentars gefällt mir. Vom „Usability- zum User Experience-Experten“…
    Ich würde es sehr begrüssen, wenn noch mehr Unternehmen frühzeitig Tests und Analysen im Rahmen des Entwicklungsprozesses durchführen. Aber Achtung: Sofern Prototyp und Test vom selben Mitarbeiter konzipiert werden, besteht immer die Gefahr der Befangenheit! Da hilft auch die größte Expertise nicht;-)

    Antworten
  3. Pingback: 10 Web Analytics-Mythen, Remote Usability-Testing mit mobilen Endgeräten, Customer Journey – Linktipps von Martin Beschnitt | usabilityblog

  4. Pingback: 5 Minuten… für den User-Experience-Adventskalender und ein Smartphone, dass unsere Launen erkennt | Smart Service

  5. Pingback: Bestandsaufnahme: Automatisierte Remote Usability-Tests (a.k.a. Videotests) - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *