Asynchrone Remote-Tests mit Validately – Erfahrungen & Eindrücke

Der UX-Test zur Analyse eines digitalen Systems ist ein fester Bestandteil der nutzerzentrierten Entwicklung. Ein Feedback von realen Nutzern kann dabei einen entscheidenden Faktor über den späteren Erfolg oder Misserfolg eines Produkts sein und sollte demzufolge unter keinen Umständen vernachlässigt werden. Leider sind Neuentwicklungen oder Ideen nicht immer derartig komplex und vielschichtig, dass sich ein Besuch im Usability-Labor rechtfertigen lässt.
Doch wie geht man mit einer solchen Situation um? Verzichtet man ganz auf die UX-Analyse? Wartet man bis genug Material vorhanden ist und sich ein UX-Test im Labor tatsächlich lohnt? Besonders UXler, welche in einem agilen Umfeld arbeiten, sollten dieses Problem gut kennen. Eine Lösung bietet der Remote-Test!

Mittlerweile gibt es Methoden und Tools, die sich dem Problem angenähert haben. Eine Möglichkeit ist zum Beispiel ein asynchroner Remote-Test. Anders als beim Usability-Test im Labor, bei welchem eine direkte Interaktion zwischen Proband und Testleiter erfolgt, ist es bei einem asynchronen Remote-Test möglich, dass der Proband zu jeder ihm passenden Zeit am Test teilnehmen kann. Dabei wird der Proband automatisiert durch den Test geleitet. Der Vorteil: Er kann diesen an seinem eigenen PC, Tablet oder Smartphone durchführen. Folglich besteht sowohl eine räumliche als auch eine zeitliche Trennung zwischen dem Testleiter und den teilnehmenden Probanden. Die anfallenden Daten werden bei einem asynchronen Remote-Test automatisch gesammelt und gespeichert. Der Testleiter kann die Auswertung später vornehmen. Dadurch ist der Ablauf eines Remote-Tests deutlich schneller als der eines klassischen Usability-Tests im Labor und passt besonders gut in die meist eng terminierten Prozessschritte der agilen Produktentwicklung.

Ein Tool welches dieses Vorgehen ermöglich ist Validately. Das US-amerikanische Unternehmen mit Hauptsitz in New York wurde im Jahre 2014 gegründet und hat sich seitdem auf das synchrone und asynchrone Remote-Testing von Websites und Apps spezialisiert. Bereits in meinem vergangenen Artikel „Validately – Die Alternative für synchrone Remote UX-Test mobiler Systeme“ ging ich näher auf die Arbeit mit dem Tool ein und gab einen Einblick in das synchrone Testen mobiler Devices.
Der heutige Beitrag fokussiert sich auf das asynchrone Testen auf Desktop-PCs und spiegelt unsere persönlichen Eindrücke wieder.

Einfaches Erstellen von Studien

Grundsätzlich gestaltet sich die Umsetzung eines asynchronen Remote-Tests mit Validately sehr einfach. Der Prozess besteht dabei aus insgesamt drei Kernschritten und wird durch einen leicht verständlichen Wizard angeleitet.

Schritt 1 – Study Details: Zunächst müssen grundlegende Daten zur geplanten Studie angegeben werden, sodass Fragen wie zum Beispiel „Wie soll das Projekt heißen?“ oder „Auf welchem Device wollen Sie testen?“ beantwortet werden müssen.
Schritt 2 – Tasks and Questions: Im anschließenden Prozessschritt müssen nun bereits die Usecases definiert werden. Neben der Formulierung einer konkreten Aufgabenstellung an die Probanden, ist hier die Einbindung retrospektiver Fragen möglich.
Schritt 3 – Options: Im letzten Arbeitsschritt vor dem Go-Live erzeugt Validately eine Vorschau des Tests und die getätigten Eingaben können validiert werden. Diese Vorschau kann weiterhin gut dafür genutzt werden sich Rückmeldung von Kollegen oder Auftraggebern einzuholen.

Formulieren Sie Usecases präzise und verständlich

Usecases sind das Fundament eines jeden UX-Tests. Sie beschreiben die beispielhafte Durchführung einer Aufgabe durch einen Probanden innerhalb des Testobjekts. Während der Entwicklung werden dadurch die möglichen Interaktionen mit der Website für alle Beteiligten verständlich festgelegt und die Kommunikation erleichtert. Anders als bei einem Test, bei dem Proband und Testleiter miteinander kommunizieren können, wird der Proband bei einem asynchronen Test automatisiert geleitet. Unsere Erfahrung zeigt, dass Aufforderungen und Formulierungen demzufolge so präzise und verständlich wie möglich sein müssen, um Fehlinterpretationen zu vermeiden. Orientieren Sie sich hierbei am KISS-Prinzip (Keep It Short and Simple). Verzichten Sie auf umständliche Formulierungen und zu detaillierte Szenarien. Arbeiten Sie stattdessen lieber mit mehreren Szenarien und machen Sie sich zum Vorteil, dass das Tool Validately keine maximale Anzahl an Usecases vorgibt. Wie Usecases erfolgreich gestaltet werden, können Sie unter anderem hier nachlesen.

Automatisierte Rekrutierung nur in englischsprachigen Ländern möglich

Validately bietet für je 15 USD an, Probanden aus dem unternehmenseigenen Panel zu rekrutieren. Leider ist das Panel bisher auf ein englischsprachiges Publikum beschränkt, sodass lediglich Probanden aus Groß Britannien, Kanada und den USA rekrutiert werden können.
Doch auch wenn die Einschränkung der Zielgruppe durch Validately den eigenen Ansprüchen nicht genügt ist dies kein grundsätzliches Ausschlusskriterium für die Nutzung des Tools. Neben der Möglichkeit seine Probanden durch Validately rekrutieren zu lassen, besteht weiterhin die Möglichkeit eigenständig zu rekrutieren. Nachdem Sie ein Projekt erfolgreich umgesetzt haben, generiert das Tool einen Link, welcher an die Probanden versendet wird. Bei der Rekrutierung der eigenen Probanden ist jedoch einiges zu beachten, was im Folgenden näher erläutert wird.

„Dont skip“ – Hinweis zur Nutzung des Tutorials

Klickt ein Proband auf den Link, der durch Validately verschickt wurde, bietet ihm das Tool zunächst ein kurzes aber dennoch hochwertiges Tutorial an. Dieses erläutert den Ablauf eines Tests und zeigt ihm wie Usecases begonnen bzw. abgeschlossen werden. Besonders für eine technisch weniger versierte Zielgruppe und Erstnutzer ist dieses Tutorial besonders hilfreich, um einen Test erfolgreich zu absolvieren. Während unserer Arbeit mit Validately zeigte sich, dass das Tutorial häufig missachtet bzw. bewusst übersprungen wurde. So konnten vereinzelt Probleme bei der Nutzung der Tools festgestellt werden. Sollten Sie sich demzufolge für einen Test mit Validately entscheiden, raten wir dazu ihren Probanden den Ablauf eines Tests genau zu erklären und einen Hinweis auf das Tutorial zu geben.

Das Tutorial von Validately sollte genutzt werden.

Validately nicht in deutscher Sprache verfügbar

Ein Nachteil für deutschsprachige Nutzer von Validately: das Tool ist aktuell nur in englischer Sprache verfügbar. Dies betrifft vor allem Prozessschritte vor dem Beginn des eigentlichen Tests. Beispielhaft dafür ist die einladende E-Mail oder das Tutorial, was ein Hindernis darstellt sofern davon ausgegangen werden muss, dass die angestrebte Zielgruppe keine bis schlechte Englischkenntnisse besitzt. Sollte dies der Fall sein raten wir von der Verwendung von Validately ab.

Installation von Software notwendig

Eine weitere Einschränkung besitzt Validately bei der Verwendung des Browsers auf Desktop-PCs. In der aktuellen Version des Tools sind Tests lediglich mit Googles Chrome möglich.

Neben der Installation der aktuellen Chrome Version ist zusätzlich die Implementierung eines Browser-Plug-Ins namens „Validately Recorder“ nötig, um einen Test erstmalig zu starten. Diese Tatsache ist vor allem bei UX-Tests im B2B-Bereich enorm relevant. Einige Unternehmen besitzen besondere Restriktionen und erlauben ihren Mitarbeitern nicht eigenständig neue Software zu installieren. Klären Sie demzufolge bereits frühzeitig ob die Installation von Software innerhalb Ihrer Zielgruppe möglich ist und informieren Sie Ihre Probanden bereits während der Rekrutierung über diesen Sachverhalt.

Server in den USA

Die von Validately gesammelten Daten lagern auf einem Server in den USA. Für viele unserer Kunden (besonders aus dem Bank- und Finanzwesen) ist dies eine Tatsache, welche mit der internen Regulierung im Kontext des Datenschutzes nicht zu vereinbaren ist. Demzufolge ist das Speichern sensibler Daten außerhalb der EU ein sofortiges Ausschlusskriterium für die Nutzung des Tools. Grund dafür ist ein Übereinkommen zwischen den USA und der EU namens „Privacy Shields“, welches im Jahre 2016 in Kraft getreten ist. Vielen Datenschützern ist dieses Übereinkommen ein Dorn im Auge, da dadurch der Datenschutz nach EU-Standards nicht gewährleistet ist. Nach EU-Recht dürfen personenbezogene Daten nur dann in Drittländer übermittelt werden, wenn sie dort „angemessen“ geschützt sind, dass ist in den USA nicht gegeben.

Datenschutz

Der Schutz von persönlichen Daten der Probanden ist ein Thema welches in letzter Zeit enorm an Relevanz gewonnen hat, denn letztendlich gibt jeder Proband sensible Daten während eines Interviews von sich preis. Für uns als Researcher ist es demzufolge im Vorfeld eines jeden Tests notwendig eine Einverständniserklärung der Probanden einzuholen. Die Probanden geben uns dabei die Erlaubnis ein Interview aufzuzeichnen und für die Auswertung zu verwenden. Im Labor gestaltet sich dieser Prozess besonders einfach, denn der Proband bekommt vor dem eigentlichen Test eine schriftliche Vereinbarung vorgelegt, welche er bei Einverständnis unterschreibt. So einfach wie im Labor gestaltet sich die Einholung der Einverständniserklärung bei Remote-Tests leider nicht, denn letztendlich begegnen sich Testleiter und Proband nie persönlich, sodass das einfache Unterzeichnen einer Vereinbarung entfällt. Dies gilt auch für Validately, hier wird zwischen zwei Ansätzen unterschieden:

• Findet die Rekrutierung über Validately statt, arbeitet man mit bereits registrierten Nutzern des internen Panels. Diese Nutzer haben während der Registrierung die „Privacy Policy“ von Validately akzeptiert, sodass einem erfolgreichen Test nichts mehr im Wege steht. Die „Privacy Policy“ von Validately finden Sie unter https://validately.com/privacy/.
• Findet eine Rekrutierung eigenständig statt, stößt man gegebenenfalls auf Probleme, denn der Proband muss sich vorab nicht zwangsläufig im Panel registrieren um an einem Test teilzunehmen. Demzufolge kann nicht davon ausgegangen werden, dass die „Privacy Policy“ von Validately gelesen bzw. akzeptiert wird. Um Missverständnisse zu vermeiden, raten wir demzufolge dazu bei einer eigenständigen Rekrutierung die Probanden über die Datenschutzrechtlichen Gegebenheiten zu informieren und gegebenenfalls eine eigenständige Einverständniserklärung einzuholen.

Wie sind Ihre Eindrücke von Validately? Lassen Sie uns gerne an Ihrer Meinung teilhaben!