Zum Nutzertest beim Website-Betreiber: Auswirkungen von „Inhouse“-Tests auf das Antwortverhalten der Testpersonen

Roter Teppich

Die Bedeutung des Themas Usability nimmt in vielen Unternehmen eine positive Entwicklung. Immer häufiger wird Usability als Erfolgsfaktor für Websites und mobile Anwendungen wahrgenommen und die Nutzer daher bereits in frühen Entwicklungsphasen involviert. Teilweise wird auch schon „inhouse“ getestet, aber oft werden externe Dienstleister hinzugezogen.

Die Auswahl des Erhebungsortes wird dabei von verschiedenen Kriterien beeinflusst. Bei Anbietern mit regionaler Ausrichtung ist es zum Beispiel sehr wichtig, Testpersonen vor Ort zu rekrutieren, um realistische Kontaktsituationen herzustellen. In anderen Fällen kommt es dem Kunden einfach entgegen, in seiner Stadt mit einem mobilen Usability-Labor zu testen, um eine effektive Beobachtung zu gewährleisten.

In diesen Fällen stellt sich sicherlich manchmal auch die Frage, ob man nicht direkt in den Räumen des Kunden testen sollte, statt ein Teststudio anzumieten oder sich um andere Möglichkeiten zu bemühen. Hat es denn Nachteile, den Test direkt beim Site-Betreiber durchzuführen?

„Die mag ich, da mach ich mit“

Es gibt durchaus Einflussfaktoren, die man bei dieser Entscheidung berücksichtigen sollte. Nehmen wir zum Beispiel an, der Site-Betreiber rekrutiert bereits selbst: Er wählt die kontaktierenden Personen aus und vereinbart per Telefon Termine. Schon bei diesem Kontakt ist die potenzielle Testperson nicht frei von „Vorurteilen“. So verbindet sie mit dem Anrufer direkt positive oder negative Erfahrungen bzw. einen bestimmten Ruf, den das Unternehmen besitzt. Schon diese Meinung, die die Person von vornherein von dem Site-Betreiber hat, kann die Entscheidung, am Test teilzunehmen oder nicht, beeinflussen („Den find ich gut, den möchte ich unterstützen“ – oder: „Beim letzten Anruf im Kundencenter hing ich 10 Minuten in der Warteschleife – von denen habe ich erstmal die Nase voll.“). Es besteht also die Gefahr, vermehrt positiv eingestellte Personen zu rekrutieren.

„Toll, dass ich herkommen darf“

Aber selbst wenn die Akquise von einem externen Dienstleister übernommen wird, sollte man sich darüber im Klaren sein, welche Auswirkungen der Test in den Räumen des Kunden haben kann. Die Testpersonen finden es vielleicht sehr spannend zu sehen, wie es bei dem Unternehmen aussieht, sind vielleicht beeindruckt von der Größe oder der Ausstattung des Gebäudes. Mehr oder weniger unbewusst kann dadurch eine bestimmte Haltung gefördert werden, die weniger kritisch und eher respektvoll ist.

Auch das Umfeld und seine Ausstrahlung (die Mitarbeiter, die sich hier bewegen), können die Testperson in dem Sinne beeinflussen, dass ein gewisses „Zugehörigkeitsgefühl“ entsteht. Dass sie sich also allein dadurch mit den Mitarbeitern und dem Unternehmen verbunden fühlen, weil sie sich zur selben Zeit im selben Raum befinden. Aber auch freundliche Empfangsdamen oder andere direkte Kontakte haben den beschriebenen Effekt.

„Wie nett, ich bekomme etwas geschenkt“

Im Sinne realistischer Kontaktsituationen werden die Testpersonen häufig mit Gutscheinen oder Gutschriften incentiviert (die sie zum Beispiel beim Test eines Online-Shops gleich einlösen sollen). Manchmal gibt es auch noch kleine Geschenke oben drauf, die direkt vom Unternehmen gestellt werden und/oder stark „gebrandet“ sind. Wissen die Testpersonen vorher schon, welche „Geschenke“ ihnen der Site-Betreiber machen wird, kann es sein, dass sie das Gefühl haben, etwas zurück geben zu müssen, um das Verhältnis auszugleichen. Wenn die Aufwandentschädigung also sehr großzügig ist und augenscheinlich direkt von dem betreffenden Unternehmen stammt, kann eventuell wohlwollender bewertet und weniger Kritik geübt werden. Das geschieht zumeist unbewusst, da den Testpersonen ja durchaus gesagt wird, dass es um die Verbesserung einer Anwendung und deren Bedienbarkeit geht. Dennoch sollte man sich dessen bewusst sein, dass solche Dankbarkeitseffekte entstehen können und ihnen vorbeugen.

„Der Mann, der die Fragen stellt, ist sehr sympathisch“

Zu guter Letzt kann natürlich auch der Interviewer theoretisch vom Kunden gestellt werden. Gerade wenn ein eigenes Usability-Labor eingerichtet wurde liegt es nahe, einen Mitarbeiter auch entsprechend in der Interviewführung zu schulen. Das spart Kosten und Einarbeitungszeit. Die Testperson sollte jedoch möglichst nicht wissen, dass sie es mit einem Mitarbeiter zu tun hat. Je nach dem welchen Eindruck er oder sie hinterlässt, sieht die Testperson vielleicht über Fehler eher hinweg oder möchte die Anwendung sehr positiv bewerten, um dem Interviewer „einen Gefallen zu tun“.

Im ungünstigsten Fall war der Interviewer selbst an der Entwicklung der Konzepte beteiligt, was sich auch im Frageverhalten widerspiegeln kann. Auch wenn man weiß, dass der Nutzertest Probleme aufdecken soll, ist es doch immer „schöner“, wenn die eigens entwickelte Anwendung gut bedienbar ist und „gut ankommt“. Ein ganz natürliches Verhalten, was weder verwerflich noch komplett zu unterbinden ist. Außer durch die Maßnahmen, einen wirklich unbeteiligten Interviewer einzusetzen (siehe zum Beispiel auch: Die Macht der Neutralität).

Fazit: Ortswechsel!

Die genannten Gefahren bzw. Einflussfaktoren lassen sich zu einem großen Teil minimieren, wenn für einen Usability-Test Räume zur Verfügung stehen, die möglichst wenig Kontakt zum Site-Betreiber herstellen. Schon bei der Auswahl der Testpersonen (Akquise) sollte auf Unabhängigkeit geachtet werden. Gleiches gilt für den/die Interviewer. Wenn derartige Möglichkeiten nicht realisiert werden können, sollte man sich zumindest darüber im Klaren sein, welche Effekte auftreten könnten – dafür sollte der vorliegende Beitrag sensibilisieren. Letztendlich ist jedoch jeder Test besser als kein Test, solang keine falschen Schlüsse gezogen werden, weil methodische Schwächen übersehen wurden.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *