Internationale Usability-Tests: warum die Anwesenheit des Projektleiters vor Ort so wichtig ist

Besonders bei internationalen Usability-Studien in mehr als 2 Ländern, stellt sich immer wieder die kostentechnisch motivierte Frage: „Muss der Projektleiter bei jeder Erhebung im Ausland dabei sein oder aber reicht es aus, per Remote dabei zu sein bzw. gar alles aus der Hand an den lokalen Partner abzugeben?“
Die Antwort: Ja, er sollte bei jeder Erhebung im Ausland dabei sein! Basis hierfür sind die Erfahrungen, die wir bei der Durchführung von internationalen Usability-Studien in den vergangenen Jahren gesammelt haben.

Stehen mehrere Erhebungen parallel im Ausland an, kann natürlich auch ein Kollege aus dem „Lead Team“ stellvertretend für den Projektleiter anreisen und tätig werden. Grundsätzlich sollten Sie jedoch darauf achten, dass Sie zuerst die Erhebung im eigenen Land durchführen. Somit lassen sich die gewonnenen Erfahrungen direkt für die nachfolgenden Länder/Erhebungen nutzen.

Warum ist es so wichtig, dass der Projektleiter vor Ort ist und den lokalen Partner überwacht / die Tests live mitbeobachtet?

In erster Linie zur Sicherung der Qualität und Konsistenz: Er sorgt vor Ort dafür, dass die Research-Ergebnisse valide und vergleichbar sind. Dies hat selbstverständlich auch mit der Auswahl des Partners vor Ort zu tun. Jedoch gibt es eine Menge anderer Punkte, auf die ebenfalls zu achten ist.

Anbei ein Auflistung an Punkten, die Sie beim Testing im Ausland berücksichtigen sollten und die zeigen, warum es so wichtig ist einen Projektleiter vor Ort zu haben:

  • Das „erste Mal“

    Wenn Sie das erste Mal mit einem Partner im Ausland zusammenarbeiten, ist es zwingend nötig, dass Sie sich einen Eindruck vor Ort verschaffen, das Team kennenlernen, ausführlich einweisen und gemeinsam erste Erfahrungen in der Zusammenarbeit sammeln.

  • Der Kunde ist selbst vor Ort

    Sofern Kunden / Ansprechpartner im jeweiligen Land die Tests mitbeobachten möchten, sollte der Projektleiter auf jeden Fall auch vor Ort sein. Nicht nur um die Beziehungen zu pflegen, sondern auch um darauf zu achten, dass der Kunde das lokale Team nicht beeinflusst (mit seinen Ansichten und „gewünschten“ Ergebnissen).
    Übrigens: Ist der Projektleiter vor Ort kann er zudem eingreifen und gegensteuern, wenn die rekrutierten Probanden nicht 100%ig den gewünschten Kriterien entsprechen.

  • Wertvoller Gesamtüberblick

    Durch die Beobachtung aller Tests in den jeweiligen Ländern bekommt der Projektleiter ein besseres Gefühl für die Unterschiede. Selbst unwichtig erscheinende Äußerungen der Probanden, die vom Team vor Ort wohl nicht dokumentiert werden würden, können im Vergleich mit den anderen Ländern Aufschluss über einen wichtigen kulturellen Unterschied geben.

  • Frühzeitiger Kickoff

    Sobald das Studienkonzept für die internationale Usability-Studie steht, sollten Sie mit dem lokalen Partner den Projektplan sichten und die Projektziele durchsprechen. Zudem sollten Sie frühzeitig die Nutzerprofile sichten und eventuelle Herausforderungen bei der Rekrutierung durchsprechen.
    Zuguterletzt sollten Sie Ihre Anforderungen und Wünsche verdeutlichen (Technik, Darstellung von Ergebnissen). Dies ist aus unserer Erfahrung der einzige Kontaktpunkt mit dem lokalen Partner, den Sie auch per Telefon/Online-Meeting abwickeln können.

  • Ausführliches Briefing des Interviewers

    Spätestens einen Tag vor der Erhebung sollte der Projektleiter gemeinsam mit dem Interviewer das Testsetup sichten (Studio, Technik) und den Interviewleitfaden durchgehen.
    Es bietet sich an, den sog. Dry Run/Pretest vor Ort zuerst mit dem Interviewer als Testperson durchzuführen; so kann er das Konzept kennenlernen; erhält ein gutes Gefühl dafür, worauf es beim Test ankommt und kann falls nötig noch Anpassungen vornehmen.

  • Führen Sie Pretests mit 1-2 Probanden durch!

    Ohne Pretest sollten Sie nie einen Usability-Test im Ausland durchführen (lassen). Der Projektleiter sollte diesen unbedingt persönlich mitbeobachten, um Feedback zu geben und Fragen des Interviewers direkt zu beantworten. Kommen mehrere Interviewer zum Einsatz, muss es pro Interviewer mind. einen solchen Probedurchlauf geben.
    Zentrales Ziel des dry runs ist es, dass der Interviewer das Ziel der einzelnen Aufgaben und Fragestellungen versteht (was möchte man herausfinden) – nur so kann er im Testverlauf nachfragen, wenn Probanden unvollständig antworten und Antworten unklar sind.

Folgende Fragen sollten im Pretest geklärt werden:

  • Wie vertraut ist der Interviewer mit dem Thema der Studie? Versteht er die Begrifflichkeiten?
  • Kann der Interviewer eine angenehme, entspannte Atmosphäre für die Probanden schaffen?
  • Wie geht der Interviewer mit unerwarteten Problemen und schwierigen Informationen um?
  • Welche Fragen stellt er (offen/geschlossen)?
  • Kann der Interviewer die Probanden wieder zum Thema zurückführen, wenn diese abschweifen?
  • Ist der Interviewer in der Lage, Aspekte genauer zu erforschen/erfragen? Wenn er die Möglichkeit verpasst, kommt er später auf diese zurück?
  • Kann der Interviewer angemessene Hilfestellung geben (untersch. Levels)

Darüber hinaus sollten Sie folgende Dinge im Pretest klären:

  • Funktionieren der Prototyp / das Testobjekt und das Testsystem störungsfrei?
  • Werden Audio und Video in guter Qualität aufgezeichnet?
  • Ist der Übersetzer gut zu verstehen (Audioqualität)
  • Werden alle Fragen verständlich gestellt?
  • Ist die Länge des Leitfadens angemessen?

Sie merken: all diese Punkte lassen sich am besten überprüfen und sicherstellen, wenn der Projektleiter vor Ort ist und den Pretest nicht nur via Online-Meeting / Telefon beiwohnt.

  • Gemeinsame Debriefings nach jedem Test & regelmäßige Statusberichte am Tagesende

    Planen Sie mehr Zeit zwischen den Tests ein: mind. eine halbe Std. So kann der Projektleiter (Beobachter) vor Ort noch Rücksprache mit dem Interviewer und dem Übersetzer halten. Zudem braucht man im Ausland generell länger, um seine Beobachtungen zu verarbeiten und zu dokumentieren. Auch der Simultanübersetzer braucht ggf. mal eine Pause (sie sollten sensibel dafür sein, da der Übersetzer wirklich viel zu tun hat, weil er wirklich ALLES übersetzen muss).
    Auch wenn der Projektleiter den finalen Report selbst schreibt, der Partner vor Ort sollte zum Abschluss jedes Erhebungstages einen kurzen Report mit den zentralen Findings und Ergebnisse des Tages bereitstellen, damit nichts verloren geht.

  • Kommunikation ist das A&O bei internationalen Studien

    Achten Sie darauf, dass Sie die Partner vor Ort nicht nur als „ausführende Instanz“ betrachten, sondern sie aktiv in das Projekt einbeziehen. Die Partner sollten gut über Ziele und zentrale Fragestellungen informiert werden und auch zwischendurch immer wieder einbezogen werden, wenn es um die Qualitätssicherung geht. Dies ist zwar aufwendig, erhöht aber die Konsistenz und Qualität der Ergebnisse ungemein, da die Mitarbeiter der Partner Ergebnisse auch vor dem Hintergrund der jeweiligen Kultur reflektieren und erläutern können.

Ausnahmefall: wann braucht der Projektleiter nicht zwingend selbst vor Ort sein?

Sollten Sie bereits 2-3 Projekte erfolgreich mit demselben Projektteam Ihres Partners vor Ort durchgeführt haben, ist eine Einweisung als auch die Beobachtung der Tests via Live-Streaming/Telefon durchaus möglich. Auf jeden Fall sollten Sie aber mehr Zeit für die Entwicklung der Methodik, des Leitfadens und für die Kommunikation und Einweisung des Projektteams vor Ort eingeplanen, um eine höchstmögliche Ergebnisqualität zu gewährleisten.

Weitere Artikel zum Thema Internationales Usability-Testing auf usabilityblog.de:

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *