New York, Rio, Tokyo,…International Usability Testing

An das One-Hit-Wunder von Trio musste ich vor kurzem denken, als mehrere Mitarbeiter von uns parallel Usability-Tests im Ausland begleitet haben.
Mal ganz abgesehen davon, dass ich zeitgleich „nur“ in unserem Hamburger Büro saß und nicht in New York, Mailand oder Shanghai verweilen durfte: wenn es um die Vorbereitung, Durchführung und Auswertung internationaler Studien geht, gilt es einige Hürden zu meistern, die bei lokalen Tests nicht auftreten.

Die nachfolgenden Learnings stammen aus qualitativen Fokusgruppen (Gruppendiskussionen) und Usability-Tests, die wir in den vergangenen Monaten durchgeführt haben. Hierbei haben wir einige Meilen sammeln können, immerhin waren wir u.a. in Italien, Frankreich, Russland, USA und China.
Mehrsprachige Online-Befragungen habe ich bewusst ausgeklammert. Abgesehen von der richtigen Übersetzung als auch der Berücksichtigung kultureller Unterschiede beim Antwortverhalten sind hier keinerlei andere Besonderheiten zu berücksichtigen;-)

1. Tests im Ausland sind teurer
Abgesehen davon, dass ggf. zusätzlich ein Simultandolmetscher von Nöten ist, ist es oft so, dass das Preisniveau, wie z. B. den USA, aber auch in Asien für User Experience-Beratung, aber auch Marktforschung weitaus höher ist. Die üblichen Tagessätze liegen hier deutlich über der 1.000 Euro-Grenze. Eine detaillierte Übersicht darüber finden Sie z. B. im kostenpflichtigen ESOMAR-Report „Global Prices Study 2010
Bei der Kalkulation/Budgetierung ist diese Tatsache nicht gerade unwichtig; ansonsten sind böse Überraschungen vorprogrammiert.

2. Remote, Vor-Ort-Sein oder ganz aus der Hand geben?
Grundsätzlich stellen wir uns auch immer wieder dieselben Fragen: Beauftragen wir eine Partneragentur im Ausland mit der gesamten Durchführung inkl. Auswertung? Ist unser Projektleiter zumindest bei der Erhebung als Beobachter mit dabei und schreibt den Report? Oder aber verfolgt er die Tests lediglich per Live-Streaming/verfolgt die Videos der Testsessions nachträglich?

Letztendlich kommt es auf folgende Faktoren an, die nahezu immer zur einer der folgenden Varianten führen:

  • Ist der lokale Kunde vor Ort bzw. möchte die Tests mitbeobachten? Dann sollte auch der Testleiter vor Ort sein, schon allein aus Gründen der persönlichen Nähe, aber auch um aufkommende Fragen bestmöglich zu klären.
  • Bestehen bereits positive Projekterfahrungen mit der jeweiligen Partneragentur? Wird vermehrt auf die Kosten geachtet? Dann ist die Verfolgung der Tests via Live-Streaming das probate Mittel. Aber Achtung: bei der Beobachtung von Fokusgruppen ist das auch nicht zwingend „günstig“. Highend-HD-Lösungen, wie z. B. FocusVison kosten schnell über 1.000 Euro pro Tag.
  • Ist es eine Mehr-Länder-Studie oder nur ein Test im Ausland? Können die Erhebungen sequentiell durchgeführt werden oder aber parallel aufgrund eines straffen Timings? Danach entscheidet sich (in Verbindung mit bereits bestehenden Erfahrungen mit dem jeweiligen Partner), ob die Auswertung durch das eigene Team/den eigenen Projektleiter erfolgen kann, oder aber auch vom Partner kommt.

3. Partnerschaften sind das A&O
Exklusive Partnernetzwerke hin oder her: wichtig ist, dass man sich bereits kennt, weiß wie der andere arbeitet und bestenfalls Standards in Sachen Rekrutierung, Erhebung und Auswertung vereinbart hat. Solche Dinge sind erfahrungsgemäß viel wichtiger und tragen deutlich stärker zur Ergebnisqualität bei als ein vermeintlich 5% günstigerer Anbieter, mit dem man noch nie zusammengearbeitet hat.

4. Mit dem Studienkonzept steht und fällt die gesamte Studie
Die Studienkonzeption ist das A&O; besonders wenn verschiedene Moderatoren/Interviewer damit zurechtkommen müssen. D.h., die Aufgabenstellung als auch die Zielerreichung (inkl. Lösungsweg) muss klar sein). Die Definition von Metriken erleichtert die länderübergreifende Vergleichbarkeit. (Siehe dazu: Messen, zählen, vergleichen – diese Metriken können Usability-Tests bereichern) Zudem sollten Sie immer überprüfen, ob die gestellten Aufgaben auch länderübergreifend funktionieren, oder ob man gewisse Abänderungen vornehmen muss. Dies sollte sich spätesten im Probedurchlauf (dry run) des Tests (durchgeführt durch den Partner) zeigen. Bestenfalls jedoch schon vorab im Briefing des Interviewers. Hier lassen sich auch ggf. noch Formulierungsschwächen, wenn Sie das Studienkonzept extern übersetzen lassen, durch den Muttersprachler ausbügeln.

5. Andere Länder, andere Sitten…
… aber auch andere Inzidenzen! Achten Sie besonders darauf, wie der Marktanteil im jeweiligen Land ist, ob und wie sich die Zielgruppen im „Testland“ von der in Deutschland unterscheiden.
Selbstverständlich sind auch die anderen kulturellen Aspekte zu berücksichtigen. Erst letztens zeigte sich dies wieder beim Testing in den USA. Trotz erheblicher Probleme bei der Aufgabenbearbeitung war alles seitens der Probanden – auch auf Nachfrage – „Großartig“ und „Einfach zu bedienen“. Die gleiche Situation im kritisierfreudigen Deutschland können Sie sich dann ja wohl vorstellen. Schon aus diesem Grunde würde ich übrigens immer einen Muttersprachler einem bilingualen Researcher vorziehen. Er kennt diese Feinheiten und weiß entsprechend zu reagieren.

6. Weiterführende Links
Anbei noch einige weitere Quellen zu diesem spannenden und aus meiner Sicht sehr zukunftsträchtigen Thema:

Ich hoffe, auch für die erfahrenen UX-Professionals war die eine oder andere Neuigkeit dabei. Über einen Erfahrungsaustausch würde ich mich wie immer freuen.

9 Gedanken zu „New York, Rio, Tokyo,…International Usability Testing

  1. Heidi D.

    Hallo Herr Beschnitt,

    ich muss auch sagen, dass es ein sehr interessanter und informativer Artikel ist. Ich hoffe in Zukunft mehr davon lesen zu können. 🙂

    Liebe Grüße
    Heidi

    Antworten
  2. Pingback: 10 Lesetipps der Woche für Shopbetreiber » shopbetreiber-blog.de

  3. Martin Beschnitt

    Hallo zusammen, vielen Dank für das bisherige Feedback. Haben Sie ggf. selbst schon Erfahrungen im internationalen Umfeld gemacht? Mit welchen Herausforderungen hatten Sie zu kämpfen?

    Antworten
  4. Pingback: Monatsrückblick – Top Themen im April: International Usability Testing, Ergonomie am Arbeitsplatz, Produktsuchmaschine | Usabilityblog.de

  5. Pingback: Kosten und Aufwände von internationalen Usability-Tests | Usabilityblog.de

  6. Pingback: Internationale Usability-Tests: warum die Anwesenheit des Projektleiters vor Ort so wichtig ist | Usabilityblog.de

  7. Pingback: UX Masterclass, Internet World und Mensch & Computer – auch 2013 gibt es wieder tolle Veranstaltungen für Usability Professionals | Usabilityblog.de

  8. Pingback: 15 Jahre eResult: WIR SIND UX - eResult erfindet sich neu (2012 – 2014) - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *