Den Nutzer besser kennenlernen – Tagebuchschreiben mit WhatsApp (Teil 2)

Eine Person tippt sitz auf das Smartphone in ihren Händen.

Was bisher geschah…
14 Tage lang haben die fünf Teilnehmer der Tagebuchstudie sich täglich mit der Lifstyle App MirrorMe beschäftigt und mir anschließend Fragen dazu beantwortet – alles über WhatsApp.
Das Ziel dieser Studie war es (neben der Evaluierung der App) herauszufinden, welche Stärken und Schwächen WhatsApp als Kommunikationsmedium in einer Tagebuchstudie aufweist.

Im Folgenden will ich meine eigenen, subjektiven (!) Learnings dieser Studie beschreiben zu:

    … Organisatorischem und möglichen Technikstolperfallen
    … der Rekrutierung
    … dem Ablauf der Studie und wichtigen Hinweisen für den Erhebungszeitraum
    … der Möglichkeit, die Methode zu erweitern und anzupassen.

Abb. 1: Unübersichtlichkeit durch viele Zeilenumbrüche (oder durch „Mehr lesen“ versteckte Inhalte).

Organisatorisches und Technik

1. Im Vorfeld fällt je nach Studie, Kunde und Kontext eventuell einiges an Datenschutzthemen an. Dies alles über WhatsApp zu regeln kann langwierig, unübersichtlich (s. Abb 1) und ggf. auch unmöglich sein (beispielsweise, wenn eine Unterschrift gefordert wird).

Unter Umständen macht es Sinn per Mail alles Organisatorische zu klären und dann mit Beginn der Studie auf WhatsApp umzusteigen.
Vorsicht: Gefahr eines erhöhten Drop-outs, da mehr Aufwand von den Probanden gefragt ist.

2. Das Feature der Broadcast-Liste von WhatsApp, kann nur funktionieren, wenn die Probanden die Nummer des Versuchsleiters zu ihren Kontakten hinzugefügt haben.

Ein Testlauf verhindert, dass Probleme mit der Technik die Ergebnisse der Studie beeinflussen. Man sollte also unbedingt die Funktionsweise der Broadcast-Listen mit einem Kollegen testen und auch den Probanden Möglichkeiten zu Rückfragen geben.

3. Die Tagebuchstudie biete eine tolle Gelegenheit das Nutzerverhalten über einen bestimmten Zeitraum zu messen. Zusätzlich besteht aber auch die einmalige Gelegenheit die Eingaben der Teilnehmer mit ihren Tagebuchangaben zu matchen. Da heißt es: Ausnutzen!

Vorher überlegen, welche weiteren Daten erhoben werden sollen: demographischen Daten, WebAnalytics-Daten usw.? Das Zusammenführen der subjektiven Daten der Teilnehmer mit den objektiven Daten von bspw. WebAnalystics kann tolle Aufschlüsse geben beispielsweise Tagebucheintrag: „Heute schien die Bearbeitung schneller zu gehen als gestern.“ –> WebAnalytics: war die Eingabe ggf. nicht vollständig? Um wie viel schneller war sie wirklich?
Vorsicht: Sobald es um die subjektive Daten der Teilnehmer geht, unbedingt absichern, ob das mit den Datenschutzrichtlinien der App bzw. der Studienzustimmungserklärung konform geht! Im Prinzip haben die Teilnehmer zugestimmt, ihre Erfahrungen mit der App zu dokumentieren, es wurde aber ggf. nicht abgeklärt, ob ihre Eingaben in der App auch genutzt werden können!

4. Eigentlich klar, aber trotzdem eine Stolperfalle: IOS und Android unterscheiden sich.

Unbedingt zu Anfang mit abfragen, um Kommentare verstehen und die richtige Hilfestellung geben zu können. Übrigens: Das gilt für die gesamte Studie. Um keine Verwirrung zu stiften, sollten die Teilnehmer in gesonderte Broadcast-Listen einsortiert werden. So können Hilfestellungen, Tipps und Anweisungen spezifisch zum jeweiligen Betriebssystem gegeben werden.

Rekrutierung

Wie bei jeder Studie gibt es einen Drop-out. Bei einer Langzeitstudie kann dieser Effekt noch stärker sein, weil den Teilnehmern nicht eine momentane, sondern eine lang andauernde Motivation abverlangt wird.

Überrekrutieren, d. h. mehr Teilnehmer einplanen, als tatsächlich gebraucht werden. Außerdem direkt bei der Rekrutierung anfragen, ob im Erhebungszeitraum ein Urlaub, Auslandsaufenthalt oder eine sonstige Abweichung des normalen Alltags geplant ist. Von den zwei Teilnehmer, die während des Erhebungszeitraums im Urlaub waren, konnte einer wegen mangelndem W-LAN gar nicht, der andere nur unregelmäßig teilnehmen.

Abb. 2: Die Teilnehmer durch individuelle Formulierungen motivieren.

Ablauf der Studie / Erhebungszeitraum

1. Motivation ist der Schlüssel zu regelmäßiger und ausführlicher Beteiligung! Von der Motivation sind das Gelingen und die Ergebnisse der Studie abhängig. Und zwei Wochen sind ein langer Zeitraum. In unseren Ergebnissen ist klar zu sehen, dass die Beteiligung ab der zweiten Woche gesunken ist und weniger bzw. zum Teil gar keine Rückmeldung mehr kam.

Eine Vorformulierung der Texte ist sehr hilfreich, auch um sie mit dem Kunden abzusprechen. Aber immer gleiche Fragen ergeben auch immer gleiche Antworten. Vor dem Abschicken sollten sie also angepasst werden, um eine persönlichere Verbindung zum Teilnehmer herzustellen. Beispielsweise kann man die verbleibenden Tage runter zählen, die Begrüßung an Wochentag/Feiertag/Uhrzeit/Wetter anpassen und sich für die vorangehenden Nachrichten bedanken (s. Abb.2).

Abb. 3: Vorstellen einiger Features, die bisher scheinbar noch nicht entdeckt wurden.

2. Die größten Stärken von WhatsApp sind die Flexibilität und die Möglichkeit auf die Teilnehmer einzugehen. Das sollte – in Maßen – genutzt werden.

In der Studie wurden einige Features auch nach sieben Tagen noch nicht von den Teilnehmern angesprochen. Diese wurden dann kurzentschlossen als „special“ (s. Abb. 3) am Anfang der zweiten Woche per Screenshot vorgestellt. So wurde Abwechslung in die (sonst recht gleichartigen) Reminder-Fragen gebracht und gleichzeitig abgesichert, dass die App in all ihrer Komplexität erfasst wurde.
Vorsicht: Man sollte ein Mittelmaß zwischen einem vorformulierten, allgemeinem Reminder und einem zu hohen Maß an individuellem Eingehen auf die Teilnehmer finden. Die Gefahr besteht, dass die Ergebnisse sonst verzerrt werden, wenn mit dem einen Teilnehmer sehr viel persönlicher Kontakt stattfand und mit dem anderen Teilnehmer dafür kaum.

3. Der Mensch ist ein Gewohnheitstier. Und eine Tagebuchstudie ist etwas Ungewohntes, das man gerne vergisst.

Der Reminder ist essenziell für die Studie. Als Uhrzeit hat sich ca. 20 Uhr als sinnvoll herausgestellt, da die App den ganzen Tag bewerten sollte. Reminder um 17 Uhr störten meist noch im vollen Betrieb und wurden leichter vergessen. Da auch der Versuchsleiter nur ein Mensch ist, kann ein Wecker zur immer gleichen Zeit helfen, den Reminder rechtzeitig abzuschicken. Bewährt hat sich das tägliche Vorschreiben des abendlichen Reminders, so dass dieser nur noch in die Broadcast-Liste kopiert werden musste.

Erweiterungen und Anpassungsmöglichkeiten

  • Bei der laufenden Studie wurde zwar die Möglichkeit der Screenshots genutzt, nicht jedoch die der Sprachnachrichten. Man könnte die Teilnehmer stärker auffordern, auch solche Möglichkeiten zu nutzen, wenn sie beispielsweise wenig Zeit zum tippen haben.
    Vorsicht: Dann muss jedoch dringend mehr Auswertungszeit eingeplant werden, da ein Transkribieren deutlich aufwendiger ist.
  • Um noch persönlicheren Kontakt aufzubauen, könnte auch eine telefonische Anfangs-/Zwischen- und/oder Endevaluation angedacht werden.
  • Für Probanden, die kein WhatsApp haben, könnten alternative Kommunikations-Apps angeboten werden. Auch bezüglich der Datenschutzrichtlinien muss mit dem Kunden abgeklärt werden, ob WhatsApp (bzw. die alternative Kommunikations-App) alle Voraussetzungen erfüllt.
    Vorsicht: Vor der Verwendung alternativer Apps sollte geprüft werden, ob das Erstellen einer Broadcast-List möglich ist. Dies erleichtert das Verschicken der Reminder erheblich. Sollte dies aber nicht möglich sein, ist das einzelne Verschicken über persönliche Nachrichten auch möglich – es müsste nur etwas mehr Zeit dafür eingeplant werden.

Fazit

Abb. 4: Teilnehmer nutzten die Apps zur Veranschaulichung ihrer Probleme.

Meiner Meinung nach, hat sich WhatsApp als Kommunikationsmedium für eine Tagebuchstudie sehr bewährt. In den Ergebnissen der Studie konnte man sehen, an wie vielen unterschiedlichen Orten und Kontexten die Fragen beantwortet wurden (im Zug, bei der Arbeit, beim Campen, auf einer Hochzeit, auf dem Tennisplatz, im Restaurant, …). Ein Laptop oder ein Papier-Tagebuch hätten die Probanden sicherlich niemals dorthin mitgenommen. Mit WhatsApp als Kommunikationsmedium waren sie flexibel wo und wann sie die Fragen beantworten wollten.

Vor allem bei (technischen) Problemen, wurde die Möglichkeit, Screenshots zu schicken zur Veranschaulichung genutzt (s. Abb.4). Auch konnten die Screenshots in die Fragestellungen miteingebunden werden, um beispielsweise bestimmte Features vorzustellen.

Der einzige Nachteil, den man meiner Meinung nach abwägen muss, ist die Gewohnheit, bei Whatsapp eher kurze Nachrichten zu schreiben. Manche Teilnehmer waren in ihren Antworten zwar vollständig, aber relativ kurz und knapp. Auf der anderen Seite schrieben diejenigen Teilnehmer, die Whatsapp über den Computer nutzten, sehr ausführliche Berichte. Diese Möglichkeit wurde zwar am ersten Tag kurz angemerkt, könnte aber den Teilnehmern unbekannt gewesen sein.
Insgesamt wiegen der Vorteil der Flexibilität, der verschiedenen Interaktionsmöglichkeiten und der niedrigen Anschaffungskosten schwerer als der Wehrmutstropfen ggf. kürzere Antworten zu erhalten.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert