Zwei interessante neue Testing-Tools (Chalkmark & Userfly)

Endlich komme ich einmal dazu, etwas über zwei über die Feiertage entdeckten Online-Tools zu berichten, die für bestimmte Usability-Fragestellungen durchaus Sinn machen (können): Chalkmark und Userfly.

» Chalkmark

Die Web-Applikation Chalkmark von Optimal Workshop (vielleicht bereits bekannt durch die Online-CardSorting-Applikation Optimal Sort) bietet die Möglichkeit, sehr frühe Screens, Mock-ups, Scribbles, Papier-Prototypen, etc. durch eine große Stichprobe testen zu lassen.

Zu jedem Screen lässt sich eine Frage bzw. Aufgabe definieren (siehe dazu oberer Bildschirmrand auf dem nachfolgenden Screenshot). Ziel ist es durch einen Klick auf den eingeblendeten, bereits recht detaillierten Screen, das gesuchte Element bzw. die gewünschte Aktion auszuführen. Somit lassen sich (in der Theorie) beliebig lange Klickstrecken bzw. Interaktionsprozesse testen.

chalkmark: Screenshot einer Beispielfrage bzw. –aufgabe
chalkmark: Screenshot einer Beispielfrage bzw. –aufgabe

Über einen bereitgestellten Mailer lassen sich zusätzlich direkt die Testpersonen zur erstellten Umfrage einladen.

Soviel zur Theorie…
Was ich mich nun frage: Was bekomme ich für Ergebnisse bzw. Erkenntnisse durch dieses Tool. Es liefert mir doch lediglich die Verteilung der Klicks auf den einzelnen Screens. Jedoch wird nicht deutlich, was dazu geführt hat, dass beispielsweise ein bestimmter Button oder Link nicht angeklickt wurde. Lag es daran, dass der Button/Link zu unscheinbar gestaltet war, außerhalb des sofort sichtbaren Bereiches lag (je nach Bildschirmauflösung) und/oder es aber vielmehr ein Wording-Problem war.

Vielleicht bietet einem die „Vollversion“ ja aber noch mehr Möglichkeiten – beispielsweise die Möglichkeit zu einer nachgelagerten Frage, die dann Aufschluss über die Intention bzw. den Grund des Klicks auf das jeweilige Objekt gibt. Darüber habe ich jedoch keine weiteren Informationen gefunden…
Ich bin offen für weitere Tipps bzw. Hinweise!

Nichtsdestotrotz finde ich den Ansatz eines schnell aufsetzbaren Online-Tests für low-fidelity-Protoypen sogar sehr interessant und durchaus sinnvoll.

@Volker Gersabeck von Rapidrabb.it: Wäre das nicht auch noch eine gute Idee für eine weiteres Modul Eures Prototyping Tools? 🙂

» Userfly

Nachdem nun bereits von sehr unterschiedlichen Medienplattformen über das Tool Userfly berichtet wurde, u.a. von meinem „Blogkollegen“ Moritz Habermann auf seinem Blog, möchte ich vielleicht nur einige Überlegungen zu diesem Tool und seiner Anwendungstauglichkeit ergänzen.

Vorab jedoch doch kurz etwa zum Hintergrund bzw. zur Funktion von userfly: Mit userfly lässt sich die Benutzung der eigenen Website visuell analysieren. Sämtliche Aktivitäten der User werden aufgezeichnet und lassen sich als Film abspielen. Userfly erkennt dabei nicht nur Mausbewegungen, Klicks oder die Verwendung von Formularen, sondern registriert auch diverse dynamisch generierte Elemente der Seite.


userfly.com from Chris Estreich on Vimeo.

Anhand dieser kleinen seitenbasierten Videos kann ich also „durch die Augen eines Nutzers sehen“…
Und genau da liegt auch das Problem bzw. sogar direkt mehrere von ihnen 🙂

Ich sehe nämlich nur was er macht, ich denke nicht wie er bzw. ich kann seine Gedanken nicht lesen! Somit bekomme ich also nur einen begrenzten Aufschluss über die reale Nutzung einer Website – eines einzelnen Nutzers wohlgemerkt. Was noch hinzukommt: Bin ich mir über die Intention des gerade betrachteten Besuches im Klaren? D.h. hat der Nutzer mit mitgeteilt, was sein Ziel auf der Website war/ist? Oder muss ich versuche, dies durch eine genaue Interpretation seiner Interaktion mit der Website zu deuten?

Möchte ich gewisse Verhaltensmuster verallgemeinern oder habe ich keine Muße, mir alle Seitenbesuche einzeln zu betrachten, gibt es bei solchen Tools meist sog. Heatmaps/Clickmaps pro Seite – wie man es vielleicht eher von Eyetracking her kennt.
Ob dies nun bei userfly möglich ist oder nicht, kann ich nicht beurteilen. Diese Funktionalität bietet auf jeden Fall m-pathy an.

Clickmap – Visualisierung der Klickverteilung
Clickmap – Visualisierung der Klickverteilung

Heatmap zur Visualisierung der Mousebewegungen
Heatmap zur Visualisierung der Mousebewegungen

Hier ist jedoch aus theorietischen bzw. wissenschaftlichen Sicht anzumerken: Ich kann aus einer Verteilung von Mausbewegungen nur unzureichend auf die Aufmerksamkeitsstärke bestimmter Seitenelemente schließen: Mousetracking ist kein Eyetracking!!! Die Wahrnehmungssteuerung erfolgt beim Auge sehr unterbewusst.

Nun aber wieder zurück zu userfly, bei dem ich sehr starke Parallelen zum Tool m-pathy sehe. Es ist zwar (derzeit noch) kostenlos. Bietet aber nach erster Draufsicht auch nicht so viele Auswertungsfunktionen wie das der Dresdener – das ich schon ein wenig ausführlicher nutzen konnte.
Was in diesem Zusammenhang auch noch einen Blick wert wäre, ist crazyegg und höchstwahrscheinlich noch ein paar weitere Lösungen, die ungefähr auf denselben Anwendungsbereich abzielen.

Für eigene schnell durchzuführende Usability-Test oder im Rahmen einer Voranalyse, um ein Gespür für den realen Umgang mit der eigenen Website zu bekommen oder grobe Fehlerquellen zu identifizieren, ist ein solch skizziertes Tool dennoch sinnvoll und überaus effizient.
Möchte ich aber mehr über Intentionen und Gedanken der Nutzer erfahren, so bleibt mir nur der klassische Labortest oder ein weitaus ausgefeilteres Set-Up inkl. einer integrierten intelligenten Befragung der Besucher. Dies wäre jedoch dann andersherum wieder ein Eingreifen in den realen Nutzungskontext, das jedoch bei einer professionellen Herangehensweise sehr minimiert bzw. unaufdringlich gestaltet werden kann.

Vielleicht haben andere von Euch bereits weitere Erfahrungen im Einsatz der aufgezeigten Tools gemacht oder kennt Ihr vielleicht noch weitere „Perlen“ im WWW?
Dann immer her damit!
Auch für konstruktive Kritik bzw. Anmerkungen bin ich dankbar.

Gruß,
Martin

8 Gedanken zu „Zwei interessante neue Testing-Tools (Chalkmark & Userfly)

  1. Thorsten Wilhelm

    Super Hinweise, finde beide Tools sehr interessant. Sollte man beobachten, wie man diese einsetzen kann, z. B. im Rahmen von größer angelegten Panelstudien. Auch eine Kombination beider Tools wäre aus meiner Sicht denkbar und sinnvoll. Schön, dass sich auf dem Toolmarkt wieder was tut, und wir mit m-pathy und rapidrabb auch Tools am Start haben, die nicht im englischsprachigen Raum beheimatet sind.

    Antworten
  2. Volker

    Hallo Martin,

    Testing ist für RapidRabb.it definitiv ein Thema und da wird es 2009 etwas geben. Aber im Gegensatz zu den von Dir hier vorgestellten Tools, wohl eher was in Richtung qualitatives Testen.

    Volker

    Antworten
  3. Stefan Meißner

    Hallo Martin,

    danke für die Erwähnung unseres Tools. Auch bezüglich Deiner Anmerkungen zu Mouse- und Eyetracking bin ich einverstanden – man kann das nicht 1:1 übersetzen. Nichtsdestotrotz bieten bspw. unsere Heatmaps gute Ausgangspunkte, um Fragen an die Einzelsessions zu stellen. In unseren Analysen springen wir sozusagen immer von der Aggregationsebene zur Einzelsessionebene und zurück, weil wir so auch die Schwere eines Usability-Problems besser verstehen können.
    Eine letzte Anmerkung – und hier kommt mein Soziologiestudium zum Vorschein – man kann nie! die Gedanken anderer und deren Intentionen etc. lesen. Übertragung von Bewusstsein geht einfach nicht (zum Glück!). Aber ich gebe Dir vollkommen recht, dass man in einem Labor die Situation besser kontrollieren kann; man kann ja Aufgaben stellen. Ob damit jedoch die Intentionen des Probanden vollständig erhellt sind, wage ich zu bezweifeln. Bei Mousetrackingtools bekommt man sehr oft durch die Suchbegriffe (entweder via Google oder auf der Seite) eine Vorstellung der Intention des Nutzers oder wenn dieser Nutzer einen bestimmten Prozess durchgehen will (Registrierung, Bestellung etc.), aber natürlich weiss man es nicht immer!

    Antworten
  4. Thorsten Wilhelm

    „Mousetracking“ auf dem iPhone … was ich mich da frag, wie kann man eigentlich bei solchen „Multitouch“ Anwendungen tracken? Gibt es da spezielle Tools? Oder funktioniert das genauso, also z. B. auch mit m-pathy? Haben da aktuell ein Projekt, bei dem eine solche Messung denkbar und sinnvoll sein kann …

    Antworten
  5. Stefan Meißner

    mit m-pathy dürften nur sachen gehen, die vom browser als „mausbewegung“ etc. identifiziert werden. ob das beim iphone der fall ist, und welche gesten das dann genau beträfe, müsste man mal testen.

    Antworten
  6. Oliver

    Hallo,

    ich habe userfly und m-pahty mal ausprobiert. Auf den ersten Blick gefällt mit m-pathy besser weil es in der Vollversionen wohl etwas mehr Auswertungsmöglichkeiten haben scheint.
    Im allgemeinen ist es schon sehr interessant, das Mausverhalten der User zu beobachten. Aber es gibt nur wird einen Bruchteil davon wieder, was der User denkt/wahrnimmt. Teilweise nutzen die User die Maus recht zum scrollen und das sagt ja nicht wirklich viel darüber aus, worauf sie sich gerade konzentieren.

    Eine Erkenntnis konnte ich allerdings erlangen. Die User die lesen doch recht häufig Texte wirklich durch und Links die man unten auf der Seite platziert werden doch recht häufig wargenommen. Dachte immer die gehen eher unter…

    Antworten
  7. Pingback: Prototyping-Tools: Die Qual der Wahl – auch (noch) im Jahre 2010 | usabilityblog

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *