Wie werden Usability-Tests mit Sprachsteuerungen/-assistenten durchgeführt?

Die Entwicklungen in letzter Zeit zeigen, dass sich die Interaktion mit technischen Geräten über Sprache weiterverbreiten wird. Der Veranstalter der CES spricht davon, dass die Sprachsteuerung langfristig grafische Benutzeroberflächen ablösen wird.
Je weiter sich die Sprachsteuerung bzw. die Sprachassistenten wie z. B. Amazon’s Echo verbreiten, desto mehr muss über die Usability und Benutzerfreundlichkeit von sprachlichen Interfaces nachgedacht werden.
Tipps und Verbesserungsvorschläge zur Usability/UX geben wir bei eresult nicht „aus dem Bauch heraus“, sondern evidenzbasiert. Eine dazu anwendbare Methode ist der klassische Usability-Test. Aber lässt sich diese Methode auch auf ein sprachliches Interface anwenden?

In diesem Artikel werden Besonderheiten dargestellt, die sich bei Usability-Tests mit sprachlichen Interfaces gegenüber „klassischen“ Tests an Computern oder mobilen Devices ergeben.

1. Herausforderungen aufgrund der Modalität

Um das Fass nicht zu weit aufzumachen, beschränke ich mich bei dem Thema Modalität zunächst auf die Eingabemodalität. Bei Systemen ohne Sprachsteuerung werden z. B. die Maus, Tastatur, Touchscreens oder Buttons als Eingabemöglichkeit genutzt. Bei sprachlichen Interfaces wird der Input gesprochen. Das bringt folgende Besonderheiten beim Testen eines sprachlichen Interfaces mit sich:

• Interferenz zwischen den Fragen des Interviewers und den Interaktionen (= sprachliche Eingaben) des Probanden, sowie den (sprachlichen) Ausgaben des Systems. Der Interviewer kann also während der Interaktion keine Nachfragen stellen.
• Die Methode des lauten Denkens kann nicht angewandt werden, bzw. nur retrospektiv angewandt werden. Während der sprachlichen Interaktion mit dem System ist die Aussprache der Gedanken für den Probanden unmöglich.
• Es kann zu Fehlauslösungen/Fehlerkennungen kommen durch die Aussagen des Versuchsleiters.
• Die sprachlichen Eingaben können aufgrund von Dialekten oder unterschiedlichem Sprachgebrauch sehr unterschiedlich sein. Neuere Systeme können dies abdecken, z. B. von Ford.

2. System-/technikbedingte Herausforderungen

Neben den Besonderheiten, die sich durch die Modalität für einen Usability-Test mit sprachlichen Interfaces ergeben, stellen auch die technischen Gegebenheiten gewisse Herausforderungen:

• Heutzutage ist es dank einiger Tools relativ leicht möglich, Prototypen von Webseiten oder Apps zu bauen und zu verändern, so dass ein „schnelles“ iteratives Testen stattfinden kann.
  Beim Testen einer Sprachsteuerung ist so ein Vorgehen schwerer umsetzbar. Ich kenne keine Tools, die es ermöglichen relativ schnell und einfach einen Prototypen eines Alexa-Skills zu bauen oder bestimmte Eigenschaften von diesem zu ändern.
• Als Alternative verweise ich auf die Wizard-of-Oz Methode. Mein Kollege Jan Pohlmann beschreibt das ansatzweise für die Sprachsteuerung von Smartwatches. Die Herausforderung die ich hier sehe ist, dass der Wizard (= derjenige, der die Sprachsteuerung simuliert) das Verhalten und die Kompetenzen des Systems ziemlich genau lernen muss. Das kann bei Systemen mit vielen Funktionen aufwändig werden.
• Betrachtet der Nutzer eine grafische Oberfläche, dann bestimmt er selbst die Geschwindigkeit der Informationsaufnahme. Der Nutzer liest in seiner präferierten Geschwindigkeit, er scrollt so schnell/langsam wie er möchte, und muss erst „weiter“ machen, wenn er bereit dafür ist. Sprachliche Interfaces (ohne grafische Oberfläche, z. B. Amazon Echo) bieten diese Möglichkeit nicht. Die Geschwindigkeit der Sprachausgabe des Systems ist fix. Der Nutzer ist gezwungen, seine Informationsaufnahme an diese Geschwindigkeit anzupassen.

3. Herausforderungen aufgrund der Erfahrungen und Eigenschaften der Probanden

Ein letzter Aspekt, aus dem sich einige Herausforderungen ergeben, sind die Erfahrung und die Eigenschaften der Probanden. Werden neue Apps oder Webseiten getestet, so sind die grundlegenden Interaktionsprinzipien bekannt: das Scrollen einer Webseite, das zielgenaue Touchen auf ein Display, etc. Die Interaktion über Sprache dagegen ist für viele neu und ungewohnt. Für Usability-Tests mit sprachlichen Interfaces bedeutet das:

• Die Probanden haben eventuell Berührungsängste zu Beginn des Tests. Bisher bekannte Interaktionsmuster lassen sich nicht anwenden. Erlernte Fall-Backs, wie z. B. der Klick auf das Logo links oben auf der Webseite, der zurück zur Startseite führt, sind nicht einsetzbar.
• Das Nutzen eines sprachlichen Interfaces birgt hohes Lernpotential. Nach dem die Berührungsängste verloren sind, kann die notwendige Sprache/Satzbau/Wortwahl zügig erlernt werden. Und dann ändern sich die Anforderungen an das System, z. B. hinsichtlich der Geschwindigkeit der Informationsdarbietung, siehe dazu auch unter Punkt 2.
• Neben der erfreulichen steilen Lernkurve bietet die Interaktion mit sprachlichen Interfaces auch ein hohes Frustrationspotential. Dazu führen mehrere Faktoren:
  • Durch erste erfolgreiche Interaktionen entstehen hohe Erwartungen an das System. Die sprachlichen Interfaces werden überschätzt. Im Laufe weiterer Interaktionen werden diese hohen Erwartungen letztendlich nicht erfüllt.
  • Aufgrund mangelnder Erfahrung mit sprachlichen Interfaces werden die Fehler/Bedienprobleme internal attribuiert. Der Nutzer begründet die Misserfolge nicht durch das System, sondern durch sein eigenes Verhalten.
  • Durch sprachliche Interfaces werden den Systemen menschliche Eigenschaften zugesprochen, die Systeme werden sozusagen vermenschlicht. Das zeigt sich zum Beispiel darin, dass sich Nutzer nach einiger Zeit bei den Systemen bedanken.

  Diese drei Aspekte können dazu führen, dass sich Nutzer bzw. Probanden im Laufe der Interaktion mit sprachlichen Interfaces frustriert fühlen – und zwar stärker als beim Testen einer Webseite oder App.

Fazit:

Der Artikel beschreibt einige Herausforderungen bei der Durchführung von Usability-Tests mit Sprachsteuerungen oder sprachlichen Interfaces. Festgehalten werden sollte dennoch: Werden ein paar Spezifika von sprachlichen Interfaces berücksichtigt, dann lässt sich die Methode des Usability Tests sehr gut bei sprachlichen Interfaces anwenden, um Nutzungsprobleme zu finden und die UX zu verbessern.
Abschließend möchte ich mich bei Jens Jacobsen bedanken, der mir sehr wertvollen Input für diesen Artikel geliefert hat.

Welche Erfahrungen haben Sie mit Sprachsteuersystemen/-assistenten gemacht? Ich freue mich auf Ihre Kommentare.