Emerald – Prototyping für Conversational User Interfaces?

Kürzlich habe ich eine interessante Entdeckung gemacht, die ich Interessierten nicht vorenthalten möchte. Es geht um ein neues Tool, um Prototypen von Conversational User Interfaces (CUI) zu erstellen bzw. Wizard-of-Oz-Studien durchzuführen.

Doch wozu ein neues Tool? Hier im Blog ist doch schon beschrieben, wie Prototypen von CUI mit Dialogflow erstellt werden können, z. B. in diesem Beitrag oder in diesem. Richtig. Aber diese „herkömmlichen“ Methoden gehen mit einigen Nachteilen einher und ein Versuch, diese zu umgehen, schadet sicherlich nicht.
Das Tool nennt sich Emerald. Florian Oefner entwickelt es gerade – und wir bei eresult durften schon einmal eine Beta Version ausprobieren.

Die Motivation hinter Emerald

Florian Oefner wollte ein Tool, mit dem UX-Professionals schnell und einfach Prototypen von Conversational User Interfaces erstellen können.
Dialogflow ermöglicht zwar das Erstellen von Prototypen – ist aber eigentlich nicht dafür gedacht, sondern um funktionsfähige CUIs zu entwickeln.
Vergleicht man das Bauen eines „grafischen“ Prototypen mit dem CUIs, so fehlt beispielsweise aktuell das vergleichbare Tool zu „invision“; also einem Tool, dass das Erleben der Interaktion ermöglicht, ohne an spezifische technische oder andere Rahmenbedingungen gebunden zu sein.

Und so funktioniert das Ganze

Emerald bietet vereinfacht ausgedrückt eine grafische Oberfläche, um den Prototypen zu bedienen. Anhand eines Beispiels sollte dies klar werden:
Gehen wir mal davon aus, Sie haben ein Konzept eines geplanten Alexa Skills. Sie haben vielleicht eine Flowmap, die den Ablauf schematisch und logisch darstellt. Nun möchten Sie einen Prototypen erstellen und testen – und basierend darauf das Konzept weiterentwickeln.

Wenn Sie Emerald einsetzen, dann wäre der nächste Schritt, die Aussagen des geplanten Skills nun in die entsprechende Oberfläche von Emerald einzutippen (ist so einfach, wie es sich liest).
Nun tauchen diese Aussagen in der grafischen Oberfläche von Emerald auf. Diese lassen sich über einen Mausklick abspielen – und zwar auf einem Amazon Echo Device (mit dem entsprechendem Emerald Skill). Folgendes Bild zeigt ein Beispiel anhand einer Buchungsstrecke für Flugtickets.


Und nun?

Sie brauchen einen Wizard, der das Konzept des Skills und die Flowmap kennt. Das kann meiner Einschätzung nach – ohne spezifische Erfahrungswerte mit Emerald zu haben – auch der Interviewer in einem Test sein. (Während der Interaktion muss/kann der Interviewer keine Fragen stellen).

Soweit. Die Probanden des Tests interagieren dann mit einem Amazon Echo Device und sprechen Ihre entsprechenden Intents aus.
Die speech-to-text Engine wandelt diese Eingabe in Text um – und präsentiert diesen Text auf der grafischen Oberfläche, die der Wizard sieht.

Der Wizard sieht die Nutzereingabe und entscheidet auf Basis dieser, welchen Output der zu testende Skill/Bot nun geben würde – und wählt diesen durch einen entsprechenden Mausklick.
Die text-to-speech Engine wandelt diesen Text in Sprache um und Alexa spricht mit dem Nutzer.
Für den Nutzer ist es also eine „ganz normale Unterhaltung“ mit Alexa – für den Wizard sieht das Ganze so aus:


Welche Vor- und Nachteile bietet der Einsatz von Emerald?

Sie werden sich beim Lesen bis hier bestimmt schon Gedanken gemacht haben, was für und was gegen den Einsatz von Emerald spricht. Ich stelle ein paar relevante Vor- und Nachteile gegenüber:

Nachteile:

  • Es muss einen Wizard geben, der das Konzept und die Flowmap versteht (dies kann ggf. durch die Rollen Wizard und Interviewer in einer Person kompensiert werden).
  • Der Wizard muss im Zweifel schnell entscheiden und reagieren.
  • Ein Prototyp in Emerald kann nicht in einen funktionsfähigen Skill umgewandelt werden – das geht bei Prototypen in Dialogflow schon.
  • Emerald-Prototypen können keine Logik und/oder dynamischen Inhalte abbilden bzw. widergeben. Das heißt Text-Szenarien und Use Cases müssen konkret vorgegeben werden.
  • Man „übergeht“ in gewisser Weise Restriktionen die sich durch das Amazon-Backend ergeben. Das macht den Prototypen eventuell besser/intelligenter als es der finale Skill dann wäre. (Das ist aber mehr oder weniger ein häufiges Problem in Wizard-of-Oz-Studien, und gar nicht so sehr dem Tool zuzuschreiben).

Vorteile:

  • Das „Übergehen“ des Backends bietet auch Vorteile – der Wizard kann Fehler in der text-to-speech Umwandlung kompensieren – und so z. B. dadurch entstehende Verzerrungen in den Probandenbewertungen reduzieren.
  • Die Dokumentation des Tests ist vergleichsweise einfach. Sie brauchen keine Tonaufnahme, um vergangene Interaktionen nachverfolgen zu können. Von dem in der grafischen Oberfläche entstehenden Dialog kann einfach ein Screenshot gemacht werden.
  • Mehrschritte Use Cases oder Interaktionen können unterbrochen, bzw. pausiert werden, um Nachfragen zu stellen oder Details zu evaluieren.
  • Verschiedene Varianten eines Konzepts (sowohl einzelne Aussagen, als auch Flowmaps) lassen sich einfach und unkompliziert umsetzen und vergleichen.
  • Die Nutzer (Probanden) interagieren mit dem „natürlichen“ Device, also z. B. einem Amazon Echo. Dies für Prototypen in Dialogflow zu ermöglichen erfordert einen zusätzlichen Aufwand.
  • Emerald ermöglicht ein sehr effektives iteratives Arbeiten. Konzept-Änderungen können „live“ mit dem Probanden erlebbar gemacht werden, ohne großen „Umbau“-Aufwand.
  • Fazit

    Wenn gewisse Feinheiten noch optimiert werden (z. B. farbliche Kennzeichnung der Aussagen in grafischen Oberfläche, um es dem Wizard zu erleichtern) dann bietet Emerald nützliche Möglichkeiten, schnell, effektiv und iterativ Prototypen von Conversational User Interfaces zu testen und weiterzuentwickeln.
    Also: wir sind gespannt auf die weitere Entwicklung. Wenn Sie auch interessiert sind, bleiben Sie unter www.emerald.tools auf dem Laufenden.

    Portraitfoto: Xaver Bodendörfer

    Xaver Bodendörfer

    User Experience Consultant

    eresult GmbH - Standort München

    Bisher veröffentlichte Beiträge: 16

    Schreibe einen Kommentar

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.