Die Angst vor intelligenten Systemen

OPENER

Wer hat die Kontrolle?

Stellen Sie sich vor, Sie wachen morgens auf und werden von Kaffeeduft geweckt, der von Ihrer vernetzten Kaffeemaschine in Ihrer Küche her strömt. Langsam öffnen sich die Jalousien. Das Bad wurde währenddessen bereits automatisch auf Ihre Wunschtemperatur vorgewärmt. Ihr SmartHome-System kennt Sie mittlerweile gut und hat sich an Ihre Gewohnheiten angepasst. Nach dem Aufstehen schauen Sie kurz auf Ihr Smartphone, das Ihnen berichtet, welche Termine heute anstehen. Darauf abgestimmt teilt es Ihnen mit, dass Sie heute lieber 5 Minuten früher losfahren sollten, um nicht zu spät zu kommen. So genannte Intelligente Systeme ermöglichen dies bereits—jedenfalls in der Theorie.

Mit diesen und anderen (Zukunfts-)Themen beschäftigt sich der BITKOM Fachausschuss „Usability & User Experience“, der dieses Mal bei IBM iX Design Studio in Hamburg tagte. Wir von eResult waren mit einem spannenden Beitrag zum Thema „Angst vor künstlicher Intelligenz“ vertreten. Vorab sei schon einmal verraten, dass die im Titel erwähnte „Angst“ unter anderem aus einer Missachtung der seit den 90er Jahren bekannten Usability-Dialogprinzipien resultiert. Die Akzeptanz neuer Technologien könnte durch deren konsequente Beachtung wesentlich größer sein.

Das Gefühl der Angst ist bekanntlich ein natürlicher Urinstinkt, der uns vor Schaden schützen soll. In dem Film „2001: A Space Odyssey“ beschreibt Stanley Kubrick ein Szenario in dem HAL 9000, das Intelligente System des Raumschiffs Discovery, für die Versorgung der Crew verantwortlich ist. Aufgrund eines Computerfehlers muss die Crew ihn abschalten. Nachdem er dies herausfindet, wendet er sich gegen sie und versucht wiederum die Besatzung auszuschalten.

Dieses Szenario ist zwar sehr fiktiv, kann jedoch sehr gut auf unsere Realität übertragen werden. Wir müssen freilich nicht damit rechnen, dass unser vernetzter Kühlschrank demnächst diabolische Rachegedanken hegt, wenn wir wieder einmal die Kühlschranktür zu lange geöffnet lassen. Jedoch sollten wir uns die Frage stellen: Wie viel Kontrolle haben wir als Nutzer über die Systeme, deren Berechnungen, Entscheidungen und Empfehlungen, die unseren Alltag beeinflussen? Intelligente Systeme kommen bereits heute in vielen Bereichen zum Einsatz und kennen uns meist besser als wir uns selbst. Die eigentliche Datensammlung und Verarbeitung passiert meist für den Nutzer unsichtbar in einer Art Black Box. Er kennt oft nur das Ergebnis. Wie wird der Mensch mit seinen Bedürfnissen dabei aktuell repräsentiert? Was sind die Treiber und Barrieren intelligenter Systeme?

Vertrauen gegenüber Intelligenten Systemen gering

Angst vor Hackerattacken, Sorgen um die Privatsphäre und der hohe Preis gehören laut einer von Statista durchgeführten Umfrage zu den Hauptgründen für das Ablehnen von Smart-Home-Anwendungen im Haushalt (statista 2015; Gründe für die Ablehnung von Smart-Home-Anwendungen in Deutschland 2015; n=1300). Ein weiterer Faktor sei die fehlende Transparenz: In einer Umfrage von Deloitte gab fast ein Viertel der Befragten an, zum einen keinen Mehrwert in den Smart-Home-Systemen zu erkennen, zum anderen fühlen sich 19 % der Befragten unzureichend über das Angebot informiert. Des Weiteren wünschen sich die Nutzer Kontrollmöglichkeiten und würden ihre Nutzerdaten nur teilweise freigeben wollen (Deloitte 2015; Smart Home Survey 2015; n = 1000).


Umfrage fehlendes Interesse HomeTechnologie

Gründe für fehlendes Interesse an Smart Home-Technologie. Quelle: Deloitte Smart Home Survey 2015; n = 1000


Noch kritischer sieht es mit dem Vertrauen gegenüber den Anbietern aus: Fast die Hälfte der Befragten traut keiner Anbietergruppe den verlässlichen Umgang mit Daten zu oder ist sich darüber noch unsicher (ebd.)


Umfrage fehlendes Vertrauen HomeTechnologie

Vertrauen in Unternehmen gering. Quelle: Deloitte Smart Home Survey 2015; n = 1000.


Um eine Idee von den genannten Ängsten und Befürchtungen zu erhalten, möchte ich Ihnen ein paar Beispiele vorstellen und die dazu gehörigen Treiber und Barrieren präsentieren.

GOOGLE NEST

Googles Smart-Home-System NEST kann mit dem Szenario recht viel anfangen, das ich Ihnen zu Beginn dieses Artikels vorgestellt habe.


NestLearning Thermostat

NEST bezeichnet Googles Smart-Home-System bestehend aus selbstlernenden Raumthermostaten und Rauchmeldern, Quelle: Wikipedia


Treiber

  • Durch selbstlernende Algorithmen und die Orientierung an menschlichen Verhaltensweisen passt sich das Smart-Home-System an den Nutzer an.
  • Es programmiert sich selbstständig und ist transparent in den Statusänderungen.
  • Die Usability ist durch ein einfach zu verstehendes Display und direkte Eingreifmöglichkeiten gut. Das System gibt nach einigen Tagen Feedback darüber, was es gelernt hat. Der Nutzer hat somit Kontrolle über die Einstellungen. Hierdurch werden bekannte Heuristiken wie Visibility of system status, User control and freedom, Recognition rather than recall weitestgehend umgesetzt.

Barrieren

  • Google erhält noch mehr Daten. Um gewisse Funktionen zu ermöglichen, müssen große Datenmengen gesammelt und ausgewertet werden.
  • Aus Nutzersicht stellt sich die Frage, was mit den gesammelten Daten passiert. Werden diese verkauft? Dies ist weniger eine Frage der Usability, mehr eine Frage der Kontrolle.

AMAZON ECHO

Amazon verkauft in den USA seit Ende 2014 den sprachgesteuerten Assistent „Amazon Echo“. Dieser soll die Amazon-Dienste direkt ins heimische Wohnzimmer führen. Die vernetzte zylinderförmige Lautsprecher-Mikrofon-Kombination wird in der Umgebung platziert und wartet auf sprachliche Nutzerbefehle.


Amazon_Echo

Amazon „Echo“, Quelle: Wikipedia


Treiber

  • Amazon „Echo“ soll Nutzern bei den täglichen Fragen des Alltags und der Entscheidungsfindung, unter anderem durch passende Amazon-Empfehlungen, unterstützen.

Barriere

  • Vertrauen: Es geht wieder um die unsichtbaren Nutzerdaten. Amazon „Echo“ lauscht permanent und überträgt die Daten auf Amazon-Server. Gegenüber dem Nutzer gibt es keine Transparenz, was mit den Daten passiert und wie diese verarbeitet werden. In den Nutzerforen von Amazon tummeln sich seit Einführung Beiträge skeptischen Nutzern über mögliche Risiken für die Privatsphäre. Ebenso äußerte sich Ellen Ullman, eine bekannte Autorin und Programmiererin aus Scan Francisco in The Guardian kritisch über das Verschwimmen der Grenzen zwischen Privatsphäre und den Services großer Firmen: “The boundary between the outside world and the self is penetrated. And the boundary between your home and the outside world is penetrated. […] It’s going to give you services, and whatever services you get will become data. It’s sucked up. It’s a huge new profession, data science. Machine learning. It seems benign. But if you add it all up to what they know about you … they know what you eat.”

TIVO

Das intelligente Systeme auch interessante Nutzerempfehlungen produzieren können, zeigt der ‚intelligente‘ Video-Recorder TiVo.


tivo_front

TiVo Video-Recorder. Quelle: Wikipedia


Treiber

  • TiVo integriert selbstlernende Algorithmen mit der Funktion eines Video-Recorders. Auf Basis gesehener Fernsehsendungen nimmt TiVo automatisiert Programme auf, von denen es „annimmt“, dass der Nutzer diese mag.

Barrieren

  • Personalisierungs-Technologien sind fehleranfällig. So gibt es keine direkte Kontrollmöglichkeiten über die Algorithmen, die nur indirekt beeinflussbar sind.
  • Zweifelhafte Bekanntheit erlangte TiVo durch den Wall-Street-Journal-Artikel ‚If TiVo Thinks You Are Gay, Here’s How to Set It Straight‘ in dem ein Nutzer von seinen Erfahrungen berichtet: „Mr. Iwanyk, 32 years old, first suspected that his TiVo thought he was gay, since it inexplicably kept recording programs with gay themes. He tried to tame TiVo’s gay fixation by recording war movies and other ‚guy stuff‘.“ „Mr. Iwanyk says: ‚The problem was, I overcompensated, […]‚It started giving me documentaries on Joseph Goebbels and Adolf Eichmann. It stopped thinking I was gay and decided I was a crazy guy reminiscing about the Third Reich.‘“

Dies Beispiel mag zunächst lustig erscheinen. Es beschreibt jedoch eine wesentliche Herausforderung: sich ständig ändernde Nutzergewohnheiten. Diese können schlecht mit Algorithmen erfasst und vorhergesagt werden.

HELLO BARBIE

In der Spieleindustrie erweiterte vor einiger Zeit der US-Konzern Mattel sein Produkt Barbie um eine Variante mit integriertem semi-intelligenten System: Die „Hello Barbie“.


Treiber

  • Die Simulation einer personalisierten, interaktiven Unterhaltung.

Barrieren

  • Ähnlich wie bei den bereits präsentierten Produkten wird dem Nutzer nicht verständlich, wie seine Daten verwendet werden. Mit Kindern als Hauptzielgruppe nimmt das Produkt ebenso Einfluss auf deren Privatsphäre. In der Presse wird das Produkt besonders wegen der möglichen Auswirkungen auf die Kindesentwicklung kritisch betrachtet. Mittlerweile konnten Sicherheitsforscher den integrierten WLAN-Port des Barbie-Systems hacken und den jeweiligen Standort der Barbie (damit wahrscheinlich auch des dazugehörigen Kindes) ermitteln. Der Sicherheitsforscher Matt Jakubowski äußert sich treffend: „You can take that information and find out a person’s house or business. It’s just a matter of time until we are able to replace their servers with ours and have her say anything we want.“
  • Würden Sie Ihr Kind mit einem ferngesteuerten, möglicherweise leicht manipulierbaren Spielzeug allein lassen, von dem Sie nicht wissen, was es ihrem Kind eintrichtert? Eine YouTube-Nutzerin fasst ihre Sorgen in einem Kommentar zum oben genannten YouTube-Video treffend zusammen: „A Part of me thinks this is really cool. The other part of me worries that children should be interacting with each other and not their electronics. We’ve got a generation of people who only communicate via text message, or kids who stay inside all day glued to their screen, because talking to people in person is too scary. I also feel like it takes away from the imagination part of Barbie. When I played with Barbie, I loved that she could be whoever I wanted her to be. Sometimes she was an explorer. Sometimes she was doctor. I didn’t need her to talk back to me because I liked deciding what she was going to say… I don’t know. I’m torn on this.“
  • Aufgrund der gescripteten Sätze sind „echte“ Konversationen nicht möglich und es kommt zu Missverständnissen.

Intelligente Agenten: Mehr Menschlichkeit – bessere UX?

Ein Ziel von intelligenten Systemen ist es, Nutzern durch die Kombination verschiedener Inputmöglichkeiten (Sprache, Gestik-Erkennung, Mauseingabe etc.) eine menschenähnliche Interaktion zu ermöglichen. Das gleiche Prinzip wird auch bei so genannten virtuellen Agenten angewendet.

Treiber

  • Wer bereits einmal bei IKEA die Suche benutzt hat, wird auf den Chat-Bot „Anna“ gestoßen sein. Durch die Abbildung einer menschenähnlichen Gestalt soll dabei nicht nur die Gebrauchstauglichkeit, sondern auch die Nutzererfahrung verbessert werden. Die Interaktion funktioniert nur so lange gut, wie der Nutzer korrekte Antworten erhält.
  • Aktuell scheint Anna im virtuellen Winterurlaub zu sein und ist auf der IKEA-Seite nicht verfügbar. Alternativ empfehle ich CleverBot. Die Seite kommt zwar ohne visuell-virtuelles Gegenüber aus, es lassen sich trotzdem interessante Unterhaltungen führen.


IKEA_ANNA

Der interaktive Chat Bot „Anna“ von IKEA. Quelle: IKEA.

Barrieren

  • Darüber hinaus ist keine richtige Konversation möglich, da nur vorgefertigte Antwortmöglichkeiten abgerufen werden können. „Anna“ ist somit nicht gerade intelligent, was selbstverständlich nicht im Zusammenhang mit ihrer Haarfarbe steht.
  • Weiterhin bedingt höhere Menschenähnlichkeit nicht immer eine bessere Nutzererfahrung. Wirkt das intelligente System in Form eines virtuellen Agenten „zu menschlich“, wird es uns unheimlich und wir lehnen es im Allgemeinen ab. Dieser vom Entdecker Masahiro Mori genannte „Uncanny Valley-Effekt“, ist in der nachfolgenden Abbildung dargestellt.



Uncanny_Valley_Wiki

Darstellung des Uncanny-Valley-Effekts mit Einordnung verschiedener Objekte und Kreaturen. Quelle: Wikipedia


Der japanische Robotiker Dr. Ishiguro hat den Uncanny-Valley-Effekt auf die Spitze getrieben, indem er ein Interface nach seinem Ebenbild entwickelt hat. Es sei zudem angemerkt, dass sich Ishiguro Gesichtsoperationen unterzogen hat, um seinem Roboter-Ebenbild so ähnlich wie möglich zu sein (was den Gruselfaktor nicht gerade mindert). In dem nachfolgenden Video sehen Sie Ishiguro und den Roboter Geminoid HI-1.


Beispiel für das Uncanny Valley: Ishiguro und der nach seinem Ebenbild gebaute Geminoid HI-1.

Fazit:

Zurück zur Eingangsfrage: Wie wird der Mensch mit seinen Bedürfnissen repräsentiert?

Alle hier vorgestellten Produkte zeigen, dass sie zum einen versuchen, ein möglichst menschenfreundliches Interface zu bieten und die Interaktion zu vereinfachen. Dies gelingt jedoch nur teilweise. Oder um ehrlich zu sein: Sie sorgen für einen ordentlichen Gruselfaktor! Zum einen scheitert es an der technischen Realisation, zum anderen werden meist große Datenmengen benötigt, damit Funktionen korrekt arbeiten können. Aber auch der Versuch ein Interface stark zu vermenschlichen, bringt uns hier nicht weiter. Besonders bei der Entwicklung ungewohnter/neuer Interaktionsmöglichkeiten wie der Sprachsteuerung werden meist die grundlegenden – seit den 90er Jahren bekannten Usability-Prinzipien nicht beachtet. Für alle, die sich diese noch einmal in Erinnerung rufen wollen, hier Nielsens 10 Usability-Prinzipien zum Herunterbeten, an die Wand/den Kühlschrank/den Entwicklerkopf nageln:

  1. Visibility of system status
  2. Match between system and the real world
  3. User control and freedom
  4. Consistency and standards
  5. Error prevention
  6. Recognition rather than recall
  7. Flexibility and efficiency of use
  8. Aesthetic and minimalist design
  9. Help users recognize, diagnose, and recover from errors
  10. Help and documentation

Klar ist: die Entwicklung intelligenter Systeme ist unaufhaltsam, ebenso ihr Vordringen in unseren Alltag und der Privatsphäre. Daher bleibt für die Zukunft zu hoffen, dass in der Entwicklung nicht nur die grundlegenden Usability-Prinzipien berücksichtigt werden, sondern auch die Einbeziehung des Nutzers durch stetige Evaluationen im Vordergrund bleibt. Nielsen & Norman haben dies in folgendem Zitat treffend zusammengefasst:

„No matter how different the technology, the people who are using it haven’t changed. And most usability principles have more to do with human capabilities and limitations than with technology.”

Die Akzeptanz steigt, wenn Technik sich unseren Bedürfnissen und Fähigkeiten unterordnet. Das heißt auch Funktionen zu entwickeln, die uns im Alltag einen wesentlichen Mehrwert bieten, transparent in ihren Funktionen sind und gleichzeitig die Kontrolle beim Nutzer lassen. Verbraucher sind nicht dumm, das haben die präsentierten Umfragen deutlich gemacht. Firmen sollten offensiv das Thema Privatsphäre nutzen und ihren Verbrauchen den sicheren und positiven Umgang vermitteln. Das gelingt jedoch nicht mit gefühlt 10-Seiten-langen, auf Schriftgröße 9 gedruckten AGBs. Gerade in einem Bereich, in dem sensible Daten der Treibstoff für die Entwicklung zukünftiger interaktiver Systeme ist, ist gewonnenes Nutzervertrauen ein unschätzbares Gut.

Die Roadshow des Fachausschusses „Usability & User Expericence“ tagt das nächste Mal im Sommer bei der Deutschen Post in Bonn und anschließend im Herbst bei Google München. Wir laden Sie gerne ein, dabei zu sein!

Was halten Sie von der Entwicklung intelligenter Systeme in unserem Alltag? Fühlen Sie sich bereits durch Ihren Kühlschrank gestalkt? Ich freue mich auf Ihre Meinungen.

3 Kommentare zu „Die Angst vor intelligenten Systemen

  1. Rosemarie Loewe

    Wenn man das alles liest, kann es einem schon etwas Angst machen. Denn alles was zum Vorteil oder zur Bequemlichkeit der Menschheit entwickelt wird, kann auch von Kriminellen zu anderen Zwecken eingesetzt bzw. umfunktioniert werden. Aber eines beruhigt mich: Ich kann noch selbst entscheiden, welche intelligenten Systeme ich nutze. Zum Glück bin ich auch in der Lage meine Lebensmittel rechtzeitig einzukaufen, mein Fernsehprogramm selbst zu entscheiden, die Heizungsthermostate richtig einzustellen, etc.

  2. Pingback: Future-Lab 2022: So sieht das Usability-Labor in ein paar Jahren aus! - Usabilityblog.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *