Automatisierungs-Trägheit: Wie man die Menschen wieder in die Schleife bringt

In einer dramatischen Wendung der Ereignisse wurden kürzlich in San Francisco sogenannte Robotaxis, selbstfahrende Fahrzeuge, die ohne menschlichen Fahrer Fahrgäste aufnehmen, eingesetzt. Nach einer umstrittenen 7-stündigen öffentlichen Anhörung wurde die Entscheidung von der California Public Utilities Commission getroffen. Trotz Protesten herrscht ein Gefühl der Unvermeidlichkeit in der Luft. Kalifornien hat seit Anfang 2022 schrittweise die Einschränkungen gelockert. Die neuen Regeln erlauben den beiden Unternehmen mit Genehmigungen – Alphabet’s Waymo und GM’s Cruise –, diese Taxis innerhalb der 7-Quadratmeilen-Stadt, außer auf Autobahnen, zu betreiben und Fahrgästen Entgelte zu berechnen.

Die Idee von selbstfahrenden Taxis ruft zwei widersprüchliche Emotionen hervor: Begeisterung (“Taxis zu einem viel niedrigeren Preis!”) und Angst (“werden sie mich oder meine Kinder treffen?”). Daher verlangen Regulierungsbehörden oft, dass die Fahrzeuge mit Passagieren getestet werden, die eingreifen und die Kontrolle übernehmen können, bevor ein Unfall passiert. Leider kann es jedoch nicht der beste Weg sein, die Sicherheit zu gewährleisten, wenn Menschen auf der Hut sind und bereit sind, Systeme in Echtzeit zu übersteuern.

Tatsächlich gab es in den USA 18 Todesfälle im Zusammenhang mit selbstfahrenden Autos (Stand Februar dieses Jahres), und alle davon hatten eine Form der menschlichen Kontrolle, entweder im Fahrzeug oder remote. Dies schließt einen der bekanntesten Fälle ein, der sich spät in der Nacht auf einer breiten Vorstadtstraße in Tempe, Arizona, im Jahr 2018 ereignete. Ein automatisiertes Uber-Testfahrzeug tötete eine 49-jährige Frau namens Elaine Herzberg, die mit ihrem Fahrrad die Straße überqueren wollte. Der menschliche Operator auf dem Beifahrersitz sah nach unten, und das Fahrzeug alarmierte ihn weniger als eine Sekunde vor dem Aufprall. Er ergriff das Steuer zu spät. Der Unfall führte dazu, dass Uber die Tests seiner selbstfahrenden Autos einstellte. Schließlich verkaufte es die automatisierte Fahrzeugabteilung, die ein wichtiger Teil seiner Geschäftsstrategie war.

Der Operator landete im Gefängnis wegen Automatisierungs-Trägheit, ein Phänomen, das bereits in den frühen Tagen der Flugausbildung entdeckt wurde. Überconfidence ist eine häufige Dynamik bei KI-Systemen. Je autonomer das System, desto mehr neigen menschliche Bediener dazu, es zu vertrauen und nicht vollständig aufzupassen. Wir langweilen uns, wenn wir über diese Technologien wachen. Wenn ein Unfall tatsächlich passieren soll, erwarten wir ihn nicht und reagieren nicht rechtzeitig.

Menschen sind natürliche “Risikodenker” – eine Art des Denkens, die selbst die fortschrittlichsten maschinellen Lernverfahren noch nicht nachahmen können. Dies ist die Fähigkeit, zu erkennen, wenn die Antwort nicht offensichtlich ist, dass wir langsamer werden oder anhalten sollten. Risikodenken ist für automatisierte Systeme von entscheidender Bedeutung, und das schafft ein Dilemma. Menschen wollen in der Schleife sein, aber wenn wir so sehr auf automatisierte Systeme vertrauen, kann es tatsächlich schlimmer werden.

Wie können also die Entwickler von automatisierten Systemen dieses Dilemma lösen, damit Experimente wie das in San Francisco positiv enden? Die Antwort liegt in der besonderen Sorgfalt nicht nur im Moment des Aufpralls, sondern auch in den frühen Stadien der Entwicklung. Alle KI-Systeme bergen Risiken, wenn sie unkontrolliert bleiben. Selbstfahrende Autos werden nicht risikofrei sein, auch wenn sie im Durchschnitt sicherer sind als von Menschen gesteuerte Autos.

Der Unfall von Uber zeigt, was passiert, wenn wir nicht mit Bedacht handeln. Um dies zu tun, benötigen wir kreative Reibung: die Einbeziehung mehrerer menschlicher Perspektiven, lange bevor diese Systeme freigegeben werden. Mit anderen Worten: die Auswirkungen von KI-Systemen müssen sorgfältig bedacht werden, anstatt nur deren Anwendungen. Dies erfordert die Perspektive der Gemeinschaften, die direkt von der Technologie betroffen sein werden.

Waymo und Cruise haben beide die Sicherheitsbilanz ihrer Fahrzeuge verteidigt und argumentieren mit statistischer Wahrscheinlichkeit. Dennoch verwandelt diese Entscheidung San Francisco in ein lebendiges Experiment. Wenn die Ergebnisse zusammengefasst werden, wird es extrem wichtig sein, die richtigen Daten zu erfassen, die Erfolge und Misserfolge zu teilen und den betroffenen Gemeinschaften zu erlauben, sich zusammen mit den Spezialisten, Politikern und Geschäftsleuten zu äußern. Mit anderen Worten: halten Sie alle Menschen in der Schleife. Andernfalls riskieren wir Automatisierungs-Trägheit – die Bereitschaft, Entscheidungen an KI-Systeme zu delegieren – in großem Umfang.

Juliette Powell und Art Kleiner sind Co-Autoren des neuen Buches Das KI-Dilemma: 7 Prinzipien für verantwortungsvolle Technologie.