KI-Untergangshype und KI-Vibe-Cafés: Governance-Fragen, die wir nicht übersehen dürfen

Sind wir dem Untergang geweiht? Ist KI bewusst? Und warum eröffnen KI-Unternehmen Cafés?

Diese Fragen sind anschaulich, beunruhigend und – besonders im Fall des Bewusstseins – wirklich schwierig. Außerdem haben sie gemeinsam, dass sie uns leicht zu den spekulativsten oder emotional mitreißendsten Aspekten der KI-Geschichte hinziehen. Währenddessen prägen weniger spektakuläre Fragen bereits das Leben der Menschen: Wer trägt die Verantwortung, wenn ein KI-System Schaden verursacht? Welche Daten und Arbeitsleistungen haben es ermöglicht? Welche Entscheidungen sollte es beeinflussen dürfen? Und wer darf mitreden?

Ich gehe nicht unbedingt davon aus, dass jemand, der existenzielle Risiken anspricht, über maschinelles Bewusstsein diskutiert oder ein Café eröffnet, dies tut, um diesen Fragen auszuweichen. Jedes dieser Themen kann für sich genommen unsere Aufmerksamkeit verdienen. Doch unsere Aufmerksamkeit ist begrenzt. Wenn eine dramatische Geschichte im Mittelpunkt steht, lohnt es sich zu fragen, was dadurch aus dem Blick geraten ist.

Der Reiz einer greifbaren KI

Die KI-Branche beginnt, ihren weitgehend immateriellen Produkten eine physische Adresse zu geben. Anthropic lud Besucherinnen und Besucher in der New Yorker „Zero Slop Zone“ dazu ein, bei Kaffee, Büchern sowie Stift und Papier zur Ruhe zu kommen; Perplexity eröffnete in Seoul das Cafe Curious, ein Café, in dem die KI des Unternehmens Teil des Erlebnisses ist. Berichte über Anthropics Pop-up und Perplexitys Café in Seoul beschreiben zwei unterschiedliche Versuche, eine abstrakte Technologie in einen gewöhnlichen, sozialen Rahmen einzubetten.

Das ist durchaus nachvollziehbar. Die meisten Menschen können ein Sprachmodell nicht sehen, die dahinterstehende Infrastruktur nicht untersuchen und sich nur schwer vorstellen, was zwischen einer Eingabeaufforderung und einer Antwort geschieht. Ein Café bietet eine Art greifbares Gegenstück: einen Raum, eine Tasse, ein Gespräch. So können ein Unternehmen und seine Technologie leichter erlebbar – und vielleicht auch verständlicher – werden.

Hinzu kommt eine zweite Ebene. Ein physischer Ort macht ein Unternehmen in einer Gemeinschaft sichtbar. Er sagt zumindest: „Wir sind jetzt hier, an diesem Ort.“ In einer Branche, in der sich Produkte, Richtlinien und Erwartungen schnell ändern, kann das beruhigend wirken. Sichtbarkeit ist jedoch nicht dasselbe wie Rechenschaftspflicht. Ein einladender Ort kann eine Technologie vertrauter erscheinen lassen, ohne uns zu verraten, wie sie trainiert wurde, in welchen Bereichen sie zuverlässig ist oder welche Möglichkeiten jemand hat, sich zu wehren, wenn sie bei etwas Wichtigem einen Fehler macht.

Dieser Unterschied erinnert an einen Gedanken, auf den ich seit Jahren zurückkomme: Digitale Erlebnisse sind niemals ausschließlich digital. Sie begegnen Menschen an konkreten Orten, in Beziehungen und in Institutionen. Bei der Gestaltung geht es nicht nur darum, wie ein KI-System zugänglich wirken kann. Entscheidend ist, ob das Erlebnis Menschen dabei hilft, die Grenzen des Systems zu verstehen und ihre Handlungsfähigkeit zu bewahren.

Die Debatte über Bewusstsein – und die Menschen, die bereits betroffen sind

Derselbe Unterschied ist auch bei Debatten über KI-Bewusstsein wichtig. Es gibt echte Meinungsverschiedenheiten darüber, ob maschinelles Bewusstsein möglich ist, welche Belege dafür zählen würden und wie Unsicherheit unsere Verantwortung beeinflussen sollte. Anil Seths Argumentation in Noema legt dar, dass Intelligenz und Bewusstsein nicht gleichgesetzt werden sollten; aktuelle Berichte in The Guardian erläutern ebenfalls, warum die Frage weiterhin ungeklärt ist. Diese Debatte lässt sich nicht einfach beantworten.

Unsicherheit über das Innenleben einer Maschine bedeutet jedoch nicht, dass auch die heutigen Fragen zu den Folgen für Menschen ungewiss wären. Verantwortung beginnt nicht erst, wenn wir geklärt haben, was Bewusstsein ist. Sie beginnt, wenn Organisationen Systeme entwickeln, einsetzen und damit Gewinne erzielen, die Menschen beeinflussen.

Betrachten wir die Fragen, denen wir schon jetzt nachgehen können. Welche Informationen wurden unter welchen Bedingungen zum Trainieren eines Systems verwendet? Wer bereitet seine Ausgaben vor und überprüft sie? Wie schneidet es bei verschiedenen Gruppen ab? Was geschieht, wenn ein System im Gesundheitswesen, bei der Personalauswahl, in der Bildung oder bei öffentlichen Dienstleistungen eingesetzt wird? Kann eine Person eine automatisierte Empfehlung anfechten, eine menschliche Entscheidungsträgerin oder einen menschlichen Entscheidungsträger erreichen und eine aussagekräftige Erklärung erhalten?

Das sind keine hypothetischen Bedenken. Eine Untersuchung zu Verzerrungen in der medizinischen KI beschreibt, wie verzerrte Daten und Gestaltungsentscheidungen zu ungerechten klinischen Entscheidungen beitragen können. Die Forschung zu KI und Beschäftigung entwickelt sich derweil noch weiter: Anthropics Analyse des Arbeitsmarkts bietet eine Möglichkeit, die Betroffenheit zu messen, während die Untersuchung des Hamilton Project darauf hinweist, dass die Belege für umfassende Auswirkungen auf den Arbeitsmarkt noch lückenhaft sind. Diese Quellen kommen heute zu unterschiedlichen Schlussfolgerungen, doch beide unterstreichen, wie wichtig es ist, Auswirkungen zu messen, statt Belege durch selbstsicher vorgetragene Geschichten zu ersetzen.

Ein verwandtes Risiko liegt darin, wie wir über solche Systeme sprechen. Menschlich wirkende Namen, Stimmen und Gesprächsstile können eine KI eher wie eine Person als wie ein Produkt erscheinen lassen. Das kann das Vertrauen und die Bereitschaft beeinflussen, ihren Antworten zu folgen. Es ist durchaus berechtigt zu fragen, ob Gespräche über Bewusstsein oder eine anthropomorphe Gestaltung die Aufmerksamkeit von den Organisationen ablenken können, die die Ziele und Grenzen eines Systems festlegen. Eine Analyse in MIT Technology Review argumentiert, dass Erzählungen über Bewusstsein Fragen der unternehmerischen Verantwortung verschleiern können. Das ist eine Aussage über die Wirkung dieser Rahmung – kein Beweis dafür, dass jede Person, die diese Frage aufwirft, ein verborgenes Motiv hat.

Untergangsszenarien sind kein Governance-Plan

Existenzielle Risiken verdienen ernsthafte Aufmerksamkeit. Katastrophale Folgen werden nicht dadurch weniger wichtig, dass es Schäden mit näheren Auswirkungen gibt. Ebenso wenig werden Schäden mit näheren Auswirkungen durch die Möglichkeit einer Katastrophe weniger wichtig. Wir müssen uns nicht für einen Zeithorizont entscheiden und den anderen außer Acht lassen.

Doch wenn „Sind wir dem Untergang geweiht?“ zum gesamten Gesprächsthema wird, geraten langfristige Risiken erneut in den Vordergrund und verdrängen gegenwärtige Schäden. Untergang kann wie ein abschließendes Urteil klingen statt wie eine Aufforderung zum Handeln: Wenn das Ergebnis unvermeidlich ist, warum sollte man sich dann die mühsame Arbeit machen, es zu ändern? Ein Bericht im New Yorker über einen Kurs zu existenziellen Risiken schildert die Frage eines Studenten zum „Bau einer Kathedrale“: Warum sollte man sich dem Bau von etwas widmen, das einen möglicherweise überdauert, wenn man glaubt, die Welt könnte untergehen? Die Antwort lautet nicht, dass die Risiken verschwinden. Vielmehr nimmt die Ungewissheit uns weder die Fähigkeit noch die Verantwortung, zu entscheiden, was als Nächstes wichtig ist, und mitzugestalten, was als Nächstes geschieht.

Das meine ich mit meiner Philosophie des „strategischen Optimismus“. Sie besteht weder in einem unbekümmerten „Alles wird gut“ noch darin, Belege nicht sehen zu wollen. Sie bedeutet, reale Risiken anzuerkennen, daran zu arbeiten, sie zu verringern, und und dabei ernsthaft an einer Zukunft zu arbeiten, auf die es sich hinzuarbeiten lohnt. Hoffnung ist nicht das Gegenteil von Gründlichkeit. Sie kann dafür sorgen, dass Gründlichkeit mit Handeln verbunden bleibt.

Die Governance-Fragen hinter dem Spektakel

Ob eine Organisation ein KI-Tool kauft, selbst entwickelt oder entsprechende Richtlinien festlegt: Die praktischen Fragen sind weniger glamourös als ein Café oder eine Behauptung über Bewusstsein – und nützlicher:

• Zweck: Welches Problem soll das System lösen, und ist KI dafür das richtige Werkzeug?
• Belege: Wie wurde das System getestet, auch mit unterschiedlichen Nutzern und in weniger häufigen Anwendungsfällen?
• Grenzen: Welche Entscheidungen müssen einem Menschen vorbehalten bleiben, und was kann das System nicht leisten?
• Rechenschaftspflicht: Wer ist verantwortlich, wenn das System versagt, und wie können Betroffene Einspruch einlegen?
• Transparenz: Können Menschen erkennen, wann KI zum Einsatz kommt und welche Informationen ihre Ergebnisse geprägt haben?
• Laufende Aufsicht: Wer überwacht nach der Einführung die Leistung, sich verändernde Daten und unbeabsichtigte Auswirkungen?

Frameworks wie das KI-Risikomanagement-Framework des NIST bieten Organisationen eine strukturierte Möglichkeit, Risiken über den gesamten Lebenszyklus eines KI-Systems hinweg zu erkennen und zu steuern. Kein Framework kann Urteilsvermögen oder öffentliche Debatten ersetzen. Governance wird jedoch konkreter, wenn Zuständigkeiten, Tests und Beschwerdewege klar festgelegt sind.

Auch die physische Ebene muss gesteuert werden. KI ist auf Rechenzentren, Strom, Wasser, Land und Finanzierung angewiesen – nicht nur auf Benutzeroberflächen. Die Berichterstattung über die Finanzierungsstruktur eines großen Rechenzentrumsprojekts wirft die Frage auf, wie Risiken der Infrastruktur offengelegt werden und wer letztlich dafür aufkommt. Ein Café kann Menschen mit KI in Berührung bringen; es kann jedoch nicht aus eigener Kraft die Infrastruktur hinter der KI verständlich machen.

Genießen Sie also das Café. Stellen Sie die großen Fragen zum Bewusstsein. Nehmen Sie das Risiko einer Katastrophe ernst. Kehren Sie dann zu den Entscheidungen zurück, die wir jetzt prüfen und beeinflussen können: Was wird entwickelt, wer profitiert, wer trägt die Kosten und welche Schutzmaßnahmen gibt es, wenn etwas schiefgeht?

Die Zukunft ist kein Urteil, das eine Schlagzeile fällt. Sie besteht aus Entscheidungen von Unternehmen, Institutionen, Regierungen und Gemeinschaften, die weiterhin hinterfragt und geändert werden können. Die wichtigste Frage ist nicht nur, ob wir dem Untergang geweiht sind. Es geht auch darum, welche Bedingungen dafür sorgen würden, dass KI dem menschlichen Wohlergehen dient, und was wir zu tun bereit sind, um diese Bedingungen Wirklichkeit werden zu lassen.