Juliette Powell & Art Kleiner, Autoren von The AI Dilemma – Interviewreihe

The AI Dilemma ist von Juliette Powell und Art Kleiner geschrieben.

Juliette Powell ist Autorin, Fernsehproduzentin mit 9.000 Live-Shows und Technologin sowie Soziologin. Sie ist auch Kommentatorin bei Bloomberg TV/Business News Networks und Referentin auf Konferenzen, die von der Economist und der International Finance Corporation organisiert werden. Ihre TED-Talk hat 130.000 Aufrufe auf YouTube. Juliette identifiziert die Muster und Praktiken erfolgreicher Geschäftsführer, die auf ethische KI und Daten setzen, um zu gewinnen. Sie unterrichtet an der NYU’s ITP, wo sie vier Kurse unterrichtet, darunter Design Skills for Responsible Media, einen Kurs, der auf ihrem Buch basiert.

Art Kleiner ist Schriftsteller, Redakteur und Futurist. Seine Bücher umfassen The Age of Heretics, Who Really Matters, Privilege and Success und The Wise. Er war Redakteur von strategy+business, der preisgekrönten Zeitschrift, die von PwC veröffentlicht wird. Art ist auch langjähriges Mitglied der Fakultät an der NYU-ITP und IMA, wo seine Kurse das gemeinsame Unterrichten von Responsible Technology und der Zukunft der Medien umfassen.

“The AI Dilemma” ist ein Buch, das sich auf die Gefahren der KI-Technologie in den falschen Händen konzentriert, während es gleichzeitig die Vorteile anerkennt, die die KI der Gesellschaft bietet.

Probleme entstehen, weil die zugrunde liegende Technologie so komplex ist, dass es für den Endbenutzer unmöglich wird, die inneren Abläufe eines Closed-Box-Systems wirklich zu verstehen.

Eines der wichtigsten Probleme, die hervorgehoben werden, ist, dass die Definition von verantwortungsvoller KI ständig im Wandel ist, da die gesellschaftlichen Werte oft nicht über die Zeit hinweg konsistent bleiben.

Ich habe “The AI Dilemma” sehr genossen. Es ist ein Buch, das die Gefahren der KI nicht sensationell darstellt oder tief in die möglichen Fallstricke der künstlichen allgemeinen Intelligenz (AGI) eintaucht. Stattdessen erfahren die Leser, wie unsere persönlichen Daten ohne unser Wissen verwendet werden, sowie einige der aktuellen Einschränkungen der KI und Gründe für Bedenken.

Unten finden Sie einige Fragen, die darauf abzielen, unseren Lesern zu zeigen, was sie von diesem bahnbrechenden Buch erwarten können.

Was hat Sie ursprünglich dazu inspiriert, “The AI Dilemma” zu schreiben?

Juliette ging nach Columbia, um teilweise die Grenzen und Möglichkeiten der Regulierung von KI zu studieren. Sie hatte von Freunden, die an KI-Projekten arbeiteten, von den Spannungen in diesen Projekten erfahren. Sie kam zu dem Schluss, dass es ein KI-Dilemma gab, ein viel größeres Problem als die Selbstregulierung. Sie entwickelte das Apex-Benchmark-Modell – ein Modell, das zeigt, wie Entscheidungen über KI tendenziell zu einer geringen Verantwortung führen, weil der Interaktionen zwischen Unternehmen und Gruppen innerhalb von Unternehmen. Das führte zu ihrer Dissertation.

Art hatte mit Juliette an mehreren Schreibprojekten gearbeitet. Er las ihre Dissertation und sagte: “Sie haben ein Buch hier.” Juliette lud ihn ein, es mitzuverfassen. Als sie gemeinsam daran arbeiteten, entdeckten sie, dass sie sehr unterschiedliche Perspektiven hatten, aber eine starke Meinung teilten, dass dieses komplexe, hochriskante KI-Phänomen besser verstanden werden musste, damit die Menschen, die es verwenden, verantwortungsvoller und effektiver handeln konnten.

Eines der grundlegenden Probleme, die in The AI Dilemma hervorgehoben werden, ist, dass es derzeit unmöglich ist, zu verstehen, ob ein KI-System verantwortungsvoll ist oder ob es soziale Ungleichheit perpetuiert, indem man einfach den Quellcode studiert. Wie groß ist dieses Problem?

Das Problem liegt nicht primär im Quellcode. Wie Cathy O’Neil feststellt, ist es bei einem Closed-Box-System nicht nur der Code. Es ist das soziotechnische System – die menschlichen und technologischen Kräfte, die sich gegenseitig beeinflussen – das erforscht werden muss. Die Logik, die das KI-System aufgebaut und freigegeben hat, umfasst die Identifizierung eines Zwecks, die Identifizierung von Daten, die Festlegung von Prioritäten, die Erstellung von Modellen, die Festlegung von Richtlinien und Schutzvorkehrungen für maschinelles Lernen und die Entscheidung, wann und wie ein Mensch eingreifen sollte. Das ist der Teil, der transparent gemacht werden muss – zumindest für Beobachter und Prüfer. Die Risiken sozialer Ungleichheit und andere Risiken sind viel größer, wenn diese Teile des Prozesses verborgen sind. Man kann die Designlogik nicht wirklich aus dem Quellcode rekonstruieren.

Kann sich auf erklärbare KI (XAI) konzentrieren, um dieses Problem zu lösen?

Für Ingenieure ist erklärbare KI derzeit eine Gruppe von technischen Einschränkungen und Praktiken, die darauf abzielen, die Modelle für die Menschen, die daran arbeiten, transparenter zu machen. Für jemanden, der falsch angeklagt wird, hat Erklärbarkeit eine ganz andere Bedeutung und Dringlichkeit. Sie benötigen Erklärbarkeit, um in ihrer eigenen Verteidigung zurückzustoßen. Wir alle benötigen Erklärbarkeit in dem Sinne, dass die Geschäfts- oder Regierungsentscheidungen, die den Modellen zugrunde liegen, klar gemacht werden. At least in den Vereinigten Staaten wird es immer eine Spannung zwischen Erklärbarkeit – dem Recht der Menschheit, zu wissen – und dem Recht einer Organisation, zu konkurrieren und zu innovieren, geben. Prüfer und Regulierungsbehörden benötigen ein anderes Level an Erklärbarkeit. Wir gehen darauf in The AI Dilemma näher ein.

Können Sie Ihre Ansichten über die Bedeutung der Verantwortlichkeit von Stakeholdern (KI-Unternehmen) für den Code, den sie der Welt zur Verfügung stellen, kurz teilen?

Bisher zum Beispiel bei der Kollision eines selbstfahrenden Autos in Tempe, AZ, das einen Fußgänger tötete, wurde der Bediener zur Rechenschaft gezogen. Ein Einzelperson ging ins Gefängnis. Letztendlich war es jedoch ein organisatorisches Versagen.

Wenn eine Brücke einstürzt, wird der mechanische Ingenieur zur Rechenschaft gezogen. Das liegt daran, dass mechanische Ingenieure ausgebildet, kontinuierlich weitergebildet und von ihrem Beruf zur Rechenschaft gezogen werden. Computer-Ingenieure nicht.

Sollten Stakeholder, einschließlich KI-Unternehmen, ausgebildet und weitergebildet werden, um bessere Entscheidungen zu treffen und mehr Verantwortung zu übernehmen?

The AI Dilemma konzentriert sich stark darauf, wie Unternehmen wie Google (GOOGL ) und Meta unsere persönlichen Daten sammeln und monetarisieren können. Können Sie ein Beispiel für den erheblichen Missbrauch unserer Daten nennen, das auf der Radar aller sein sollte?

Aus The AI Dilemma, Seite 67ff:

Neue Fälle von systematischem Missbrauch personenbezogener Daten kommen immer wieder ans Licht, viele davon beinhalten den verdeckten Einsatz von Gesichtserkennung. Im Dezember 2022 veröffentlichte die MIT Technology Review Berichte über eine langjährige Praxis von iRobot. Roomba-Haushaltsroboter nehmen Bilder und Videos in den Häusern von Freiwilligen-Testern auf, was unweigerlich bedeutet, dass intime persönliche und familiäre Bilder gesammelt werden. Diese werden ohne das Wissen der Tester mit Gruppen außerhalb des Landes geteilt. In mindestens einem Fall wurde ein Bild einer Person auf der Toilette auf Facebook (META ) veröffentlicht. Währenddessen haben die Behörden im Iran begonnen, Daten aus Gesichtserkennungssystemen zu verwenden, um Frauen zu verfolgen und zu verhaften, die keine Hijabs tragen.16

Es gibt keinen Grund, diese Geschichten weiter auszuführen. Es gibt so viele davon. Es ist jedoch wichtig, den kumulativen Effekt zu erkennen, der entsteht, wenn wir so leben. Wir verlieren unser Gefühl der Kontrolle über unser Leben, wenn wir das Gefühl haben, dass unsere privaten Informationen jederzeit ohne Vorwarnung gegen uns verwendet werden könnten.

Eines der gefährlichen Konzepte, die angesprochen wurden, ist, dass unsere ganze Welt darauf ausgelegt ist, reibungslos zu sein, wobei Reibung als “jeder Punkt in der Kundenreise mit einem Unternehmen definiert wird, an dem sie auf ein Hindernis stoßen, das sie verlangsamt oder Unzufriedenheit verursacht”. Wie führt unsere Erwartung einer reibungslosen Erfahrung potenziell zu gefährlicher KI?

In Neuseeland schlug ein Pak’n’Save-Savvy-Meal-Bot ein Rezept vor, das Chlor-Gas erzeugen würde, wenn es verwendet wird. Dies wurde als Möglichkeit für Kunden angepriesen, um Abfälle zu verwerten und Geld zu sparen.

Reibungslosigkeit erzeugt eine Illusion der Kontrolle. Es ist schneller und einfacher, der App zuzuhören, als Grandmas Rezept nachzuschauen. Menschen folgen dem Weg des geringsten Widerstands und merken nicht, wohin er sie führt.

Reibung hingegen ist kreativ. Sie erfordert Beteiligung. Dies führt zu tatsächlicher Kontrolle. Tatsächliche Kontrolle erfordert Aufmerksamkeit und Arbeit, und – im Falle von KI – eine umfassende Kosten-Nutzen-Analyse.

Mit der Illusion der Kontrolle scheint es, als ob wir in einer Welt leben, in der KI-Systeme Menschen anstiften, anstatt dass Menschen vollständig die Kontrolle behalten. Welche Beispiele können Sie dafür nennen, dass Menschen kollektiv glauben, sie haben die Kontrolle, wenn sie in Wirklichkeit keine haben?

San Francisco gerade jetzt, mit Robotaxis. Die Idee von selbstfahrenden Taxis ruft zwei widersprüchliche Emotionen hervor: Begeisterung (“Taxis zu einem viel geringeren Preis!”) und Angst (“werden sie mich treffen?”). Viele Regulierungsbehörden schlagen vor, dass die Autos mit Menschen darin getestet werden, die die Kontrolle übernehmen können. Leider kann es jedoch nicht ratsam sein, Menschen im Alarmzustand zu haben, die bereit sind, Systeme in Echtzeit zu übersteuern. Überzuversicht ist eine häufige Dynamik mit KI-Systemen. Je autonomer das System, desto mehr vertrauen menschliche Bediener darauf und achten nicht vollständig. Wir werden gelangweilt, wenn wir über diese Technologien wachen. Wenn ein Unfall tatsächlich passiert, erwarten wir es nicht und reagieren oft nicht rechtzeitig.

Vielen Forschungen gingen in dieses Buch ein, gab es etwas, das Sie überrascht hat?

Eines, das uns wirklich überrascht hat, war, dass Menschen auf der ganzen Welt nicht übereinstimmen konnten, wer leben und wer sterben sollte in The Moral Machine’s Simulation einer Kollision eines selbstfahrenden Autos. Wenn wir nicht einmal übereinstimmen können, dann ist es schwer vorstellbar, dass wir eine einheitliche globale Regierungsführung oder universelle Standards für KI-Systeme haben könnten.

Sie beschreiben sich beide als Unternehmer, wie wird das, was Sie gelernt und berichtet haben, Ihre zukünftigen Bemühungen beeinflussen?

Unser KI-Beratungspraxis ist darauf ausgerichtet, Organisationen dabei zu helfen, verantwortungsvoll mit der Technologie zu wachsen. Anwälte, Ingenieure, Sozialwissenschaftler und Geschäftsführer sind alle Stakeholder in der Zukunft der KI. In unserer Arbeit bringen wir all diese Perspektiven zusammen und praktizieren kreative Reibung, um bessere Lösungen zu finden. Wir haben Rahmenbedingungen wie die Calculus of Intentional Risk entwickelt, um diese Fragen zu meistern.

Vielen Dank für die großartigen Antworten. Leser, die mehr erfahren möchten, sollten The AI Dilemma besuchen.