Prof. Julia Stoyanovich, Direktorin des Center for Responsible AI – Interview-Serie

Julia Stoyanovich, ist Professorin an der NYU’s Tandon School of Engineering und Gründungsdirektorin des Center for Responsible AI. Sie hat kürzlich vor dem Ausschuss für Technologie des New Yorker Stadtrats eine Aussage zu einem vorgeschlagenen Gesetzesentwurf gemacht, der die Verwendung von KI für Einstellungs- und Beschäftigungsentscheidungen regeln würde.

Sie sind die Gründungsdirektorin des Center for Responsible AI an der NYU. Könnten Sie uns einige der Initiativen erzählen, die diese Organisation unternommen hat?

Ich leite das Center for Responsible AI (R/AI) an der NYU zusammen mit Steven Kuyan. Steven und ich haben komplementäre Interessen und Expertise. Ich bin eine Wissenschaftlerin mit einem Hintergrund in Informatik und einem starken Interesse an anwendungsorientierter Arbeit an der Schnittstelle zwischen Datenengineering, verantwortungsvoller Datenwissenschaft und Politik. Steven ist der Geschäftsführer des NYU Tandon Future Labs, einem Netzwerk von Startup-Inkubatoren und Acceleratoren, das bereits einen enormen wirtschaftlichen Einfluss in New York City hatte. Unsere Vision für R/AI ist es, “verantwortungsvolle KI” mit “KI” gleichzusetzen, durch eine Kombination aus angewandter Forschung, öffentlicher Bildung und Engagement sowie durch die Unterstützung von Unternehmen, großen und kleinen, insbesondere kleinen, bei der Entwicklung verantwortungsvoller KI.

In den letzten Monaten hat R/AI aktiv an Gesprächen über die Überwachung von automatisierten Entscheidungssystemen (ADS) teilgenommen. Unser Ansatz basiert auf einer Kombination von Bildungsaktivitäten und politischem Engagement.

New York City prüft ein vorgeschlagenes Gesetz, Int 1894, das die Verwendung von ADS bei der Einstellung durch eine Kombination von Audits und öffentlicher Offenlegung regeln würde. R/AI hat öffentliche Stellungnahmen zum Gesetzesentwurf abgegeben, basierend auf unserer Forschung und auf Erkenntnissen, die wir von Jobsuchenden durch mehrere öffentliche Engagement-Aktivitäten gewonnen haben.

Wir haben auch mit The GovLab an der NYU und mit dem Institut für Ethik in der KI an der Technischen Universität München an einem kostenlosen Online-Kurs mit dem Titel “KI-Ethik: Globale Perspektiven” zusammengearbeitet, der diesen Monat gestartet wurde.

Ein weiteres aktuelles Projekt von R/AI, das viel Aufmerksamkeit erhalten hat, ist unsere “Daten, verantwortungsvoll” Comic-Buch-Serie. Der erste Band der Serie heißt “Spiegel, Spiegel”, ist auf Englisch, Spanisch und Französisch verfügbar und kann in allen drei Sprachen mit einem Bildschirmlesegerät gelesen werden. Der Comic erhielt den “Innovation des Monats”-Preis von Metro Lab Network und GovTech und wurde von der Toronto Star und anderen Medien besprochen.

Was sind einige der aktuellen oder potenziellen Probleme mit KI-Verzerrungen bei Einstellungs- und Beschäftigungsentscheidungen?

Diese Frage ist komplex und erfordert, dass wir zunächst klar definieren, was wir mit “Verzerrung” meinen. Der wichtigste Punkt ist, dass automatisierte Einstellungssysteme “prädiktive Analytik” sind – sie vorhersagen die Zukunft auf der Grundlage der Vergangenheit. Die Vergangenheit wird durch historische Daten über Personen dargestellt, die von dem Unternehmen eingestellt wurden, und über deren Leistung. Das System wird dann auf diesen Daten “trainiert”, indem es statistische Muster identifiziert und verwendet, um Vorhersagen zu treffen. Diese statistischen Muster sind die “Magie” der KI, auf der prädiktive Modelle basieren. Es ist offensichtlich, aber wichtig, dass die historischen Daten, aus denen diese Muster abgeleitet wurden, nichts über Personen aussagen, die nicht eingestellt wurden, da wir einfach nicht wissen, wie sie sich auf dem Job verhalten hätten, den sie nicht bekommen haben. Und hier kommt die Verzerrung ins Spiel. Wenn wir systematisch mehr Personen aus bestimmten demografischen und sozioökonomischen Gruppen einstellen, dann werden die Mitgliedschaft in diesen Gruppen und die damit verbundenen Merkmale Teil des prädiktiven Modells. Zum Beispiel, wenn wir nur Absolventen von Spitzenuniversitäten für Führungspositionen einstellen, dann kann das System nicht lernen, dass Menschen, die eine andere Schule besucht haben, auch gut abschneiden könnten. Es ist leicht, ein ähnliches Problem für Geschlecht, Rasse und Behinderung zu erkennen.

Verzerrung in der KI ist viel breiter als nur Verzerrung in den Daten. Sie entsteht, wenn wir Technologie verwenden, wo eine technische Lösung einfach unangemessen ist, oder wenn wir die falschen Ziele für die KI setzen – oft, weil wir nicht eine vielfältige Gruppe von Stimmen am Design-Tisch haben, oder wenn wir unsere Agency in menschlich-KI-Interaktionen nach der Bereitstellung der KI aufgeben. Jeder dieser Gründe für Verzerrung verdient eine eigene Diskussion, die wahrscheinlich länger dauern wird, als der Platz in diesem Artikel es zulässt. Und so werde ich, um mich auf das Wesentliche zu konzentrieren, zur Verzerrung in den Daten zurückkehren.

Wenn ich über Verzerrung in den Daten spreche, mag ich das Spiegelbild-Metapher verwenden. Daten sind ein Bild der Welt, ihr Spiegelbild. Wenn wir über Verzerrung in den Daten nachdenken, untersuchen wir dieses Spiegelbild. Eine Interpretation von “Verzerrung in den Daten” ist, dass das Spiegelbild verzerrt ist – unser Spiegel unterrepräsentiert oder überrepräsentiert einige Teile der Welt oder verzerren die Lesungen. Eine andere Interpretation von “Verzerrung in den Daten” ist, dass, selbst wenn das Spiegelbild 100% genau wäre, es immer noch ein Spiegelbild der Welt wäre, wie sie heute ist, und nicht, wie sie sein könnte oder sollte. Es ist wichtig, dass es nicht die Aufgabe von Daten oder einem Algorithmus ist, uns zu sagen, ob es ein perfektes Spiegelbild einer kaputten Welt ist oder ein kaputtes Spiegelbild einer perfekten Welt oder ob diese Verzerrungen sich summieren. Es ist die Aufgabe von Menschen – Individuen, Gruppen, der Gesellschaft als Ganzes – zu entscheiden, ob wir mit der Welt, wie sie ist, einverstanden sind oder, wenn nicht, wie wir sie verbessern können.

Zurück zu prädiktiver Analytik: Je stärker die Ungleichheiten in den Daten sind, desto wahrscheinlicher ist es, dass sie von den prädiktiven Modellen aufgenommen und in der Zukunft repliziert – und sogar verschlimmert – werden.

Wenn unser Ziel ist, unsere Einstellungspraktiken mit Blick auf Chancengleichheit und Vielfalt zu verbessern, dann können wir diese Aufgabe nicht den Maschinen überlassen. Wir müssen die harte Arbeit leisten, die wahren Ursachen von Verzerrungen in der Einstellung und Beschäftigung direkt anzugehen und eine sozio-rechtlich-technische Lösung mit Input von allen Beteiligten zu verhandeln. Technologie hat sicherlich eine Rolle bei der Unterstützung unserer Bemühungen, den Status quo zu verbessern: Sie kann uns helfen, ehrlich über unsere Ziele und Ergebnisse zu bleiben. Aber es ist naiv, zu glauben, dass die Entfernung von Verzerrungen in den Daten oder der prädiktiven Analytik die tief verwurzelten Probleme der Diskriminierung in der Einstellung lösen wird.

Sie haben kürzlich vor dem Ausschuss für Technologie des New Yorker Stadtrats eine Aussage gemacht, ein auffallender Kommentar war: “Wir stellen fest, dass sowohl der Werbeetat als auch der Inhalt der Anzeige erheblich zur Schieflage der Anzeigenauslieferung von Facebook (META ) beitragen. Kritisch ist, dass wir eine erhebliche Schieflage in der Auslieferung entlang von Geschlechts- und Rasselinien für ‘reale’ Anzeigen für Beschäftigungs- und Wohnmöglichkeiten feststellen, trotz neutraler Zielparameter.” Was sind einige Lösungen, um diese Art von Verzerrung zu vermeiden?

Dieser Kommentar basiert auf einer brillanten Studie von Ali et al. mit dem Titel “Diskriminierung durch Optimierung: Wie Facebooks Anzeigenauslieferung zu verzerrten Ergebnissen führen kann.” Die Autoren finden heraus, dass der Mechanismus der Anzeigenauslieferung selbst für die Einführung und Verstärkung diskriminierender Effekte verantwortlich ist. Es ist offensichtlich, dass diese Erkenntnis hochproblematisch ist, insbesondere vor dem Hintergrund der Intransparenz bei Facebook und anderen Plattformen – Google (GOOGL ) und Twitter. Die Plattformen haben die Verantwortung, dringend und überzeugend zu demonstrieren, dass sie diskriminierende Effekte wie die von Ali et al. gefundenen eindämmen können. Kurz gesagt, ich kann keine Rechtfertigung für die weitere Verwendung personalisierter Anzeigenzielgruppen in Bereichen wie Beschäftigung und Wohnungswesen finden, wo das Leben und die Existenz von Menschen auf dem Spiel stehen.

Wie können Datenwissenschaftler und KI-Entwickler andere ungewollte Verzerrungen in ihren Systemen am besten vermeiden?

 Es liegt nicht allein bei den Datenwissenschaftlern oder einer einzigen Stakeholder-Gruppe, sicherzustellen, dass technische Systeme mit gesellschaftlichen Werten übereinstimmen. Aber Datenwissenschaftler sind tatsächlich an vorderster Front in diesem Kampf. Als Informatikerin selbst kann ich bestätigen, dass es verlockend ist, zu denken, dass die Systeme, die wir entwerfen, “objektiv”, “optimal” oder “korrekt” sind. Wie erfolgreich die Informatik und die Datenwissenschaft sind – wie einflussreich und wie weit verbreitet sie sind – ist sowohl ein Segen als auch ein Fluch. Wir Technologen haben nicht mehr das Privileg, uns hinter unerreichbaren Zielen der Objektivität und Korrektheit zu verstecken. Die Verantwortung liegt bei uns, sorgfältig über unseren Platz in der Welt nachzudenken und uns über die sozialen und politischen Prozesse, die wir beeinflussen, zu informieren. Die Gesellschaft kann es sich nicht leisten, dass wir schnell vorankommen und Dinge zerstören, wir müssen langsamer werden und reflektieren.

Es ist symbolisch, dass die Philosophie einst das Zentrum aller wissenschaftlichen und gesellschaftlichen Diskurse war, dann kam die Mathematik, dann die Informatik. Jetzt, mit der Datenwissenschaft im Mittelpunkt, sind wir vollständig umgekehrt und müssen uns wieder mit unseren philosophischen Wurzeln verbinden.

Eine weitere Empfehlung, die Sie gemacht haben, ist die Schaffung einer informierten Öffentlichkeit. Wie können wir eine Öffentlichkeit informieren, die möglicherweise nicht mit KI vertraut ist oder die Probleme mit KI-Verzerrungen nicht versteht?

Es gibt einen dringenden Bedarf, nicht-technische Menschen über Technologie und technische Menschen über die gesellschaftlichen Auswirkungen zu informieren. Beides erfordert ein starkes Engagement und eine erhebliche Investition seitens unserer Regierung. Wir müssen Materialien und Bildungsmethoden für alle diese Gruppen entwickeln und Wege finden, um die Teilnahme zu fördern. Und wir können diese Arbeit nicht kommerziellen Unternehmen überlassen. Die Europäische Union führt den Weg, mit mehreren Regierungen, die Unterstützung für grundlegende KI-Bildung ihrer Bürger bereitstellen und KI-Curricula in Highschool-Programme integrieren. Wir bei R/AI arbeiten an einem öffentlich zugänglichen und breit zugänglichen Kurs, um eine engagierte Öffentlichkeit zu schaffen, die uns helfen wird, KI zu dem zu machen, was wir wollen. Wir sind sehr aufgeregt über diese Arbeit, bitte bleiben Sie dran für mehr Informationen in den kommenden Monaten.

Vielen Dank für die großartigen detaillierten Antworten, Leser, die mehr erfahren möchten, sollten das Center for Responsible AI besuchen.