Prof Julia Stoyanovich, Direkter vum Center fir Responsabel AI - Interview Serie

Julia Stoyanovich, ass e Professer an der Tandon School of Engineering vun der NYU a Grënnungsdirekter vum Centre for Responsible AI. Si geliwwert viru kuerzem Zeegnes dem NYC Conseil Comité op Technologie iwwer e proposéierte Gesetzesprojet dat géif d'Benotzung vun AI fir Hire- an Beschäftegungsentscheedungen reguléieren.

Dir sidd de Grënnungsdirekter vum Center for Responsible AI bei NYU. Kënnt Dir mat eis e puer vun den Initiativen deelen, déi dës Organisatioun ënnerholl huet?

Ech co-directéieren den Centre for Responsible AI (R/AI) op NYU mam Steven Kuyan. Steven an ech hunn komplementar Interessen an Expertise. Ech sinn en Akademiker, mat engem Informatik Hannergrond a mat engem staarken Interessi fir Benotzungsinspiréiert Aarbecht op der Kräizung vun Datetechnik, verantwortlech Datewëssenschaft a Politik. De Steven ass de Managing Director vun der NYU Tandon Future Labs, e Netz vun Startup-Inkubatoren a Beschleuniger, déi schonn en enorme wirtschaftlechen Impakt zu NYC haten. Eis Visioun fir R / AI ass ze hëllefen "verantwortlech AI" Synonym mat "AI" ze maachen, duerch eng Kombinatioun vun ugewandter Fuerschung, ëffentlecher Ausbildung an Engagement, an andeems Firmen grouss a kleng - besonnesch kleng - verantwortlech AI entwéckelen.

An de leschte Méint huet R / AI aktiv u Gespréicher iwwer ADS (Automated Decision Systems) Iwwerwaachung engagéiert. Eis Approche baséiert op enger Kombinatioun vun pädagogeschen Aktivitéiten a politeschen Engagement.

New York City berücksichtegt e proposéiert Gesetz, Int 1894, dat géif d'Benotzung vun ADS an Hirem duerch eng Kombinatioun vun Audit an ëffentlech Offenbarung reguléieren. R/AI huet ëffentlech Kommentaren iwwer de Gesetzesprojet ofginn, baséiert op eiser Fuerschung an op Abléck déi mir vun Aarbechtssicher duerch e puer gesammelt hunn ëffentlechen Engagement Aktivitéiten.

Mir hunn och zesummegeschafft mat De GovLab op NYU a mat der Institut fir Ethik an AI an der Technescher Universitéit München op engem gratis Online Cours mam Numm "AI Ethics: Global Perspectives" dee fréier dëse Mount gestart gouf.

En anere rezente Projet vu R/AI, deen zimmlech Opmierksamkeet kritt huet, ass eis "Daten, Verantwortlech" Comic Serie. Den éischte Volume vun der Serie heescht "Mirror, Mirror", et ass verfügbar op Englesch, Spuenesch a Franséisch, an zougänglech mat engem Écran Lieser an allen dräi Sproochen. De Comic krut den Innovatioun vum Mount Präis vum Metro Lab Network an GovTech, a war vun der Daach Toronto Star, ënner anerem.

Wat sinn e puer vun den aktuellen oder potenziellen Themen mat AI Bias fir d'Astellen an d'Aarbechtsentscheedungen?

Dëst ass eng komplex Fro déi eis erfuerdert fir d'éischt kloer ze sinn wat mir mat "Bias" mengen. Déi Schlëssel Saach ze notéieren ass datt automatiséiert Hiresystemer "predictive analytics" sinn - si virauszesoen d'Zukunft baséiert op der Vergaangenheet. D'Vergaangenheet gëtt duerch historesch Daten iwwer Individuen vertrueden, déi vun der Firma agestallt goufen, an iwwer wéi dës Individuen geschafft hunn. De System gëtt dann op dës Donnéeën "trainéiert", dat heescht datt et statistesch Mustere identifizéiert an dës benotzt fir Prognosen ze maachen. Dës statistesch Mustere sinn d'"Magie" vun AI, dat ass op wat prévisiv Modeller baséieren. Kloer, awer wichteg, historesch Daten, aus deenen dës Mustere ofgebaut goufen, schwiewen iwwer Individuen déi net agestallt goufen, well mir einfach net wësse wéi se op der Aarbecht gemaach hunn, déi se net kruten. An dat ass wou Bias an d'Spill kënnt. Wa mir systematesch méi Individuen aus spezifesche demographeschen a sozioökonomesche Gruppen astellen, da wäert d'Memberschaft an dëse Gruppen, an d'Charakteristiken, déi mat där Gruppememberschaft zesummekommen, Deel vum Prädiktivmodell ginn. Zum Beispill, wa mir nëmmen Graduéierter vun Top-Universitéite fir Exekutivrollen agestallt ginn, da kann de System net léieren datt Leit, déi an eng aner Schoul gaange sinn, och gutt maachen. Et ass einfach en ähnleche Problem fir Geschlecht, Rass a Behënnerungsstatus ze gesinn.

Bias an AI ass vill méi breet wéi just Bias an den Daten. Et entsteet wa mir probéieren Technologie ze benotzen wou eng technesch Léisung einfach net gëeegent ass, oder wa mir déi falsch Ziler fir d'AI setzen - dacks well mir keng divers Set vu Stëmmen um Design Dësch hunn, oder wa mir eis opginn Agentur am Mënsch - AI Interaktiounen nodeems d'AI agesat ass. Jiddereng vun dëse Grënn fir Bias verdéngt seng eege Diskussioun déi méiglecherweis méi laang lafen wéi de Raum an dësem Artikel erlaabt. An dofir, fir konzentréiert ze bleiwen, loosst mech zréck op Bias an den Donnéeën.

Wann ech Bias an den Donnéeën erklären, benotze ech gär d'Spigelreflexiounsmetapher. Date sinn e Bild vun der Welt, seng Spigelreflexioun. Wa mir iwwer Bias an den Daten denken, froe mir dës Reflexioun. Eng Interpretatioun vu "Bias an den Donnéeën" ass datt d'Reflexioun verzerrt ass - eise Spigel ënner-representéiert oder iwwer-representéiert e puer Deeler vun der Welt, oder soss verzerrt d'Liesungen. Eng aner Interpretatioun vu "Bias an den Daten" ass datt, och wann d'Reflexioun 100% trei wier, et nach ëmmer eng Reflexioun vun der Welt wier wéi se haut ass, an net wéi se kéint oder soll sinn. Wichteg ass, et ass net un Daten oder un engem Algorithmus un eis ze soen ob et eng perfekt Reflexioun vun enger gebrachener Welt ass, oder eng futtis Reflexioun vun enger perfekter Welt, oder ob dës Verzerrungen zesummesetzen. Et ass un d'Leit - Individuen, Gruppen, Gesellschaft am grousse Ganzen - fir zum Konsens ze kommen iwwer ob mir OK mat der Welt sinn wéi se ass, oder, wann net, wéi mir et solle verbesseren.

Zréck op d'predictive Analyse: Wat méi staark d'Differenzen an den Donnéeën sinn, als Reflexioun vun der Vergaangenheet, wat méi wahrscheinlech se vun de prévisive Modeller opgeholl ginn, a replizéiert ginn - a souguer verschäerft - an Zukunft.

Wann eist Zil ass eis Astellungspraktiken mat engem Aen op Equity an Diversitéit ze verbesseren, da kënne mir dës Aarbecht einfach net op Maschinnen outsource. Mir mussen déi haart Aarbecht maachen fir déi richteg Ursaache vu Viraussetzunge bei der Astellung an der Beschäftegung direkt z'identifizéieren, a fir eng sozio-juristesch-technesch Léisung mat Input vun allen Akteuren ze verhandelen. Technologie huet sécherlech eng Roll ze spillen fir eis ze hëllefen de Status Quo ze verbesseren: et kann eis hëllefen éierlech iwwer eis Ziler a Resultater ze bleiwen. Awer virzegoen wéi d'Daten ze de-biaséieren oder d'predictive analytesch léisen déi déif sëtzt Probleemer vun der Diskriminatioun beim Astellen ass am beschten naiv.

Dir hutt viru kuerzem Zeegnes zum NYC Council's Committee on Technology geliwwert, e markant Kommentar war wéi follegt: "Mir fannen datt souwuel de Budget vum Annonceur wéi och den Inhalt vun der Annonce wesentlech dozou bäidroe fir d'Skew vun der Facebook Annonce Liwwerung. Kritesch beobachte mir bedeitend Schief bei der Liwwerung laanscht Geschlecht- a Rasselinne fir "richteg" Annoncen fir Aarbechts- a Wunnméiglechkeeten trotz neutralen Zilparameter. Wat sinn e puer Léisunge fir dës Zort vu Bias ze vermeiden?

Dëse Kommentar, deen ech gemaach hunn, baséiert op engem brillanten Pabeier vum Ali et al. genannt "Diskriminéierung duerch Optimiséierung: Wéi Facebook Annonce Liwwerung kann zu biaséierte Resultater féieren." D'Auteuren fannen datt den Annonce-Liwwermechanismus selwer verantwortlech ass fir diskriminatoresch Effekter anzeféieren an ze verstäerken. Noutfallslos ze soen, dës Erkenntnis ass héich problematesch, besonnesch well et géint den Hannergrond vun der Opazitéit op Facebook an aner Plattformen spillt - Google an Twitter. D'Belaaschtung ass op d'Plattformen dréngend an iwwerzeegend ze weisen datt se an diskriminatoreschen Effekter kënne regéieren wéi déi vum Ali et al. aner Beräicher wou d'Liewen an d'Liewensmëttel vun de Leit um Spill stinn.

Wéi kënnen Datewëssenschaftler an AI Entwéckler am Beschten verhënneren datt aner onbewosst Viraussetzungen an hir Systemer kräischen?

 Et ass net ganz un den Datewëssenschaftler, oder un enger Stakeholdergrupp, fir sécherzestellen datt technesch Systemer mat de gesellschaftleche Wäerter ausgeriicht sinn. Awer Datewëssenschaftler sinn tatsächlech un der Spëtzt vun dëser Schluecht. Als Computerwëssenschaftler selwer kann ech d'Attraktivitéit bestätegen fir ze denken datt d'Systemer déi mir designen "objektiv", "optimal" oder "korrekt" sinn. Wéi erfollegräich Informatik an Datewëssenschaft sinn - wéi beaflosst a wéi breet benotzt - ass souwuel e Segen wéi e Fluch. Mir Technologen hunn net méi de Luxus, sech hannert den onerreechbare Ziler vun Objektivitéit a Korrektheet ze verstoppen. D'Belaaschtung ass op eis virsiichteg iwwer eis Plaz an der Welt nozedenken an eis iwwer déi sozial a politesch Prozesser ze educéieren déi mir beaflossen. D'Gesellschaft kann eis et net leeschten, datt mir séier bewegen an d'Saachen briechen, mir mussen lues a lues reflektéieren.

Et ass symbolesch datt d'Philosophie eemol den Mëttelpunkt vun all wëssenschaftlechen a gesellschaftlechen Discours war, duerno koum d'Mathematik, duerno d'Informatik. Elo, mat Datewëssenschaften an der Mëtt vun der Bühn, si mir de ganze Krees komm a brauche sech zréck mat eise philosophesche Wuerzelen ze verbannen.

Eng aner Empfehlung déi Dir gemaach hutt ass en informéierte Public ze kreéieren. Wéi informéiere mir e Public dee vläicht net mat AI vertraut ass, oder d'Problemer verstinn, déi mat AI Bias verbonne sinn?

Et gëtt en dréngende Bedierfnes fir net-technesch Leit iwwer Technologie ze educéieren, an technesch Leit iwwer seng sozial Implikatioune ze educéieren. D'Erreeche vun deenen zwee Ziler wäert e staarkt Engagement a substantiell Investitioune vun eiser Regierung huelen. Mir mussen Materialien a pädagogesch Methodologien fir all dës Gruppen entwéckelen, a Weeër fannen fir d'Participatioun ze stimuléieren. A mir kënnen dës Aarbecht net u kommerziellen Entitéite loossen. D'Europäesch Unioun féiert de Wee, mat verschiddene Regierungen déi Ënnerstëtzung fir Basis AI Ausbildung vu senge Bierger, an AI Curricula an Highschool Programmer integréieren. Mir bei R/AI schaffen un engem ëffentlech verfügbaren a breet zougängleche Cours, mam Zil eng engagéiert Ëffentlechkeet ze kreéieren déi hëlleft AI ze maachen wat MIR et wëllen. Mir si ganz opgereegt iwwer dës Aarbecht, bleift w.e.g. fir méi Informatioun am nächste Mount.

Merci fir déi super detailléiert Äntwerten, Lieser déi méi wësse wëllen, sollten de Centre for Responsible AI besichen.