Prof. Julia Stoyanovich, a Center for Responsible AI igazgatója – Interjúsorozat

Júlia Sztojanovics, a NYU Tandon School of Engineering professzora és a Center for Responsible AI alapító igazgatója. Nemrég tanúvallomást tett a New York-i Tanács Technológiai Bizottságának kb törvényjavaslatot amely szabályozná a mesterséges intelligencia alkalmazását a felvételi és foglalkoztatási döntésekhez.

Ön a New York-i Egyetem Felelős AI Központjának alapító igazgatója. Megosztana velünk néhány kezdeményezést, amelyet ez a szervezet vállalt?

Steven Kuyannal közösen irányítom a New York-i Egyetem Felelős AI Központját (R/AI). Steven és én egymást kiegészítik az érdeklődési körök és a szakértelem. Tudományos oktató vagyok, számítástechnikai háttérrel és erős érdeklődéssel az adatmérnöki, a felelősségteljes adattudomány és a politika találkozási pontján végzett felhasználási ihletésű munka iránt. Steven az ügyvezető igazgatója NYU Tandon Future Labs, startup inkubátorok és akcelerátorok hálózata, amely már óriási gazdasági hatást gyakorolt ​​New Yorkban. Az R/AI-vel kapcsolatos víziónk az, hogy segítsük a „felelős mesterséges intelligencia” szinonimáját az „AI” szinonimájává tenni az alkalmazott kutatás, a közoktatás és az elkötelezettség kombinációjával, valamint a kis és nagyvállalatok – különösen a kicsi – felelősségteljes mesterséges intelligencia fejlesztésében.

Az elmúlt néhány hónapban az R/AI aktívan részt vett az ADS (Automated Decision Systems) felügyeletéről folytatott beszélgetésekben. Megközelítésünk az oktatási tevékenységek és a politikai elkötelezettség kombinációján alapul.

New York város törvényjavaslatot fontolgat, Int 1894, amely az auditálás és a nyilvános közzététel kombinációjával szabályozná az ADS alkalmazását a munkaerő-felvétel során. Az R/AI nyilvános észrevételeket terjesztett elő a törvényjavaslattal kapcsolatban, kutatásaink és az álláskeresőktől több helyen gyűjtött meglátásaink alapján. nyilvános szerepvállalás tevékenységek.

Mi is együttműködtünk A GovLab a NYU-ban és a A Müncheni Műszaki Egyetem AI Etikai Intézete című ingyenes online tanfolyamonAI etika: globális perspektívák” amelyet a hónap elején indítottak.

Az R/AI egy másik közelmúltbeli projektje, amely nagy figyelmet kapott, az „Adatok, felelősséggel” képregénysorozatunk. A sorozat első kötete a „Mirror, Mirror” címet viseli, angol, spanyol és francia nyelven érhető el, képernyőolvasóval pedig mindhárom nyelven elérhető. A képregény megkapta a A hónap innovációja díjat a Metro Lab Network és a GovTech, és fedezte a Toronto Star, Többek között.

Melyek a jelenlegi vagy lehetséges problémák az AI torzításával kapcsolatban a munkaerő-felvételi és foglalkoztatási döntéseknél?

Ez egy összetett kérdés, amely megköveteli, hogy először tisztázzuk, mit értünk „elfogultságon”. A legfontosabb dolog, amit meg kell jegyezni, hogy az automatizált munkaerő-felvételi rendszerek „prediktív analitika” – a múlt alapján jósolják meg a jövőt. A múltat ​​a vállalat által felvett személyekről és az egyének teljesítményéről szóló történelmi adatok reprezentálják. A rendszer ezután ezekre az adatokra „kiképzésre” kerül, ami azt jelenti, hogy azonosítja a statisztikai mintákat, és ezeket felhasználva előrejelzéseket készít. Ezek a statisztikai minták az AI „varázslatát” jelentik, ezen alapulnak a prediktív modellek. Nyilvánvaló, de fontos, hogy a történelmi adatok, amelyekből ezeket a mintákat bányászták, hallgatnak azokról a személyekről, akiket nem vettek fel, mert egyszerűen nem tudjuk, hogyan végezték volna azt a munkát, amelyet nem kaptak meg. És itt jön képbe az elfogultság. Ha szisztematikusan több egyént veszünk fel meghatározott demográfiai és társadalmi-gazdasági csoportokból, akkor az ezekhez a csoportokhoz való tartozás és a csoporttagsággal együtt járó jellemzők a prediktív modell részévé válnak. Például, ha csak azt látjuk, hogy a legjobb egyetemeken végzetteket vesznek fel vezetői posztokra, akkor a rendszer nem tudja megtanulni, hogy azok is jól járhatnak, akik másik iskolába jártak. Könnyű látni hasonló problémát a nem, a faj és a fogyatékosság státusza tekintetében.

Az AI torzítása sokkal szélesebb, mint az adatok torzítása. Ez akkor merül fel, amikor olyan technológiát próbálunk használni, ahol egy műszaki megoldás egyszerűen nem megfelelő, vagy ha rossz célokat tűzünk ki az AI számára – gyakran azért, mert nincs sokféle hang a tervezőasztalnál, vagy amikor feladjuk saját magunkat. ügynökség az emberi – AI interakciókban az AI bevezetése után. Az elfogultság ezen okainak mindegyike megérdemli a külön megbeszélést, amely valószínűleg hosszabb ideig tart, mint amennyit ebben a cikkben a hely megenged. Ezért a koncentráltság megőrzése érdekében hadd térjek vissza az adatok torzítására.

Az adatok torzításának magyarázatakor szívesen használom a tükörreflexiós metaforát. Az adat a világ képe, tükörképe. Amikor az adatok torzítására gondolunk, ezt a tükröződést kérdezzük meg. Az „adatok torzítása” egyik értelmezése az, hogy a tükrözés torz – tükrünk alul- vagy felülreprezentálja a világ egyes részeit, vagy más módon torzítja a leolvasott értékeket. Az „adatok torzításának” egy másik értelmezése az, hogy még ha a tükrözés 100%-ban hű is lenne, akkor is a mai világot tükrözné, és nem azt, hogy milyennek lehetne vagy kellene lennie. Fontos, hogy nem az adatoktól vagy az algoritmustól függ, hogy megmondja nekünk, hogy ez egy összetört világ tökéletes tükröződése, vagy egy tökéletes világ törött tükörképe, vagy ezek a torzulások összeadódnak. Az embereken – az egyéneken, a csoportokon, a társadalomban általában – az a dolgunk, hogy konszenzusra jussanak arról, hogy rendben vagyunk-e a világgal olyan formában, amilyen, vagy ha nem, hogyan kell javítanunk.

Vissza a prediktív elemzéshez: Minél erősebbek az eltérések az adatokban, mint a múlt tükröződése, annál valószínűbb, hogy a prediktív modellek felveszik őket, és a jövőben megismétlik – sőt, még tovább is fokozódnak.

Ha az a célunk, hogy a méltányosság és a sokszínűség szem előtt tartásával javítsuk munkaerő-felvételi gyakorlatunkat, akkor ezt a munkát egyszerűen nem tudjuk gépekre kiszervezni. Nekünk kemény munkát kell végeznünk annak érdekében, hogy azonosítsuk a felvételi és foglalkoztatási elfogultság valódi okait, és meg kell tárgyalnunk egy társadalmi-jogi-technikai megoldást az összes érdekelt fél bevonásával. A technológiának minden bizonnyal szerepe van abban, hogy javítsunk a status quo-n: segíthet abban, hogy őszinték maradjunk céljainkkal és eredményeinkkel kapcsolatban. De az adatok torzításának megszüntetése vagy a prediktív analitika megoldása a munkaerő-felvétel során a diszkrimináció mélyen gyökerező problémáira a legjobb esetben is naivitás.

Ön nemrégiben tanúvallomást tett a New York-i Tanács Technológiai Bizottságának, az egyik feltűnő megjegyzés a következő volt: „Úgy találjuk, hogy a hirdető költségvetése és a hirdetés tartalma egyaránt jelentősen hozzájárul a Facebook hirdetésmegjelenítésének torzulásához. Kritikus szempont, hogy a semleges célzási paraméterek ellenére jelentős torzulást figyeltünk meg a nemi és faji szempontok mentén a „valódi” foglalkoztatási és lakhatási lehetőségekről szóló hirdetések esetében.” Milyen megoldások vannak az ilyen típusú elfogultság elkerülésére?

Ez a megjegyzésem egy zseniálison alapul Ali et al. „Diszkrimináció az optimalizálás révén: Hogyan vezethet a Facebook hirdetésmegjelenítése elfogult eredményekhez”. A szerzők úgy találják, hogy maga a hirdetésmegjelenítési mechanizmus felelős a diszkriminatív hatások bevezetéséért és felerősítéséért. Mondanunk sem kell, hogy ez a megállapítás rendkívül problematikus, különösen azért, mert a Facebook és más platformok – a Google és a Twitter – átláthatatlansága hátterében játszódik le. A platformok terhe, hogy sürgősen és meggyőzően bizonyítsák, hogy képesek uralkodni az olyan diszkriminatív hatásokon, mint amilyeneket Ali és társai találtak. Mindemellett nem találok indoklást a személyre szabott hirdetéscélzás további használatára a lakhatás, a foglalkoztatás és a foglalkoztatás területén. más területeken, ahol az emberek élete és megélhetése forog kockán.

Hogyan akadályozhatják meg a legjobban az adattudósok és a mesterséges intelligencia fejlesztői, hogy más, nem szándékos torzítás bekúszhasson rendszereikbe?

 Nem teljesen az adatkutatókon vagy bármely érdekelt csoporton múlik, hogy biztosítsák, hogy a technikai rendszerek összhangba kerüljenek a társadalmi értékekkel. De az adattudósok valóban ennek a csatának az élére állnak. Mint informatikus, tanúsíthatom, mennyire vonzó az a gondolkodás, hogy az általunk tervezett rendszerek „objektívek”, „optimálisak” vagy „helyesek”. Az, hogy mennyire sikeres a számítástechnika és az adattudomány – milyen befolyásos és milyen széles körben használják – egyszerre áldás és átok. Nekünk, technológiának már nincs meg az a luxus, hogy az objektivitás és korrektség elérhetetlen céljai mögé bújjunk. Nekünk a teher, hogy alaposan átgondoljuk helyünket a világban, és tájékozódjunk azokról a társadalmi és politikai folyamatokról, amelyekre hatással vagyunk. A társadalom nem engedheti meg magunknak, hogy gyorsan haladjunk és megtörjük a dolgokat, lassítanunk kell és gondolkodnunk kell.

Szimbolikus, hogy egykor a filozófia volt minden tudományos és társadalmi diskurzus központi eleme, majd jött a matematika, majd a számítástechnika. Most, amikor az adattudomány került a középpontba, megtettük a teljes kört, és vissza kell kapcsolódnunk filozófiai gyökereinkhez.

Egy másik ajánlás, amit tett, a tájékozott nyilvánosság létrehozása. Hogyan tájékoztathatjuk a közvéleményt, aki esetleg nem ismeri az AI-t, vagy nem érti az AI-elfogultsággal kapcsolatos problémákat?

Nagy szükség van arra, hogy a nem műszaki embereket a technológiáról, és a műszaki embereket annak társadalmi vonatkozásairól oktassák. Mindkét cél elérése erős elkötelezettséget és jelentős befektetést igényel kormányunk részéről. Anyagokat és oktatási módszereket kell kidolgoznunk mindezen csoportok számára, és meg kell találnunk a részvétel ösztönzésének módjait. És ezt a munkát nem bízhatjuk a kereskedelmi szervezetekre. Az Európai Unió élen jár, és több kormány is támogatja alapvető AI oktatás az MI tantervek beépítése a középiskolai programokba. Mi, az R/AI-nál egy nyilvánosan elérhető és széles körben hozzáférhető tanfolyamon dolgozunk, amelynek célja egy olyan elkötelezett nyilvánosság létrehozása, amely segít abban, hogy az AI olyan legyen, amilyennek MI szeretnénk. Nagyon izgatottak vagyunk ezzel a munkával kapcsolatban, kérjük, maradjon velünk a további információkért a következő hónapban.

Köszönjük a nagyszerű részletes válaszokat. Azok az olvasók, akik többet szeretnének megtudni, látogassák meg a Center for Responsible AI-t.