Prof. Julia Stoyanovich, Center for Responsible AI:n johtaja – Haastattelusarja

Julia Stoyanovich, on NYU:n Tandon School of Engineeringin professori ja Center for Responsible AI:n perustaja. Hän antoi vastikään todistuksen New Yorkin kaupunginvaltuuston teknologiajaostolle ehdotetusta lakiin, joka säätelee tekoälyn käyttöä palkkaamis- ja työpäätöksissä.

Olet Center for Responsible AI:n perustaja ja johtaja. Voisitko kertoa meille joistakin tämän organisaation toteuttamista aloitteista?

Johtan Center for Responsible AI:ta (R/AI) NYU:ssa yhdessä Steven Kuyanin kanssa. Steven ja minulla on täydentävät edut ja asiantuntemus. Olen akateemikko, jolla on tietojenkäsittelytieteen tausta ja vahva kiinnostus soveltavan tutkimuksen, vastuullisen data-analytiikan ja politiikan risteyksessä. Steven on NYU Tandon Future Labsin toimitusjohtaja, joka on startup-yritysten verkosto, jolla on jo ollut merkittävä taloudellinen vaikutus New Yorkissa. Meidän visiomme R/AI:lle on tehdä “vastuullinen tekoäly” yhteneväksi “tekoälyn” kanssa, yhdistämällä soveltavaa tutkimusta, julkista koulutusta ja osallistumista sekä auttamalla yrityksiä, erityisesti pieniä, kehittämään vastuullista tekoälyä.

Viime kuukausina R/AI on osallistunut aktiivisesti keskusteluihin automaattisten päätöksentekojarjestelmien valvontaa koskien. Lähestymistapaamme perustuu koulutus- ja politiikkatoimiin.

New Yorkin kaupunki harkitsee lakiehdotusta, Int 1894, joka säätelee automaattisten päätöksentekojarjestelmien käyttöä palkkaamisessa yhdistämällä auditoinnin ja julkisen ilmoittamisen. R/AI jätti lausunnon lakiin perustuen tutkimukseemme ja havaintoihimme, joita keräsimme työnhakijoilta useiden julkisten osallistumistoimien kautta.

Töimme yhdessä The GovLabin kanssa NYU:ssa ja Institut für Ethics in AI:n kanssa Teknillisen yliopiston Münchenissä ilmaisella verkkokurssilla “AI Ethics: Global Perspectives”, joka käynnistettiin tänä kuussa.

Toinen R/AI:n viimeaikainen projekti, joka on herättänyt paljon huomiota, on “Data, Responsibly” -sarjakuva. Sarjakuvan ensimmäinen osa on nimeltään “Mirror, Mirror”, ja se on saatavilla englanniksi, espanjaksi ja ranskaksi, ja se on saatavilla myös näyttöluettavassa muodossa kaikissa kolmessa kielessä. Sarjakuva sai Innovation of the Month -palkinnon Metro Lab Networkilta ja GovTechilta, ja se on ollut esillä Toronto Starissa ja muissa julkaisuissa.

Mitä ovat joitakin nykyisiä tai potentiaalisia ongelmia tekoälyn harhaisuuden kanssa palkkaamis- ja työpäätöksissä?

Tämä on monimutkainen kysymys, joka vaatii meiltä ensin selvyyttä siitä, mitä tarkoitamme “harhaisuudella”. Avainasia on, että automaattiset palkkaamisjärjestelmät ovat “ennustavaa analytiikkaa” – ne ennustavat tulevaisuutta perustuen menneisyyteen. Menneisyys edustaa historiallista dataa yksilöistä, jotka on palkattu yritykseen, ja siitä, miten nämä yksilöt suoriutuivat. Järjestelmä on “koulutettu” tälle datale, mikä tarkoittaa, että se tunnistaa tilastollisia malleja ja käyttää niitä ennusteisiin. Nämä tilastolliset mallit ovat “taika”, joka perustuu ennustavaan mallinnukseen. Selvästi, mutta tärkeästi, historiallinen data, josta nämä mallit on poimittu, on vaikeneva yksilöistä, jotka eivät ole palkattu, koska emme tiedä, miten he olisivat suoriutuneet työssä, jota he eivät saaneet. Ja tässä kohtaa harhaisuus tulee mukaan. Jos systeemitesti palkkaa jatkuvasti yksilöitä tietystä demografisesta ja sosioekonomisesta ryhmästä, niin jäsenyys näissä ryhmissä ja niiden ominaisuudet tulevat osaksi ennustemallia. Esimerkiksi, jos näemme ainoastaan korkeakoulutettuja yksilöitä palkattuna johtotehtäviin, niin järjestelmä ei voi oppia, että myös muissa koulutuksissa olevat yksilöt voisivat menestyä. On helppo nähdä samanlainen ongelma sukupuolen, rodun ja vamman suhteen.

Tekoälyn harhaisuus on laajempi kuin vain dataan liittyvä harhaisuus. Se ilmenee, kun yritämme käyttää teknologiaa, jossa tekninen ratkaisu on yksinkertaisesti sopimaton, tai kun asetamme väärät tavoitteet tekoälylle – usein siksi, että meillä ei ole monipuolista äänien joukkoa suunnittelupöydässä, tai kun luovumme toimivallastamme ihmisten ja tekoälyn vuorovaikutuksessa tekoälyn käyttöönoton jälkeen. Jokainen näistä syistä harhaisuudelle ansaitsee oman keskustelunsa, joka todennäköisesti kestäisi pidempään kuin tämän artikkelin sallii. Ja siksi, pysyäkseni fokusoituneena, haluan palata dataan liittyvään harhaisuuteen.

Kun selitän dataan liittyvää harhaisuutta, käytän usein peilin heijastusmetaforaa. Data on maailman kuva, sen peilin heijastus. Kun pohtimme dataan liittyvää harhaisuutta, tutkimme tätä heijastusta. Yksi tulkinta “dataan liittyvää harhaisuutta” on, että heijastus on vääristynyt – peilimme aliedustaa tai yliedustaa maailman osia, tai muuten vääristää lukemat. Toinen tulkinta “dataan liittyvää harhaisuutta” on, että vaikka heijastus olisi 100 % uskollinen, se olisi silti heijastus maailmasta sellaisena kuin se on tänään, eikä siitä, miten se voisi tai pitäisi olla. Tärkeää on, ettei dataa tai algoritmia ole tehtäväksi kertoa meille, onko se täydellinen heijastus rikkinäisestä maailmasta, rikkinäinen heijastus täydellisestä maailmasta vai kompensoidaanko nämä vääristymät. Se on ihmisten – yksilöiden, ryhmien, yhteiskunnan laajemmin – tehtävä päättää, olemmeko tyytyväisiä maailmaan sellaisena kuin se on, tai emme, ja miten meidän tulisi parantaa sitä.

Takaisin ennustavaan analytiikkaan: Mitä suuremmat epäkohtuudet datasta ovat, sitä todennäköisemmin ne ovat havaittavissa ennustemalleissa ja toistetaan – ja jopa pahentuvat – tulevaisuudessa.

Jos tavoitteemme on parantaa palkkaamis- ja työpäätöksiämme tasa-arvon ja monimuotoisuuden näkökulmasta, emme voi ulkoistaa tätä tehtävää koneille. Meidän on tehtävä vaikeat työt tunnistamaan harhaisuuden syitä palkkaamis- ja työpäätöksissä ja neuvoteltava sosiaalisten, oikeudellisten ja teknisten ratkaisujen toteuttamisesta kaikkien sidosryhmien osallistumisella. Teknologia varmasti on roolinsa tässä: se voi auttaa meitä pysymään rehellisinä tavoitteistamme ja tuloksistamme. Mutta ajatella, että dataan liittyvän harhaisuuden poistaminen tai ennustavan analytiikan korjaaminen ratkaisisi syvälle juurtuneet ongelmat syrjinnässä palkkaamisessa, on naivia.

Viimeksi antamassasi lausunnossa New Yorkin kaupunginvaltuuston teknologiajaostolle mainitsit yhden merkittävän kommentin: “Havaitsemme, että sekä mainostajan budjetti että mainoksen sisältö vaikuttavat Facebookin mainonnan toimittamiseen. Kriittisesti tärkeää on, että havaitsemme merkittävän vinouman toimituksessa sekä sukupuolen että rodun suhteen ‘oikeille’ työ- ja asuntomahdollisuuksille, vaikka kohdennusparametrit olisivat neutraaleja.” Mitkä ovat ratkaisut tällaisen vinouman välttämiseksi?

Tämä kommentti perustuu Ali et al.:n tutkimukseen “Discrimination though Optimization: How Facebook’s (META ) Ad Delivery Can Lead to Biased Outcomes”. Tutkimuksessa todetaan, että itse mainonnan toimitusjärjestelmä on vastuussa syrjinnän aiheuttamisesta ja vahvistamisesta. On selvää, että tämä löydös on erittäin ongelmallinen, erityisesti Facebookin ja muiden alustojen, kuten Google (GOOGL ) ja Twitter, läpinäkyvyyden puutteen taustalla. Alustoilla on vastuu osoittaa, että ne voivat hillitä syrjinnän vaikutuksia, kuten Ali et al. löysivät. Muutoin en voi löytää oikeutusta jatkuvasti henkilökohtaiseen mainontaan asunto- ja työpaikkojen hakemisessa ja muissa elämää ja elinkeinoa koskevissa asioiden hakemisessa.

Miten data-analyytikot ja tekoälykehittäjät voivat parhaiten estää muita tahattomia vinoumia järjestelmiensä sisään?

 Se ei ole ainoastaan data-analyytikkojen tai minkään tahansa sidosryhmän vastuulla varmistaa, että tekniset järjestelmät ovat yhdenmukaisia yhteiskunnan arvojen kanssa. Mutta data-analyytikot ovat todella eturintamassa tässä taistelussa. Itse ollen tietojenkäsittelytieteilijä, voin vakuuttaa, että on houkuttelevaa ajatella, että järjestelmät, joita suunnittelemme, ovat “objektiivisia”, “optimaalisia” tai “oikein”. Tekoälyn menestyksestä ja laajasta käytöstä on sekä siunaus että kirous. Me teknologeilla emme enää voi piillä takana tavoittelemalla objektiivisuutta ja oikein. Meidän on vastuulla ajatella huolella paikkamme maailmassa ja kouluttaa itseämme sosiaalisista ja poliittisista prosesseista, joita vaikutan.

On symbolista, että filosofia oli kerran kaiken tieteellisen ja yhteiskunnallisen keskustelun keskipisteenä, sitten tuli matematiikka, sitten tietojenkäsittelytiede. Nyt, kun data-analytiikka on päässyt etualalle, olemme tulleet täyden päälle ja tarvitsemme yhteyttä takaisin filosofisiin juurimme.

Toinen suositus, jonka teit, oli luoda tietoinen julkinen. Miten voimme kouluttaa julkinen, joka ei välttämättä ole tuttu tekoälylle tai ymmärrä tekoälyyn liittyviä ongelmia?

On suuri tarve kouluttaa ei-tekniikkaa tuntevia ihmisiä teknologiasta ja kouluttaa teknisiä ihmisiä sen sosiaalisista vaikutuksista. Molempien tavoitteiden saavuttaminen vaatii vahvan sitoutumisen ja merkittävän sijoituksen hallitukselta. Meidän on kehitettävä materiaaleja ja koulutusmenetelmiä kaikille ryhmille ja kehitettävä keinoja kannustaa osallistumista. Emme voi jättää tätä työtä kaupallisten yritysten varaan. Euroopan unioni on edelläkävijä, ja useat hallitukset tarjoavat tukea perustason tekoälykoulutukseen kansalaisilleen ja ottavat tekoälyopinnot mukaan lukio-ohjelmiin. Me R/AI:ssa työskentelemme julkisesti saatavilla olevan ja laajasti saatavilla olevan kurssin parissa, jolla pyrimme luomaan osallistuvan julkisen, joka auttaa meitä tekemään tekoälystä sellaista, mitä me haluamme. Olemme erittäin innostuneita tästä työstä, ja pyydämme seuraamaan tietoja seuraavassa kuussa.

Kiitos yksityiskohtaisista vastauksista. Lukijat, jotka haluavat oppia lisää, voivat vierailla Center for Responsible AI:ssa.