Nora Petrova, Maskinlæringsingeniør & AI-konsulent hos Prolific – Intervju-serie

Nora Petrova er en maskinlæringsingeniør og AI-konsulent hos Prolific. Prolific ble grunnlagt i 2014 og teller allerede organisasjoner som Google, Stanford University, University of Oxford, King’s College London og Den europeiske kommisjon blant sine kunder, som bruker deres nettverk av deltakere til å teste nye produkter, trene AI-systemer i områder som øye-sporing og avgjøre om deres menneske-orienterte AI-applikasjoner fungerer som deres skapere ønsket seg.

Kan du dele noen informasjon om din bakgrunn hos Prolific og karriere hittil? Hva fikk deg interessert i AI?

Min rolle hos Prolific er delt mellom å være en rådgiver med hensyn til AI-brukssaker og muligheter, og å være en mer hånd-til-hånd ML-ingeniør. Jeg startet min karriere i programvareutvikling og har gradvis gått over til maskinlæring. Jeg har brukt mesteparten av de siste 5 årene på å fokusere på NLP-brukssaker og problemer.

Hva som fikk meg interessert i AI fra starten av, var evnen til å lære fra data og sammenhengen med hvordan vi, som mennesker, lærer og hvordan våre hjerner er strukturert. Jeg tror ML og nevrovitenskap kan supplere hverandre og hjelpe med å videreutvikle vår forståelse av hvordan vi bygger AI-systemer som er i stand til å navigere i verden, vise kreativitet og legge til verdi for samfunnet.

Hva er noen av de største AI-forvrengningsproblemer som du personlig er klar over?

Forvrengning er innebygget i dataene vi mater inn i AI-modellene, og å fjerne det fullstendig er svært vanskelig. Det er likevel avgjørende at vi er klar over forvrengningene som er i dataene og finner måter å mildne de skadelige typene forvrengning før vi betror modellene med viktige oppgaver i samfunnet. De største problemene vi står overfor, er modeller som videreformerer skadelige stereotyper, systemiske fordommer og urettferdigheter i samfunnet. Vi bør være oppmerksomme på hvordan disse AI-modellene vil bli brukt og den innflytelsen de vil ha på sine brukere, og sikre at de er trygge før vi godkjenner dem for sensitive brukssaker.

Noen fremtredende områder hvor AI-modeller har vist skadelige forvrengninger, inkluderer diskriminering av underrepresenterte grupper i skole- og universitetsopptak og kjønnsstereotyper som negativt påvirker rekruttering av kvinner. Ikke bare det, men en kriminalitetsalgoritme ble funnet å ha feilmerket afro-amerikanske tiltalte som “høy risiko” i nesten dobbelt så høy en rate som den feilmerket hvite tiltalte i USA, mens ansiktsgjenkjenningsteknologi fortsatt lider av høye feilrater for minoriteter på grunn av manglende representativ treningdata.

Eksemplene ovenfor dekker en liten undergruppe av forvrengninger vist av AI-modeller, og vi kan forutse større problemer som vil oppstå i fremtiden hvis vi ikke fokuserer på å mildne forvrengning nå. Det er viktig å huske at AI-modeller lærer fra data som inneholder disse forvrengningene på grunn av menneskelig beslutningstagning påvirket av ukontrollerte og ubevisste fordommer. I mange tilfeller kan det å henvisende til en menneskelig beslutningstaker ikke eliminere forvrengning. Å virkelig mildne forvrengninger vil innebære å forstå hvordan de er til stede i dataene vi bruker til å trene modeller, å isolere faktorene som bidrar til forvrengde prediksjoner, og kollektivt å bestemme hva vi ønsker å basere viktige beslutninger på. Utvikling av en sett med standarder, slik at vi kan evaluere modeller for sikkerhet før de brukes til sensitive brukssaker, vil være et viktig skritt fremover.

AI-hallusinasjoner er et stort problem med alle typer generative AI. Kan du diskutere hvordan human-in-the-loop (HITL) trening kan mildne disse problemene?

Hallusinasjoner i AI-modeller er problematisk i bestemte brukssaker for generativ AI, men det er viktig å merke seg at de ikke er et problem i og for seg. I visse kreative brukssaker for generativ AI er hallusinasjoner velkommen og bidrar til en mer kreativ og interessant respons.

De kan være problematisk i brukssaker hvor avhengighet av faktisk informasjon er høy. For eksempel i helsevesenet, hvor robust beslutningstagning er nøkkel, er det avgjørende å gi helsepersonale pålitelig faktisk informasjon.

HITL henviser til systemer som tillater mennesker å gi direkte tilbakemelding til en modell for prediksjoner som er under en bestemt nivå av tillit. Innenfor sammenhengen av hallusinasjoner, kan HITL brukes til å hjelpe modeller å lære nivået av sikkerhet de bør ha for ulike brukssaker før de utsteder en respons. Disse terskelen vil variere avhengig av brukssaken og å lære modellene forskjellene i rigor som er nødvendig for å svare på spørsmål fra ulike brukssaker, vil være et viktig skritt mot å mildne de problematiske typene hallusinasjoner. For eksempel, i en juridisk brukssak, kan mennesker demonstrere for AI-modeller at faktasjekking er en nødvendig steg når de svarer på spørsmål basert på komplekse juridiske dokumenter med mange klausuler og betingelser.

Hvordan kan AI-arbeidere, som data-annotatorer, hjelpe med å redusere potensielle forvrengningsproblemer?

AI-arbeidere kan først og fremst hjelpe med å identifisere forvrengninger som er til stede i dataene. Når forvrengningene er identifisert, blir det lettere å komme opp med strategier for å mildne dem. Data-annotatorer kan også hjelpe med å komme opp med måter å reducere forvrengning på. For eksempel, for NLP-oppgaver, kan de hjelpe med å gi alternative måter å formulere problematiske tekstutklipp på slik at forvrengningene som er til stede i språket reduseres. I tillegg kan diversitet blant AI-arbeidere hjelpe med å mildne problemer med forvrengning i merking.

Hvordan sikrer du at AI-arbeiderne ikke uforvarende matrer sine egne menneskelige fordommer inn i AI-systemet?

Det er absolutt et komplekst problem som krever nøye overveielse. Å eliminere menneskelige fordommer er nesten umulig, og AI-arbeidere kan uforvarende matre sine egne fordommer til AI-modellene, så det er nøkkel til å utvikle prosesser som guider arbeiderne mot beste praksis.

Noen skritt som kan tas for å holde menneskelige fordommer til et minimum, inkluderer:

• Omfattende trening av AI-arbeidere på ubevisste fordommer og å gi dem verktøy for å identifisere og håndtere sine egne fordommer under merking.
• Sjekklister som minner AI-arbeidere om å verifisere sine egne svar før de sender dem inn.
• Å kjøre en vurdering som sjekker nivået av forståelse som AI-arbeiderne har, hvor de vises eksempler på svar over ulike typer fordommer, og blir bedt om å velge det minst fordomsfulle svaret.

Regulatorer over hele verden har til hensikt å regulere AI-utgang, hva mener du regulatorer misforstår, og hva de har rett i?

Det er viktig å starte med å si at dette er et svært vanskelig problem som ingen har funnet løsningen på. Samfunnet og AI vil begge utvikle seg og påvirke hverandre på måter som er svært vanskelige å forutse. En del av en effektiv strategi for å finne robuste og nyttige reguleringer av AI, er å følge med på hva som skjer i AI, hvordan folk reagerer på det og hva effektene er på ulike industrier.

Jeg tror at en betydelig hindring for effektiv regulering av AI er en mangel på forståelse av hva AI-modeller kan og ikke kan gjøre, og hvordan de fungerer. Dette gjør det enda vanskeligere å nøyaktig forutse konsekvensene disse modellene vil ha på ulike sektorer og deler av samfunnet. Et annet område som mangler, er tankeleder på hvordan vi kan alignere AI-modeller med menneskelige verdier og hva sikkerhet ser ut i mer konkrete termer.

Regulatorer har søkt samarbeid med eksperter i AI-feltet, har vært forsiktige med å ikke kvæle innovasjon med for strenge regler rundt AI, og har startet å vurdere konsekvensene av AI på jobbfordrivelse, som alle er viktige områder å fokusere på. Det er viktig å gå forsiktig og å involvere så mange mennesker som mulig for å nærme seg dette problemet på en demokratisk måte.

Hvordan kan Prolific-løsninger hjelpe bedrifter med å redusere AI-forvrengning, og de andre problemene vi har diskutert?

Datainnsamling for AI-prosjekter har ikke alltid vært en overveiet eller bevisst prosess. Vi har tidligere sett skraping, offshoring og andre metoder som har vært vanlige. Men hvordan vi trener AI er avgjørende, og neste-generasjonsmodeller vil trenge å bygges på bevisst innsamlet, høykvalitetsdata, fra virkelige mennesker og fra de du har direkte kontakt med. Dette er hvor Prolific gjør en merke.

Andre domener, som meningsmåling, markedsforskning eller vitenskapelig forskning, lærte dette for lenge siden. Publikum du sampler fra, har en stor innvirkning på resultater du får. AI begynner å holde pace, og vi er nå på et veiskille.

Nå er tiden til å begynne å bry oss om å bruke bedre prøver og å jobbe med mer representativ grupper for AI-trening og finjustering. Begge er kritisk for å utvikle trygge, upartiske og alignete modeller.

Prolific kan hjelpe med å gi riktige verktøy for bedrifter til å utføre AI-eksperimenter på en trygg måte og å samle data fra deltakere hvor forvrengning kontrolleres og mildnes underveis. Vi kan hjelpe med å gi veiledning på beste praksis rundt datainnsamling, utvalg, kompensasjon og rettferdig behandling av deltakere.

Hva er dine synspunkter på AI-gjennomsiktighet, bør brukere kunne se hva slags data en AI-algoritme er trent på?

Jeg tror at det er både for- og ulemper ved gjennomsiktighet, og en god balanse er ikke funnet ennå. Selskaper holder tilbake informasjon om data de har brukt til å trene sine AI-modeller på grunn av frykt for rettslige konsekvenser. Andre har arbeidet mot å gjøre sine AI-modeller offentlig tilgjengelige og har sluppet all informasjon om data de har brukt. Full gjennomsiktighet åpner opp for mange muligheter for utnytting av sårbarhetene i disse modellene. Full hemmeligholdelse hjelper ikke med å bygge tillit og å involvere samfunnet i å bygge trygg AI. En god midtervei vil gi nok gjennomsiktighet til å skape tillit til at AI-modeller er trent på god kvalitetsrelevant data som vi har gitt samtykke til. Vi må følge med på hvordan AI påvirker ulike industrier og åpne dialoger med berørte parter og sikre at vi utvikler praksis som fungerer for alle.

Jeg tror også at det er viktig å vurdere hva brukere vil finne tilfredsstillende i forhold til forklarbarhet. Hvis de ønsker å forstå hvorfor en modell produserer en bestemt respons, å gi dem rådata modellen ble trent på, vil sannsynligvis ikke hjelpe med å svare på deres spørsmål. Derfor er det viktig å bygge gode forklarbarhets- og tolkningsverktøy.

AI-justeringsforskning har til hensikt å styre AI-systemer mot menneskers ønskede mål, preferanser eller etiske prinsipper. Kan du diskutere hvordan AI-arbeidere blir trent og hvordan dette brukes til å sikre at AI er justert så godt som mulig?

Dette er et aktivt forskningsområde, og det er ikke enighet ennå om hva strategier vi bør bruke til å justere AI-modeller til menneskelige verdier eller hvilke verdier vi bør justere dem til.

AI-arbeidere blir vanligvis bedt om å representere sine preferanser og svare på spørsmål om sine preferanser sannferdig, samtidig som de også må følge prinsipper rundt sikkerhet, manglende forvrengning, skade og nytte.

I forhold til justering mot mål, etiske prinsipper eller verdier, er det flere fremtredende tilnærminger som ser lovende ut. Et bemerkelsesverdig eksempel er arbeidet til The Meaning Alignment Institute på Democratic Fine-Tuning. Det er en utmerket post som introduserer ideen her.

Takk for det flotte intervjuet og for å dele dine synspunkter på AI-forvrengning. Lesere som ønsker å lære mer, bør besøke Prolific.