Nora Petrova, maskinlæringsingeniør og AI-konsulent i Prolific – Intervju-serie

Nora Petrova er en maskinlæringsingeniør og AI-konsulent i Prolific. Prolific ble grunnlagt i 2014 og teller allerede organisasjoner som Google (GOOGL ), Stanford University, University of Oxford, King’s College London og Den europeiske kommisjon blant sine kunder, som bruker nettverket av deltakere til å teste nye produkter, trene AI-systemer i områder som øye-sporing og bestemme om deres menneske-orienterte AI-applikasjoner fungerer som de var ment til.

Kan du dele noen informasjon om din bakgrunn i Prolific og karriere til nå? Hva fikk deg interessert i AI?

Min rolle i Prolific er delt mellom å være en rådgiver når det gjelder AI-brukssaker og -muligheter, og å være en mer praktisk ML-ingeniør. Jeg startet min karriere i programvareutvikling og har gradvis gått over til maskinlæring. Jeg har brukt mesteparten av de siste 5 årene på å fokusere på NLP-brukssaker og -problemer.

Hva som fikk meg interessert i AI fra starten av, var evnen til å lære fra data og sammenhengen med hvordan vi, som mennesker, lærer og hvordan vår hjerne er strukturert. Jeg tror at ML og nevrovitenskap kan supplere hverandre og hjelpe med å videreutvikle vår forståelse av hvordan vi kan bygge AI-systemer som er i stand til å navigere i verden, vise kreativitet og legge til verdi for samfunnet.

Hva er noen av de største AI-forvrengningsproblemer som du personlig er klar over?

Forvrengning er innebygget i dataene vi matar inn i AI-modellene, og å fjerne det fullstendig er svært vanskelig. Det er likevel avgjørende at vi er klar over forvrengningene som er i dataene og finner måter å mildne de skadelige typene forvrengning før vi betror modellene med viktige oppgaver i samfunnet. De største problemene vi står overfor er modeller som videreforer skadelige stereotyper, systematiske fordommer og urettferdigheter i samfunnet. Vi bør være oppmerksomme på hvordan disse AI-modellene vil bli brukt og hvilken innvirkning de vil ha på brukerne, og sikre at de er trygge før vi godkjenner dem for sensitive brukssaker.

Noen fremtredende områder hvor AI-modeller har vist skadelige forvrengninger, inkluderer diskriminering av underrepresenterte grupper i skole- og universitetsopptak og kjønnsstereotyper som negativt påvirker rekruttering av kvinner. Ikke bare det, men en kriminalitetsalgoritme ble funnet å ha feilmerket afroamerikanske tiltalte som “høyrisiko” i nesten dobbelt så høy en rate som den feilmerket hvite tiltalte i USA, mens ansiktsgjenkjenningsteknologi fortsatt lider av høye feilrater for minoriteter på grunn av manglende representativ treningdata.

Eksemplene ovenfor dekker en liten undergruppe av forvrengninger vist av AI-modeller, og vi kan forutse større problemer som vil oppstå i fremtiden hvis vi ikke fokuserer på å mildne forvrengning nå. Det er viktig å huske at AI-modeller lærer fra data som inneholder disse forvrengningene på grunn av menneskelig beslutningstaking influert av ukontrollerte og ubevisste fordommer. I mange tilfeller kan det å henføre til en menneskelig beslutningstaker ikke eliminere forvrengningen. Å virkelig mildne forvrengninger vil innebære å forstå hvordan de er til stede i dataene vi bruker til å trene modeller, isolere faktorene som bidrar til forvrengde prediksjoner, og kollektivt bestemme hva vi ønsker å basere viktige beslutninger på. Utvikling av en sett med standarder, slik at vi kan evaluere modeller for sikkerhet før de brukes for sensitive brukssaker, vil være et viktig skritt fremover.

AI-hallusinasjoner er et stort problem med alle typer generative AI. Kan du diskutere hvordan human-in-the-loop (HITL) trening kan mildne disse problemene?

Hallusinasjoner i AI-modeller er problematisk i bestemte brukssaker for generative AI, men det er viktig å merke seg at de ikke er et problem i og for seg selv. I visse kreative brukssaker for generative AI er hallusinasjoner ønskelige og bidrar til en mer kreativ og interessant respons.

De kan være problematisk i brukssaker hvor avhengighet av faktiske opplysninger er høy. For eksempel i helsevesenet, hvor robust beslutningstaking er nøkkel, er det avgjørende å gi helsepersonale pålitelige faktiske opplysninger.

HITL henviser til systemer som tillater mennesker å gi direkte tilbakemelding til en modell for prediksjoner som er under en viss nivå av tillit. Innenfor sammenhengen av hallusinasjoner kan HITL brukes til å hjelpe modeller med å lære nivået av sikkerhet de bør ha for forskjellige brukssaker før de utsteder en respons. Disse terskelen vil variere avhengig av brukssaken og å lære modellene forskjellene i rigor som er nødvendig for å svare på spørsmål fra forskjellige brukssaker, vil være et viktig skritt mot å mildne de problematiske typene hallusinasjoner. For eksempel, innenfor en juridisk brukssak, kan mennesker demonstrere for AI-modeller at faktasjekking er en nødvendig steg når det gjelder å svare på spørsmål basert på komplekse juridiske dokumenter med mange klausuler og betingelser.

Hvordan kan AI-arbeidere, som data-annotatorer, hjelpe med å redusere potensielle forvrengningsproblemer?

AI-arbeidere kan først og fremst hjelpe med å identifisere forvrengninger som er til stede i dataene. Når forvrengningen er identifisert, blir det lettere å komme opp med strategier for å mildne den. Data-annotatorer kan også hjelpe med å komme opp med måter å redusere forvrengning på. For eksempel, for NLP-oppgaver, kan de hjelpe med å gi alternative måter å formulere problematiske tekstsnutter på så måten at forvrengningen i språket reduseres. I tillegg kan mangfold blant AI-arbeidere hjelpe med å mildne problemer med forvrengning i merking.

Hvordan sikrer du at AI-arbeiderne ikke ufrivillig matar inn sine egne menneskelige fordommer i AI-systemet?

Det er et komplekst problem som krever omhyggelig overveielse. Å eliminere menneskelige fordommer er nesten umulig, og AI-arbeidere kan ufrivillig mata inn sine egne fordommer i AI-modellene, så det er nødvendig å utvikle prosesser som guider arbeiderne mot beste praksis.

Noen skritt som kan tas for å holde menneskelige fordommer til et minimum, inkluderer:

• Omfattende trening av AI-arbeidere på ubevisste fordommer og å gi dem verktøy for å identifisere og håndtere sine egne fordommer under merking.
• Sjekklister som minner AI-arbeidere om å verifisere sine egne svar før de sender dem inn.
• Å kjøre en vurdering som sjekker nivået av forståelse som AI-arbeiderne har, hvor de blir vist eksempler på svar over forskjellige typer fordommer, og blir bedt om å velge det minst fordomsfulle svaret.

Regulatorer over hele verden har til hensikt å regulere AI-utgang, hva mener du regulatorer misforstår, og hva har de rett?

Det er viktig å starte med å si at dette er et svært vanskelig problem som ingen har funnet løsningen på. Samfunnet og AI vil begge utvikle seg og påvirke hverandre på måter som er svært vanskelige å forutse. En del av en effektiv strategi for å finne robuste og nyttige reguleringer er å følge med hva som skjer i AI, hvordan mennesker reagerer på det og hvilke effekter det har på forskjellige industrier.

Jeg tror at et betydelig hindring for effektiv regulering av AI er en mangel på forståelse av hva AI-modeller kan og ikke kan gjøre, og hvordan de fungerer. Dette gjør det vanskeligere å nøyaktig forutsi konsekvensene disse modellene vil ha på forskjellige sektorer og deler av samfunnet. Et annet område som mangler er tankeløsning på hvordan å alignere AI-modeller med menneskelige verdier og hva sikkerhet ser ut i mer konkrete termer.

Regulatorer har søkt samarbeid med eksperter i AI-feltet, har vært forsiktige med å ikke kvæle innovasjon med for strenge regler rundt AI, og har startet å vurdere konsekvensene av AI på jobbforflytning, som er viktige områder å fokusere på. Det er viktig å gå forsiktig og å involvere så mange mennesker som mulig for å nærme seg dette problemet på en demokratisk måte.

Hvordan kan Prolific-løsninger hjelpe bedrifter med å redusere AI-forvrengning, og andre problemer som vi har diskutert?

Datainnsamling for AI-prosjekter har ikke alltid vært en overveid eller bevisst prosess. Vi har tidligere sett skraping, outsourcing og andre metoder som har vært vanlige. Imidlertid er det avgjørende hvordan vi trener AI, og neste-generasjonsmodeller vil trenge å bygges på bevisst innsamlet, høykvalitetsdata fra virkelige mennesker og fra de vi har direkte kontakt med. Dette er der Prolific gjør en innsats.

Andre domener, som meningsmåling, markedsforskning eller vitenskapelig forskning, lærte dette lenge siden. Publikum du sampler fra, har en stor innvirkning på resultater du får. AI begynner å holde følge, og vi står nå ved et veiskille.

Nå er tiden til å begynne å bry oss om å bruke bedre prøver og å arbeide med mer representativt grupper for AI-trening og finjustering. Begge er kritiske for å utvikle trygge, upartiske og alignete modeller.

Prolific kan hjelpe med å gi riktige verktøy for bedrifter til å utføre AI-eksperimenter på en trygg måte og å samle data fra deltakere hvor forvrengning kontrolleres og mildnes underveis. Vi kan hjelpe med å gi veiledning på beste praksis rundt datainnsamling, utvalg, kompensasjon og rettferdig behandling av deltakere.

Hva er dine synspunkter på AI-gjennomsiktighet, bør brukere kunne se hva slags data en AI-algoritme er trent på?

Jeg tror at det er både for- og ulemper ved gjennomsiktighet, og en god balanse er ikke funnet ennå. Selskaper holder tilbake informasjon om data de har brukt til å trene sine AI-modeller på grunn av frykt for rettslige konsekvenser. Andre har arbeidet mot å gjøre sine AI-modeller offentlig tilgjengelige og har sluppet all informasjon om data de har brukt. Full gjennomsiktighet åpner opp for mange muligheter for utnyttelse av svakhetene i disse modellene. Full hemmeligholdelse hjelper ikke med å bygge tillit og å involvere samfunnet i å bygge trygg AI. En god midtvei ville gi nok gjennomsiktighet til å skape tillit til at AI-modeller er trent på god kvalitetsrelevant data som vi har samtykket til. Vi må være oppmerksomme på hvordan AI påvirker forskjellige industrier og åpne dialoger med berørte parter og sikre at vi utvikler praksiser som fungerer for alle.

Jeg tror også at det er viktig å vurdere hva brukere ville finne tilfredsstillende når det gjelder forklarbarhet. Hvis de ønsker å forstå hvorfor en modell produserer en bestemt respons, vil å gi dem rådata modellen ble trent på, sannsynligvis ikke hjelpe med å svare på deres spørsmål. Derfor er det viktig å bygge gode forklarbarhets- og tolkningsverktøy.

AI-justeringsforskning retter seg mot å styre AI-systemer mot menneskers ønskede mål, preferanser eller etiske prinsipper. Kan du diskutere hvordan AI-arbeidere blir trent og hvordan dette brukes til å sikre at AI er justert så godt som mulig?

Dette er et aktivt forskningsområde, og det er ikke enighet ennå om hva strategier vi bør bruke til å justere AI-modeller til menneskelige verdier eller hvilke verdier vi bør justere dem til.

AI-arbeidere blir vanligvis bedt om å representere sine preferanser og å svare på spørsmål om sine preferanser sannferdig, samtidig som de holder seg til prinsipper om sikkerhet, manglende fordommer, skade og nyttighet.

Når det gjelder justering mot mål, etiske prinsipper eller verdier, er det flere tilnærminger som ser lovende ut. Et bemerkelsesverdig eksempel er arbeidet til The Meaning Alignment Institute på Democratic Fine-Tuning. Det er en utmerket post som introduserer ideen her.

Takk for det flotte intervjuet og for å dele dine synspunkter på AI-forvrengning, lesere som ønsker å lære mer bør besøke Prolific.