Nora Petrova, Maskinlæringsingeniør & AI-konsulent hos Prolific – Intervieuserie

Nora Petrova er en Maskinlæringsingeniør & AI-konsulent hos Prolific. Prolific blev grundlagt i 2014 og tæller allerede organisationer som Google (GOOGL ), Stanford University, University of Oxford, King’s College London og Den Europæiske Kommission blandt sine kunder, der bruger deres netværk af deltagere til at teste nye produkter, træne AI-systemer inden for områder som øje-sporing og bestemme, om deres menneske-orienterede AI-applikationer fungerer, som deres skabere havde til hensigt.

Kan du dele nogle oplysninger om din baggrund hos Prolific og din karriere indtil videre? Hvad fik dig interesseret i AI?

Min rolle hos Prolific er fordelt mellem at være rådgiver omkring AI-brugsændringer og muligheder, og at være en mere hånd-til-hånd ML-ingeniør. Jeg startede min karriere inden for software-udvikling og er gradvist overgået til maskinlæring. Jeg har brugt det meste af de sidste 5 år på NLP-brugsændringer og problemer.

Det, der fik mig interesseret i AI til at begynde med, var evnen til at lære af data og sammenhængen med, hvordan vi, som mennesker, lærer, og hvordan vores hjerner er struktureret. Jeg tror, at ML og neurovidenskab kan supplere hinanden og hjælpe med at fremme vores forståelse af, hvordan vi kan bygge AI-systemer, der kan navigere i verden, udvise kreativitet og tilføje værdi til samfundet.

Hvad er nogle af de største AI-forvrængningsproblemer, du personligt er bekendt med?

Forvrængning er indbygget i de data, vi føder ind i AI-modeller, og det er meget svært at fjerne det helt. Men det er afgørende, at vi er bevidste om de forvrængninger, der er i dataene, og finder måder at mindske de skadelige former for forvrængninger på, før vi betror modellerne med vigtige opgaver i samfundet. De største problemer, vi står over for, er modeller, der fastholder skadelige stereotyper, systemiske fordomme og uretfærdigheder i samfundet. Vi skal være opmærksomme på, hvordan disse AI-modeller vil blive brugt, og hvilken indflydelse, de vil have på deres brugere, og sikre, at de er sikre, før vi godkender dem til følsomme brugsændringer.

Nogle fremtrædende områder, hvor AI-modeller har vist skadelige forvrængninger, omfatter diskrimination af underrepræsenterede grupper i skole- og universitetsoptagelse og kønsstereotyper, der negativt påvirker rekruttering af kvinder. Ikke blot det, men en kriminalitetsalgoritme blev fundet til at have forkert klassificeret afroamerikanske anklagede som “højrisikoindeks” næsten dobbelt så ofte som den forkert klassificerede hvide anklagede i USA, mens ansigtsgenkendelsesteknologi stadig lider af høje fejlratninger for minoriteter på grund af manglende repræsentativ træningsdata.

Eksemplerne ovenfor dækker kun en lille underafdeling af forvrængninger, der er demonstreret af AI-modeller, og vi kan forudse større problemer, der opstår i fremtiden, hvis vi ikke fokuserer på at mindske forvrængning nu. Det er vigtigt at huske, at AI-modeller lærer af data, der indeholder disse forvrængninger på grund af menneskelige beslutninger, der er påvirket af ukontrollerede og ubevidste fordomme. I mange tilfælde kan det at henføre til en menneskelig beslutningstager ikke eliminere forvrængningen. At mindske forvrængninger kræver en forståelse af, hvordan de er til stede i de data, vi bruger til at træne modeller, isolere de faktorer, der bidrager til forvrængede forudsigelser, og kollektivt beslutte, hvad vi vil basere vigtige beslutninger på. Udvikling af en samling standarder, så vi kan evaluere modeller for sikkerhed, før de bruges til følsomme brugsændringer, vil være et vigtigt skridt fremad.

AI-hallucinationer er et stort problem med enhver form for generativ AI. Kan du diskutere, hvordan human-in-the-loop (HITL)-træning kan mindske disse problemer?

Hallucinationer i AI-modeller er problematiske, især i visse kreative anvendelser af generativ AI, men det er vigtigt at bemærke, at de ikke er et problem i sig selv. I visse kreative anvendelser af generativ AI er hallucinationer velkomne og bidrager til en mere kreativ og interessant respons.

De kan være problematiske i brugsændringer, hvor afhængighed af faktuel information er høj. For eksempel i sundhedssektoren, hvor robust beslutningstagning er afgørende, er det vigtigt at give sundhedsprofessionelle pålidelig faktuel information.

HITL henviser til systemer, der tillader mennesker at give direkte feedback til en model for forudsigelser, der er under en vis tillidshøjde. I sammenhæng med hallucinationer kan HITL bruges til at hjælpe modeller med at lære, hvilket niveau af sikkerhed, de skal have for forskellige brugsændringer, før de udgiver en respons. Disse grænser vil variere afhængigt af brugsændringen, og at lære modellerne om forskellene i rigor, der kræves for at besvare spørgsmål fra forskellige brugsændringer, vil være et vigtigt skridt mod at mindske de problematiske former for hallucinationer. For eksempel kan mennesker i en juridisk brugsændring demonstrere for AI-modeller, at faktatjek er et krævet skridt, når de besvarer spørgsmål baseret på komplekse juridiske dokumenter med mange klausuler og betingelser.

Hvordan kan AI-arbejdere, såsom data-annotatorer, hjælpe med at reducere potentielle forvrængningsproblemer?

AI-arbejdere kan først og fremmest hjælpe med at identificere forvrængninger, der er til stede i dataene. Når forvrængningen er identificeret, bliver det lettere at komme med strategier til at mindske den. Data-annotatorer kan også hjælpe med at komme med måder at reducere forvrængning på. For eksempel kan de for NLP-opgaver hjælpe med at give alternative måder at formulere problematiske tekststykker på, så forvrængningen i sproget reduceres. Derudover kan diversitet i AI-arbejdere hjælpe med at mindske problemer med forvrængning i mærkning.

Hvordan sikrer du, at AI-arbejderne ikke ufrivilligt føder deres egne menneskelige fordomme ind i AI-systemet?

Det er bestemt et komplekst problem, der kræver omhyggelig overvejelse. At eliminere menneskelige fordomme er næsten umuligt, og AI-arbejdere kan ufrivilligt føde deres fordomme til AI-modellerne, så det er afgørende at udvikle processer, der vejleder arbejderne mod bedste praksis.

Nogle skridt, der kan tages for at holde menneskelige fordomme til et minimum, omfatter:

• Omfattende træning af AI-arbejdere om ubevidste fordomme og giver dem værktøjer til at identificere og håndtere deres egne fordomme under mærkning.
• Checklister, der minder AI-arbejderne om at verificere deres egne svar, før de indsender dem.
• En vurdering, der checker niveauet af forståelse, AI-arbejderne har, hvor de vises eksempler på svar over forskellige typer fordomme, og beder dem om at vælge det mindst fordomsfulde svar.

Regulatorer verden over har til hensigt at regulere AI-udgang, hvad mener du, regulatorer misforstår, og hvad har de ret i?

Det er vigtigt at starte med at sige, at dette er et meget svært problem, som ingen har fundet løsningen på. Samfund og AI vil begge udvikle sig og påvirke hinanden på måder, der er meget svære at forudse. En del af en effektiv strategi for at finde robuste og nyttige reguleringer er at være opmærksom på, hvad der sker i AI, hvordan mennesker reagerer på det, og hvilke effekter det har på forskellige industrier.

Jeg tror, at en væsentlig hindring for effektiv regulering af AI er en mangel på forståelse af, hvad AI-modeller kan og ikke kan, og hvordan de fungerer. Dette gør det sværere at nøjagtigt forudsige, hvilke konsekvenser disse modeller vil have på forskellige sektorer og tværsnitt af samfundet. Et andet område, der mangler, er tankeledelse om, hvordan vi kan tilpasse AI-modeller til menneskelige værdier og hvad sikkerhed ser ud i mere konkrete vendinger.

Regulatorer har søgt samarbejde med eksperter i AI-feltet, har været omhyggelige med ikke at kvæle innovation med for strenge regler omkring AI, og har begyndt at overveje konsekvenserne af AI på jobfordrivelse, som alle er meget vigtige områder at fokusere på. Det er vigtigt at gå forsigtigt, mens vores tanker om AI-regulering klarlægges over tid, og at involvere så mange mennesker som muligt for at tilgå dette problem på en demokratisk måde.

Hvordan kan Prolific-løsninger hjælpe virksomheder med at reducere AI-forvrængning og andre problemer, vi har diskuteret?

Dataindsamling til AI-projekter har ikke altid været en overvejet eller bevidst proces. Vi har tidligere set skrabning, outsourcing og andre metoder, der er almindelige. Men hvordan vi træner AI, er afgørende, og næste generations modeller skal bygges på bevidst indsamlet, højkvalitetsdata fra rigtige mennesker og fra dem, vi har direkte kontakt med. Det er her, Prolific gør en forskel.

Andre domæner, såsom meningsmåling, markedsforskning eller videnskabelig forskning, har lært dette for længe siden. Publikum, man sampler fra, har en stor indvirkning på resultaterne, man får. AI er begyndt at følge trop.

Nu er det tid at starte med at bekymre sig om at bruge bedre prøver og arbejde med mere repræsentative grupper til AI-træning og finjustering. Begge dele er afgørende for at udvikle sikre, upartiske og tilpassede modeller.

Prolific kan hjælpe med at give de rette værktøjer til virksomheder for at udføre AI-eksperimenter på en sikker måde og for at indsamle data fra deltagere, hvor forvrængning kontrolleres og mindskes undervejs. Vi kan hjælpe med at give vejledning om bedste praksis omkring dataindsamling og -valg, kompensation og fair behandling af deltagere.

Hvad er dine synspunkter på AI-gennemsigtighed, skal brugere kunne se, hvilke data en AI-algoritme er trænet på?

Jeg tror, at der er fordele og ulemper ved gennemsigtighed, og en god balance er endnu ikke fundet. Virksomheder holder informationer tilbage om data, de har brugt til at træne deres AI-modeller, på grund af frygt for retsforfølgelse. Andre har arbejdet på at gøre deres AI-modeller offentligt tilgængelige og har udgivet alle oplysninger om data, de har brugt. Fuldstændig gennemsigtighed åbner op for mange muligheder for udnyttelse af modellernes sårbarheder. Fuldstændig hemmelighedskræmmer ikke til at opbygge tillid og inddrage samfundet i at bygge sikre AI. En god midtergrund vil give nok gennemsigtighed til at indgyde tillid i os om, at AI-modeller er trænet på god kvalitetsrelevant data, som vi har givet samtykke til. Vi skal være opmærksomme på, hvordan AI påvirker forskellige industrier, og åbne dialoger med berørte parter og sikre, at vi udvikler praksis, der fungerer for alle.

Jeg tror også, at det er vigtigt at overveje, hvad brugere ville finde tilfredsstillende i forhold til forklarbarhed. Hvis de vil forstå, hvorfor en model producerer en bestemt respons, vil det at give dem de rå data, modellen er trænet på, sandsynligvis ikke hjælpe med at besvare deres spørgsmål. Derfor er det vigtigt at bygge gode forklarbarheds- og fortolkningsværktøjer.

AI-tilpasningsforskning sigter mod at styre AI-systemer mod menneskers ønskede mål, præferencer eller etiske principper. Kan du diskutere, hvordan AI-arbejdere trænes, og hvordan dette bruges til at sikre, at AI er tilpasset så godt som muligt?

Dette er et aktivt forskningsområde, og der er ikke konsensus endnu om, hvilke strategier vi skal bruge til at tilpasse AI-modeller til menneskelige værdier eller hvilke værdier, vi skal tilpasse dem til.

AI-arbejderne bedes om at repræsentere deres præferencer ægte og besvare spørgsmål om deres præferencer sandfærdigt, samtidig med at de overholder principper omkring sikkerhed, frihed fra fordomme, skade og nyttighed.

Med hensyn til tilpasning til mål, etiske principper eller værdier er der multiple tilgange, der ser lovende ud. Et bemærkelsesværdigt eksempel er arbejdet af The Meaning Alignment Institute på Democratic Fine-Tuning. Der er en fremragende post, der introducerer idéen her.

Tak for det gode interview og for at dele dine synspunkter på AI-forvrængning, læsere, der ønsker at lære mere, skal besøge Prolific.