Nora Petrova, maskinläringsingenjör och AI-konsult på Prolific – Intervjuserie

Nora Petrova är en maskinläringsingenjör och AI-konsult på Prolific. Prolific grundades 2014 och har redan kunder som Google (GOOGL ), Stanford University, University of Oxford, King’s College London och Europeiska kommissionen, som använder deras nätverk av deltagare för att testa nya produkter, träna AI-system inom områden som ögonspårning och avgöra om deras människoorienterade AI-applikationer fungerar som deras skapare avsåg.

Kan du dela några uppgifter om din bakgrund på Prolific och din karriär hittills? Vad fick dig att bli intresserad av AI?

Min roll på Prolific är uppdelad mellan att vara rådgivare gällande AI-användningsfall och möjligheter, och att vara en mer hands-on ML-ingenjör. Jag började min karriär inom programvaruteknik och har gradvis övergått till maskinlärning. Jag har tillbringat större delen av de senaste 5 åren med fokus på NLP-användningsfall och problem.

Det som fick mig att bli intresserad av AI från början var förmågan att lära av data och kopplingen till hur vi, som människor, lär oss och hur våra hjärnor är strukturerade. Jag tycker att ML och neurovetenskap kan komplettera varandra och hjälpa till att fördjupa vår förståelse för hur man bygger AI-system som kan navigera i världen, visa kreativitet och bidra till samhället.

Vilka är några av de största AI-biasproblemen som du personligen är medveten om?

Bias är inneboende i de data vi matar in i AI-modeller och att helt ta bort det är mycket svårt. Men det är avgörande att vi är medvetna om de bias som finns i data och hittar sätt att mildra de skadliga typerna av bias innan vi ger modellerna viktiga uppgifter i samhället. De största problemen vi står inför är modeller som förstärker skadliga stereotyper, systematiska fördomar och orättvisor i samhället. Vi bör vara medvetna om hur dessa AI-modeller kommer att användas och den påverkan de kommer att ha på sina användare, och se till att de är säkra innan vi godkänner dem för känsliga användningsfall.

Några framträdande områden där AI-modeller har visat skadliga bias inkluderar diskriminering av underrepresenterade grupper i skolor och universitetsantagningar, och könsstereotyper som negativt påverkar rekrytering av kvinnor. Inte nog med det, utan en brottsligdomsalgoritm visade sig ha felmärkt afroamerikanska åtalade som “högrisk” i nästan dubbelt så hög utsträckning som den felmärkte vita åtalade i USA, medan ansiktsigenkänningsteknik fortfarande lider av höga felrater för minoriteter på grund av brist på representativa träningsdata.

Exemplen ovan täcker en liten delmängd av de bias som AI-modeller har visat, och vi kan förutse större problem som kommer att uppstå i framtiden om vi inte fokuserar på att mildra bias nu. Det är viktigt att komma ihåg att AI-modeller lär sig från data som innehåller dessa bias på grund av mänskliga beslut som påverkas av outredda och omedvetna bias. I många fall kan det att förlita sig till en mänsklig beslutsfattare inte eliminera bias. Att verkligen mildra bias kommer att kräva att vi förstår hur de är närvarande i de data vi använder för att träna modeller, isolerar de faktorer som bidrar till fördomsfulla förutsägelser och kollektivt bestämmer vad vi vill basera viktiga beslut på. Att utveckla en uppsättning standarder så att vi kan utvärdera modeller för säkerhet innan de används för känsliga användningsfall kommer att vara ett viktigt steg framåt.

AI-hallucinationer är ett stort problem med alla typer av generativ AI. Kan du diskutera hur human-in-the-loop (HITL) träning kan mildra dessa problem?

Hallucinationer i AI-modeller är problematiska i vissa användningsfall av generativ AI, men det är viktigt att notera att de inte är ett problem i sig. I vissa kreativa användningsfall av generativ AI är hallucinationer välkomna och bidrar till en mer kreativ och intressant respons.

De kan vara problematiska i användningsfall där tillförlitlighet på faktisk information är hög. Till exempel inom hälso- och sjukvård, där robust beslutsfattning är nyckeln, är det avgörande att ge hälso- och sjukvårdspersonal tillförlitlig faktisk information.

HITL hänvisar till system som tillåter människor att ge direkt feedback till en modell för förutsägelser som är under en viss konfidensnivå. Inom ramen för hallucinationer kan HITL användas för att hjälpa modeller att lära sig den konfidensnivå de bör ha för olika användningsfall innan de ger en respons. Dessa trösklar kommer att variera beroende på användningsfallet och att lära modellerna om skillnaderna i rigor som behövs för att besvara frågor från olika användningsfall kommer att vara ett viktigt steg mot att mildra de problematiska typerna av hallucinationer. Till exempel inom ett juridiskt användningsfall kan människor visa AI-modeller att faktakontroll är ett krävt steg när man besvarar frågor baserade på komplexa juridiska dokument med många klausuler och villkor.

Hur kan AI-arbetare, såsom dataannoterare, hjälpa till att minska potentiella biasproblem?

AI-arbetare kan först och främst hjälpa till att identifiera bias som finns i data. När biasen har identifierats blir det lättare att komma med mildrande strategier. Dataannoterare kan också hjälpa till att komma med sätt att minska bias. Till exempel, för NLP-uppgifter, kan de hjälpa till genom att ge alternativa sätt att formulera problematiska textsnuttar så att biasen i språket minskas. Dessutom kan mångfald bland AI-arbetare hjälpa till att mildra problem med bias i märkning.

Hur ser du till att AI-arbetarna inte oavsiktligt matar in sina egna mänskliga bias i AI-systemet?

Det är verkligen ett komplext problem som kräver noggrann övervägning. Att eliminera mänskliga bias är nästan omöjligt, och AI-arbetare kan oavsiktligt mata in sina egna bias till AI-modellerna, så det är nyckeln att utveckla processer som vägleder arbetarna mot bästa praxis.

Några steg som kan tas för att hålla mänskliga bias till ett minimum inkluderar:

• Umfattande utbildning av AI-arbetare om omedvetna bias och tillhandahållande av verktyg för att identifiera och hantera sina egna bias under märkning.
• Checklistor som påminner AI-arbetare om att verifiera sina egna svar innan de skickas in.
• Att köra en utvärdering som kontrollerar nivån av förståelse som AI-arbetare har, där de visas exempel på svar över olika typer av bias, och ombeds att välja det minst biased svaret.

Tillsynsmyndigheter runt om i världen avser att reglera AI-utdata, vad tycker du att tillsynsmyndigheter missförstår, och vad har de rätt i?

Det är viktigt att börja med att säga att detta är ett mycket svårt problem som ingen har funnit lösningen på. Samhället och AI kommer att utvecklas och påverka varandra på sätt som är mycket svåra att förutse. En del av en effektiv strategi för att hitta robusta och användbara regleringspraxis är att uppmärksamma vad som händer inom AI, hur människor svarar på det och vilka effekter det har på olika industrier.

Jag tycker att ett betydande hinder för effektiv reglering av AI är bristen på förståelse för vad AI-modeller kan och inte kan göra, och hur de fungerar. Detta gör det i sin tur svårare att korrekt förutsäga de konsekvenser dessa modeller kommer att ha på olika sektorer och delar av samhället. Ett annat område som saknas är tankeledarskap kring hur man kan anpassa AI-modeller till mänskliga värderingar och vad säkerhet ser ut i mer konkreta termer.

Tillsynsmyndigheter har sökt samarbete med experter inom AI-området, har varit försiktiga med att inte kväva innovation med alltför stränga regler kring AI, och har börjat överväga konsekvenserna av AI på jobb och avskedanden, vilka alla är viktiga områden att fokusera på. Det är viktigt att gå försiktigt och att involvera så många människor som möjligt för att närma sig detta problem på ett demokratiskt sätt.

Hur kan Prolifics lösningar hjälpa företag att minska AI-bias och andra problem som vi har diskuterat?

Insamling av data för AI-projekt har inte alltid varit en genomtänkt eller medveten process. Vi har tidigare sett skrapning, outsourcing och andra metoder som har varit vanliga. Men hur vi tränar AI är avgörande, och nästa generations modeller kommer att behöva byggas på medvetet insamlade, högkvalitativa data från riktiga människor och från dem vi har direkt kontakt med. Det är här Prolific gör en insats.

Andra områden, såsom opinionsundersökningar, marknadsundersökningar eller vetenskaplig forskning, lärde sig detta för länge sedan. Publiken du sampar från har en stor inverkan på resultaten du får. AI börjar komma ikapp, och vi är nu vid en vägskäl.

Nu är tiden att börja bry sig om att använda bättre urval och att arbeta med mer representativa grupper för AI-träning och förfining. Båda är avgörande för att utveckla säkra, obiased och anpassade modeller.

Prolific kan hjälpa till att tillhandahålla rätt verktyg för företag att genomföra AI-experiment på ett säkert sätt och att samla in data från deltagare där bias kontrolleras och mildras under vägen. Vi kan hjälpa till att ge vägledning om bästa praxis kring datainsamling, urval, kompensation och rättvis behandling av deltagare.

Vad är din syn på AI-transparens, bör användare kunna se vilken data en AI-algoritm är tränad på?

Jag tycker att det finns för- och nackdelar med transparens, och en bra balans har ännu inte hittats. Företag håller tillbaka information om data de har använt för att träna sina AI-modeller på grund av rädsla för rättsliga åtgärder. Andra har arbetat för att göra sina AI-modeller offentligt tillgängliga och har släppt all information om data de har använt. Full transparens öppnar upp många möjligheter för utnyttjande av sårbarheterna i dessa modeller. Full hemlighet hjälper inte till att bygga förtroende och involvera samhället i att bygga säker AI. En bra mittpunkt skulle ge tillräcklig transparens för att inge förtroende för att AI-modeller har tränats på bra, relevant data som vi har samtyckt till. Vi måste vara uppmärksamma på hur AI påverkar olika industrier och öppna dialoger med berörda parter och se till att vi utvecklar praxis som fungerar för alla.

Jag tycker att det också är viktigt att överväga vad användare skulle finna tillfredsställande i termer av förklarbarhet. Om de vill förstå varför en modell producerar en viss respons, kommer att ge dem de råa data modellen tränades på troligen inte att hjälpa till att besvara deras fråga. Att bygga bra förklarbarhets- och tolkningsverktyg är därför viktigt.

AI-justeringsforskning syftar till att styra AI-system mot mänskliga mål, preferenser eller etiska principer. Kan du diskutera hur AI-arbetare tränas och hur detta används för att säkerställa att AI är justerad så bra som möjligt?

Detta är ett aktivt forskningsområde och det finns ännu ingen konsensus om vilka strategier vi bör använda för att anpassa AI-modeller till mänskliga värderingar eller vilka värderingar vi bör anpassa dem till.

AI-arbetare ombeds vanligtvis att äkta representera sina preferenser och svara på frågor om sina preferenser sanningsenligt, samtidigt som de följer principer kring säkerhet, brist på bias, skadlöshet och nyttighet.

När det gäller justering mot mål, etiska principer eller värderingar, finns det flera tillvägagångssätt som ser lovande ut. Ett anmärkningsvärt exempel är arbetet av The Meaning Alignment Institute på Demokratisk finjustering. Det finns en utmärkt post som introducerar idén här.

Tack för den utmärkta intervjun och för att du delade dina synpunkter på AI-bias, läsare som vill lära sig mer bör besöka Prolific.