Nora Petrova, Machine Learning Engineer & AI Consultant bij Prolific – Interview Series

Nora Petrova, is een Machine Learning Engineer & AI Consultant bij Prolific. Prolific is in 2014 opgericht en telt al organisaties zoals Google, Stanford University, de Universiteit van Oxford, King’s College London en de Europese Commissie onder zijn klanten, die gebruikmaken van het netwerk van deelnemers om nieuwe producten te testen, AI-systemen in gebieden zoals oogbewegingstracking te trainen en te bepalen of hun mensgerichte AI-toepassingen werken zoals de makers bedoeld hadden.

Kunt u wat informatie delen over uw achtergrond bij Prolific en uw carrière tot nu toe? Wat heeft u geïnteresseerd in AI?

Mijn rol bij Prolific is verdeeld tussen het adviseren over AI-use cases en -kansen, en het zijn van een meer hands-on ML-engineer. Ik ben mijn carrière begonnen in software-engineering en ben geleidelijk overgestapt op Machine Learning. Ik heb de afgelopen 5 jaar voornamelijk gefocust op NLP-use cases en -problemen.

Wat me aanvankelijk geïnteresseerd heeft in AI, was de mogelijkheid om van data te leren en de link met hoe wij, als mensen, leren en hoe onze hersenen zijn gestructureerd. Ik denk dat ML en Neurowetenschap elkaar kunnen aanvullen en helpen om onze kennis te vergroten over hoe we AI-systemen kunnen bouwen die in staat zijn om de wereld te navigeren, creativiteit te tonen en waarde toe te voegen aan de samenleving.

Wat zijn enkele van de grootste AI-biasproblemen waar u zich persoonlijk van bewust bent?

Bias is inherent aan de data die we in AI-modellen invoeren en het volledig verwijderen is zeer moeilijk. Het is echter van cruciaal belang dat we ons bewust zijn van de biases die in de data aanwezig zijn en manieren vinden om de schadelijke soorten biases te mitigeren voordat we modellen toevertrouwen met belangrijke taken in de samenleving. De grootste problemen waar we mee te maken hebben, zijn modellen die schadelijke stereotypen in stand houden, systemische vooroordelen en onrechtvaardigheden in de samenleving. We moeten ons bewust zijn van hoe deze AI-modellen zullen worden gebruikt en de invloed die ze zullen hebben op hun gebruikers, en ervoor zorgen dat ze veilig zijn voordat we ze goedkeuren voor gevoelige use cases.

Enkele prominente gebieden waarin AI-modellen schadelijke biases hebben getoond, zijn de discriminatie van ondervertegenwoordigde groepen bij school- en universiteitsaanmeldingen en geslachtsstereotypen die de werving van vrouwen negatief beïnvloeden. Niet alleen dat, maar een algoritme voor het strafrecht werd ontdekt dat Afro-Amerikaanse verdachten als “hoogrisico” had gelabeld bijna tweemaal zo vaak als het witte verdachten in de VS, terwijl gezichtsherkenningstechnologie nog steeds te kampen heeft met hoge foutpercentages voor minderheden vanwege het gebrek aan representatieve trainingsdata.

De bovenstaande voorbeelden dekken een kleine subset van de biases die door AI-modellen zijn getoond en we kunnen grotere problemen voorzien die in de toekomst zullen ontstaan als we ons niet concentreren op het mitigeren van bias nu. Het is belangrijk om in gedachten te houden dat AI-modellen leren van data die deze biases bevatten vanwege menselijke besluitvorming die wordt beïnvloed door ongecontroleerde en onbewuste biases. In veel gevallen kan het zich verlaten op een menselijke besluitvormer de bias niet elimineren. Het werkelijk mitigeren van biases zal het begrijpen van hoe ze aanwezig zijn in de data die we gebruiken om modellen te trainen, het isoleren van de factoren die bijdragen aan bevooroordeelde voorspellingen en het collectief beslissen over wat we willen baseren op belangrijke beslissingen. Het ontwikkelen van een set standaarden, zodat we modellen kunnen evalueren op veiligheid voordat ze worden gebruikt voor gevoelige use cases, zal een belangrijke stap vooruit zijn.

AI-hallucinaties zijn een groot probleem met elk type generatieve AI. Kunt u discussiëren over hoe human-in-the-loop (HITL) training in staat is om deze problemen te mitigeren?

Hallucinaties in AI-modellen zijn problematisch in bepaalde use cases van generatieve AI, maar het is belangrijk om op te merken dat ze niet van zichzelf een probleem zijn. In bepaalde creatieve toepassingen van generatieve AI zijn hallucinaties welkom en dragen ze bij aan een meer creatieve en interessante reactie.

Ze kunnen problematisch zijn in use cases waarbij afhankelijkheid van feitelijke informatie hoog is. Bijvoorbeeld in de gezondheidszorg, waar robuuste besluitvorming cruciaal is, is het verstrekken van betrouwbare feitelijke informatie aan zorgprofessionals van cruciaal belang.

HITL verwijst naar systemen die mensen in staat stellen om direct feedback te geven aan een model voor voorspellingen die onder een bepaald niveau van vertrouwen liggen. Binnen de context van hallucinaties kan HITL worden gebruikt om modellen te helpen leren over het niveau van zekerheid dat ze moeten hebben voor verschillende use cases voordat ze een reactie geven. Deze drempels zullen variëren afhankelijk van de use case en modellen leren over de verschillen in rigor die nodig zijn voor het beantwoorden van vragen uit verschillende use cases, zal een belangrijke stap zijn naar het mitigeren van de problematische soorten hallucinaties. Bijvoorbeeld, binnen een juridische use case, kunnen mensen AI-modellen laten zien dat feitcontrole een vereiste stap is bij het beantwoorden van vragen op basis van complexe juridische documenten met veel clausules en voorwaarden.

Hoe helpen AI-werkers, zoals data-annotators, bij het reduceren van potentiële biasproblemen?

AI-werkers kunnen allereerst helpen bij het identificeren van biases die aanwezig zijn in de data. Zodra de bias is geïdentificeerd, wordt het gemakkelijker om mitigatiestrategieën te ontwikkelen. Data-annotators kunnen ook helpen bij het vinden van manieren om bias te reduceren. Bijvoorbeeld, voor NLP-taken, kunnen ze helpen door alternatieve manieren te bieden om problematische stukjes tekst te formuleren, zodat de bias in de taal wordt verminderd. Bovendien kan diversiteit in AI-werkers helpen bij het mitigeren van problemen met bias in labeling.

Hoe zorgt u ervoor dat AI-werkers hun eigen menselijke biases niet onbewust in het AI-systeem voeden?

Het is zeker een complexe kwestie die zorgvuldige overweging vereist. Het elimineren van menselijke biases is bijna onmogelijk en AI-werkers kunnen onbewust hun eigen biases in AI-modellen voeden, dus het is belangrijk om processen te ontwikkelen die werknemers leiden naar best practices.

Enkele stappen die kunnen worden genomen om menselijke biases tot een minimum te beperken, zijn:

• Uitgebreide training van AI-werkers over onbewuste biases en het bieden van hen met tools om hun eigen biases te identificeren en te beheren tijdens labeling.
• Controlelijsten die AI-werkers herinneren om hun eigen reacties te verifiëren voordat ze worden ingediend.
• Uitvoeren van een assessment dat controleert op het niveau van begrip dat AI-werkers hebben, waarbij ze voorbeelden van reacties over verschillende soorten biases worden getoond en gevraagd wordt om de minst bevooroordeelde reactie te kiezen.

Regulatoren over de hele wereld zijn van plan om AI-uitvoer te reguleren, wat is uw mening over wat regulatoren niet begrijpen en wat ze goed doen?

Het is belangrijk om te beginnen met te zeggen dat dit een echt moeilijk probleem is dat niemand heeft opgelost. De samenleving en AI zullen allebei evolueren en elkaar op manieren beïnvloeden die zeer moeilijk te anticiperen zijn. Een deel van een effectieve strategie voor het vinden van robuuste en nuttige regelgevingspraktijken is om aandacht te besteden aan wat er gebeurt in AI, hoe mensen reageren op het en wat de effecten zijn op verschillende industrieën.

Ik denk dat een aanzienlijke hindernis voor effectieve regulering van AI een gebrek aan begrip is van wat AI-modellen kunnen en niet kunnen doen, en hoe ze werken. Dit maakt het moeilijker om de gevolgen van deze modellen voor verschillende sectoren en delen van de samenleving nauwkeurig te voorspellen. Een ander gebied dat ontbreekt, is thought leadership over hoe AI-modellen moeten worden uitgelijnd met menselijke waarden en wat veiligheid betekent in meer concrete termen.

Regulatoren hebben samengewerkt met experts in het AI-veld, zijn voorzichtig geweest om innovatie niet te smoren met te stringente regels rond AI en hebben begonnen met het overwegen van de gevolgen van AI voor banenverplaatsing, wat allemaal zeer belangrijke gebieden van focus zijn. Het is belangrijk om voorzichtig te zijn en onze gedachten over AI-regulering te verhelderen naarmate de tijd verstrijkt en om zo veel mogelijk mensen bij deze kwestie te betrekken om het op een democratische manier aan te pakken.

Hoe kunnen Prolific-oplossingen ondernemingen helpen bij het reduceren van AI-bias en de andere problemen die we hebben besproken?

Datacollectie voor AI-projecten is niet altijd een overwogen of weloverwogen proces geweest. We hebben eerder gezien dat schrapen, uitbesteden en andere methoden wijdverbreid waren. Maar hoe we AI trainen, is cruciaal en de volgende generatie modellen zal moeten worden gebouwd op intentioneel verzamelde, hoge kwaliteit data, van echte mensen en van mensen met wie we direct contact hebben. Hier maakt Prolific een verschil.

Andere domeinen, zoals peilingen, marktonderzoek of wetenschappelijk onderzoek, hebben dit al lang geleden geleerd. Het publiek dat je monsterd, heeft een grote invloed op de resultaten die je krijgt. AI begint nu ook te beseffen.

Nu is het tijd om te beginnen met zorg dragen voor het gebruik van betere monsters en te werken met meer representatieve groepen voor AI-training en verfijning. Beide zijn cruciaal voor het ontwikkelen van veilige, onbevooroordeelde en uitgelijnde modellen.

Prolific kan helpen bij het bieden van de juiste tools voor ondernemingen om AI-experimenten op een veilige manier uit te voeren en om data te verzamelen van deelnemers waarbij bias wordt gecontroleerd en geminimaliseerd. We kunnen helpen bij het bieden van richtlijnen over beste praktijken rond datacollectie, selectie, compensatie en eerlijke behandeling van deelnemers.

Wat zijn uw mening over AI-transparantie, zouden gebruikers in staat moeten zijn om te zien welke data een AI-algoritme is getraind?

Ik denk dat er voors en tegens zijn van transparantie en dat een goede balans nog niet is gevonden. Bedrijven onthouden informatie over de data die ze hebben gebruikt om hun AI-modellen te trainen vanwege angst voor rechtszaken. Anderen hebben gewerkt aan het maken van hun AI-modellen openbaar en hebben alle informatie over de data die ze hebben gebruikt, vrijgegeven. Volledige transparantie biedt veel kansen voor het exploiteren van de kwetsbaarheden van deze modellen. Volledige geheimhouding helpt niet bij het opbouwen van vertrouwen en het betrekken van de samenleving bij het bouwen van veilige AI. Een goede middenweg zou voldoende transparantie moeten bieden om vertrouwen te wekken dat AI-modellen zijn getraind op goede kwaliteit relevante data waar we toestemming voor hebben gegeven. We moeten aandacht besteden aan hoe AI verschillende industrieën beïnvloedt en open dialogen voeren met getroffen partijen en ervoor zorgen dat we praktijken ontwikkelen die voor iedereen werken.

Ik denk dat het ook belangrijk is om te overwegen wat gebruikers bevredigend zouden vinden in termen van verklaring. Als ze willen weten waarom een model een bepaalde reactie produceert, zal het geven van de ruwe data waarop het model is getraind, waarschijnlijk niet helpen bij het beantwoorden van hun vraag. Het opbouwen van goede verklarende en interpreteerbare tools is dus belangrijk.

AI-uitlijningsonderzoek heeft als doel AI-systemen naar menselijke doelen, voorkeuren of ethische principes te sturen. Kunt u discussiëren over hoe AI-werkers worden getraind en hoe dit wordt gebruikt om ervoor te zorgen dat AI zo goed mogelijk is uitgelijnd?

Dit is een actief onderzoeksgebied en er is nog geen consensus over welke strategieën we moeten gebruiken om AI-modellen uit te lijnen met menselijke waarden of welke set waarden we moeten nastreven.

AI-werkers worden meestal gevraagd om authentiek hun voorkeuren te representeren en vragen over hun voorkeuren waarheidsgetrouw te beantwoorden, terwijl ze zich ook houden aan principes rond veiligheid, gebrek aan bias, onschadelijkheid en behulpzaamheid.

Wat betreft uitlijning naar doelen, ethische principes of waarden, zijn er meerdere benaderingen die veelbelovend zijn. Een opvallend voorbeeld is het werk van The Meaning Alignment Institute over Democratic Fine-Tuning. Er is een uitstekend artikel dat het idee introduceert hier.

Bedankt voor het geweldige interview en voor het delen van uw mening over AI-bias, lezers die meer willen leren, moeten Prolific bezoeken.