Dr. Judith Bishop, Senior Director of AI Specialists at Appen – Interview Series

Dr. Judith Bishop is een Senior Director of AI Specialists voor de APAC/US-regio bij Appen. Ze leidt en groeit een top-team van hooggekwalificeerde en ervaren linguïsten, computationele linguïsten en experts in alle vormen van menselijke communicatie (spraak, schrijven en gebaren), om AI-trainingsdata te leveren met een ongeëvenaarde combinatie van kwaliteit en snelheid.

Wat trok je aanvankelijk aan tot de linguïstiek?

Ik hoorde voor het eerst over linguïstiek van een favoriete Engelse leraar op de middelbare school. Ik was een van die kinderen die evenzeer aangetrokken werden door vreemde talen en geesteswetenschappen als door wiskunde en natuurwetenschappen. Linguïstiek is de wetenschap van hoe taal werkt, dus het bracht die interesses samen voor mij. Net als veel mensen, was ik eenmaal ik het over linguïstiek had gehoord, volledig verslaafd. Wat kan er fascinerender zijn dan hoe we onze gedachten en gevoelens met elkaar communiceren? Linguïstiek onderzoekt de taalstructuren die, ondanks alle verschillen in geluiden en schrijfsystemen, vaak onder de oppervlakte gelijk zijn, omdat ze allemaal uiteindelijk een product zijn van ons gemeenschappelijke menselijke bestaan.

Kunt u het verhaal delen over hoe u terechtkwam in de AI?

Ik werk sinds 2004 bij Appen en ondersteun de ontwikkeling van taaltechnologieproducten en -diensten. In deze tijd is AI opgekomen als een alomvattend kader, missie en visie voor technologie om menselijke communicatie-, redeneer- en perceptievermogens na te bootsen en uit te breiden. In 2019 heeft mijn team zichzelf omgedoopt tot AI-specialisten, omdat we erkenden dat onze linguïstische en taalkennis essentieel is voor het AI-bedrijf. Onze geannoteerde data biedt essentiële ondersteuning voor het succes van menselijke interacties met AI-producten en -diensten.

U werkt al meer dan 16 jaar in de AI, wat zijn enkele van de grootste veranderingen die u heeft gezien?

De belangrijkste verschuiving is een diversificatie van focus van kerntechnologieontwikkeling naar de lange staart van use cases en toepassingen. Voor het grootste deel van mijn carrière is de focus van taalgebaseerde AI gericht op het ontwikkelen en verfijnen van een core-set van modellen die menselijke spraakperceptie en -productie nabootsen, namelijk spraakherkenning, spraaksynthese en natuurlijke taalverwerking. Datasets voldeden doorgaans aan gemeenschappelijke labelling- en datasamplingstandaarden en -conventies, zoals die ontwikkeld door het Speecon-consortium (Spraakgestuurde interfaces voor consumentenapparaten). Deze standaarden hebben kerntechnologieontwikkelaars in staat gesteld om hun prestaties te benchmarken op gemeenschappelijke gegevensstructuren en hebben de snelle evolutie van AI ondersteund.

De alomtegenwoordige expansie van AI-use cases in de afgelopen jaren heeft echter de erkenning gebracht dat de core, generieke AI-modellen die met deze data zijn gebouwd, niet adequaat werken op meer gespecialiseerde datatypen zonder verdere afstemming. Bovendien moeten deze modellen, die zijn ontwikkeld met data die bewust schoon en ‘standaard’ was, nu worden getraind of bijgewerkt om alle diversiteit van menselijke inputs te begrijpen en te reageren: alle dialecten, alle accenten, alle etniciteiten, alle geslachten en alle andere dimensies van menselijk verschil.

Kunt u de belangrijkheid van onbevooroordeelde data in machine learning bespreken?

Machine learning-modellen, of het nu gaat om begeleide, onbegeleide of versterkte leermodellen, zullen de vooroordelen weerspiegelen die aanwezig zijn in de data waarop ze zijn getraind. Alyssa Simpson Rochwerger en Wilson Pang geven verschillende uitstekende voorbeelden van dit probleem in hun recente boek, Real World AI. Als er onvoldoende trainingsdata zijn voor een segment van de bevolking, zal het AI-model minder nauwkeurig zijn voor dat segment.

In een ander veelvoorkomend geval is de vertegenwoordiging van de bevolking mogelijk voldoende, maar als de trainingsdata correlaties tussen datapunten bevatten die werkelijke, maar ongewenste, omstandigheden in de wereld weerspiegelen (zoals een lagere werkgelegenheidsgraad voor vrouwen of een hogere gevangenneming voor Afro-Amerikanen), kunnen resulterende AI-toepassingen deze omstandigheden versterken en in stand houden.

Associaties in de taal kunnen vooroordelen creëren in NLP-toepassingen, die zijn gebaseerd op statistische relaties bekend als woordvectoren. Als ‘zij’ en ‘verpleegster’ in de gekozen trainingsdata vaker geassocieerd worden dan ‘zij’ of ‘hij’ en ‘verpleegster’, zal de resulterende toepassing ‘zij’ gebruiken wanneer ze moet kiezen voor een enkelvoudig voornaamwoord om naar een verpleegster te verwijzen. Om dit specifieke probleem aan te pakken, hebben onderzoekers onlangs een geslachtsneutrale variant van een veelgebruikte woordvectoralgoritme ontwikkeld, GN-GloVe.

In gevoelige toepassingen kunnen vooroordeelproblemen zoals deze een verwoestende impact hebben op gebruikers en kunnen ze de bedrijfsinvestering tenietdoen. Het goede nieuws is dat, naast de ontwikkeling van nieuwe, meer transparante en inclusieve datasets, een groeiend aantal data science-toepassingen wordt ontwikkeld om de aanwezigheid van vooroordelen in bestaande trainingsdatasets en AI-toepassingen te controleren.

Appen heeft onlangs nieuwe diverse trainingsdatasets voor natuurlijke taalverwerking (NLP) gelanceerd. Kunt u enkele details delen over hoe deze datasets gebruikers in staat zullen stellen om dezelfde ervaring te krijgen, ongeacht taalvariëteit, dialect, etnolect, accent, ras of geslacht?

Om de bovengenoemde redenen zijn datasets nodig om bestaande vooroordelen in AI-productiesystemen te corrigeren, evenals meer inclusieve datasets voor het trainen van toekomstige systemen. De Appen-datasets waar u naar verwijst, zullen de correctie van vooroordelen met betrekking tot etniciteit en geassocieerde etnolecten ondersteunen, zoals het Afro-Amerikaanse dialect. Ze zullen aanvullende trainingsdata bieden om de vertegenwoordiging van deze bevolking in AI-taalmodellen te verhogen.

Etniciteit is een kritische demografische dimensie die expliciet moet worden gelabeld in AI-data. Linguïsten verwijzen naar de taalvariëteiten die zijn geassocieerd met specifieke etniciteiten als ‘etnolecten’. AI-dataproviders zoals Appen erkennen nu dat, tenzij belangrijke diverse en minderheidsgroepen expliciet worden weergegeven in AI-trainingsdatasets, we niet kunnen garanderen dat de resulterende systemen even goed presteren voor deze bevolkingsgroepen.

Gelijke prestaties betekenen dat het systeem de woorden en bedoelingen van de gebruiker (hun betekenis of de acties die ze willen uitvoeren) met gelijke nauwkeurigheid herkent en in sommige gevallen de sentimenten, en dat het systeem antwoordt op een manier die evenzeer voldoet aan de behoeften van de gebruiker en geen negatievere impact heeft op een bepaalde gebruikersgroep, hetzij praktisch of psychologisch.

Een langdurige dataverzamelingaanpak is om zich te concentreren op geografisch en dialectaal representatieve sampling in databases – ervan uitgaande dat dit zou garanderen dat de technologie zich zou generaliseren naar de hele bevolking van taalsprekers. De relatief slechtere prestaties van taaltechnologieën die onlangs zijn gedocumenteerd voor sprekers van het Afro-Amerikaanse dialect, hebben echter aangetoond dat dit niet het geval is. Bevolkingsgroepen die divers zijn in etniciteit, ras, geslacht en accent, onder andere dimensies, moeten proactief worden opgenomen in trainingsdatasets om ervoor te zorgen dat hun stemmen worden gehoord en begrepen door AI-producten en -diensten. De diverse AI-trainingsdatasets van Appen komen aan deze behoefte tegemoet.

Buiten de AI om bent u ook een dichter met verschillende van uw gedichten die verschillende industrie-prijzen hebben gewonnen. Wat zijn uw meningen over toekomstige AI die dit type creativiteit vertoont, inclusief het schrijven van poëzie?

Dat is een fascinerende vraag. Poëzie en andere vormen van menselijke creativiteit putten uit al onze menselijke hulpbronnen van geheugen, perceptie, sensatie en emotie, evenals de structuren en nuances van taal en beeld, om inzichten te produceren die resoneren met hedendaagse zorgen. Emily Dickinson schreef: “Als ik een boek lees en het maakt mijn hele lichaam zo koud dat geen vuur me kan warmen, weet ik dat het poëzie is. Als ik me fysiek voel alsof de bovenkant van mijn hoofd eraf is gehaald, weet ik dat het poëzie is.” Er moet een element van perceptuele, sensorische of emotionele herkenning zijn, maar ook echte verrassing.

Geavanceerde AI-modellen zoals GPT-3 modelleren statistisch de waarschijnlijkheid van woorden die samen voorkomen in verschillende genres, waaronder poëzie. Dit betekent dat ze iets kunnen produceren dat we herkennen als “poëtische” taal, zoals het gebruik van verheven dictie, rijm en onverwachte of surrealistische combinaties van woorden. Maar deze generatieve taalmodellen ontbreken het merendeel van de hulpbronnen die nodig zijn om een kunstwerk te produceren dat verlicht wat het betekent om mens te zijn in de huidige tijd.

Wat ik wel overtuigend vind aan AI in een creatieve context, is het potentieel om geheel nieuwe inzichten te produceren – inzichten die van een andere orde zijn en buiten het bereik van elk menselijk brein liggen, zelfs het meest polymathische of diepste geleerde en meest ervaren menselijke brein. Zodra AI consistent toegang heeft tot sensorische en perceptuele data voor analyse over een breed scala van menselijke domeinen (visueel, tactiel, auditief, fysiologisch, emotioneel), is er geen wetende wat we zullen leren over onszelf en de wereld. De analytische capaciteiten van AI kunnen vruchtbare nieuwe gronden produceren voor creatieve menselijke exploratie.

U heeft een fenomenale carrière tot nu toe, wat is volgens u het grootste obstakel dat vrouwen tegenhoudt om zich aan te sluiten bij STEM en specifiek AI?

Het gebrek aan rolmodellen kan een krachtige factor zijn (en een vicieuze cirkel). Er is een echte moeilijkheid – cultureel, sociaal en praktisch – om door te breken in gebieden waar vrouwen, en mensen van andere diverse geslachten, nog geen diepe aanwezigheid hebben, en waar het respect voor wat we kunnen bijdragen vaak ontbreekt. Mijn eigen ervaring als leider heeft me keer op keer laten zien hoe veerkrachtig, creatief en succesvol teams kunnen zijn wanneer ze inclusief zijn voor diverse ervaringen en oriëntaties. Leiders moeten avontuurlijk zijn in hun werving en moedig in hun vertrouwen dat ze de uitdagingen voor hun manier van denken kunnen hanteren die diverse perspectieven met zich meebrengen, wetend dat deze moed ook sterk correleert met financieel en bedrijfssucces.

Is er nog iets anders dat u zou willen delen over Appen of AI in het algemeen?

Dataproviders zoals Appen hebben een krachtig potentieel om AI-uitkomsten te beïnvloeden voor het beter door het bieden van inclusieve trainingsdata.

Het bereiken van het doel van inclusieve AI zal echter vereisen dat iedereen deelneemt. Datakopers moeten ook erkennen dat ze verantwoordelijk zijn om expliciet te vragen – en te betalen – voor de inclusieve data die de optimale prestaties van hun systemen voor alle gebruikers in de echte wereld zal garanderen. En degenen uit diverse gemeenschappen die hun data leveren voor AI-ontwikkeling, moeten erop kunnen vertrouwen dat de toepassingen waarvoor het zal worden gebruikt, ethisch zijn. Het opbouwen van dat vertrouwen zal sterke transparantie en ethische praktijken vereisen van alle partijen die gevoelige data behandelen.

Bedankt voor het geweldige interview, ik genoot van het leren over uw meningen over AI en linguïstiek. Lezers die meer willen leren, moeten bezoeken Appen.