Dr. Judith Bishop, Senior Director of AI Specialists at Appen – Interview Series

Dr. Judith Bishop er Senior Director of AI Specialists for APAC/US-regionen hos Appen. Hun leder og udvikler et top-notch-hold af højt kvalificerede og erfarne lingvister, computationally lingvister og eksperter i alle former for menneskelig kommunikation (tale, skrift og gestus), for at levere AI-træningsdata med en ubesvaret kombination af kvalitet og hastighed.

Hvad tiltrak dig oprindeligt til lingvistik?

Jeg hørte først om lingvistik fra en yndlingslærer i engelsk i high school. Jeg var en af dem, der var lige så tiltrukket af fremmedsprog og humaniora, som matematik og naturvidenskab. Lingvistik er videnskaben om, hvordan sprog fungerer, så det bragte mine interesser sammen. Ligesom så mange andre, blev jeg fuldstændig fanget, da jeg lærte om det. Hvad kunne være mere fascinerende end, hvordan vi kommunikerer vores tanker og følelser til hinanden? Lingvistik udforsker sprogstrukturen, der, trods alle forskelle i lyde og skriftsystemer, ofte er ens under overfladen, da de alle er et produkt af vores fælles menneskelige eksistens.

Kan du dele historien om, hvordan du fandt dig selv arbejdende med AI?

Jeg har arbejdet hos Appen siden 2004 med at støtte udviklingen af sprogteknologiprodukter og -tjenester. Over denne tid er AI dukket op som en omfattende ramme, mission og vision for teknologi til at efterligne og udvide menneskelige evner til kommunikation, resonnering og perception. I 2019 genopdøbte mit hold sig selv til AI-specialister, idet vi erkendte, at vores lingvistiske og sprogkundskaber er afgørende for AI-foretagendet. Vores annoterede data giver afgørende støtte til succesen for menneskelige interaktioner med AI-produkter og -tjenester.

Du har arbejdet med AI i over 16 år, hvad er nogle af de største ændringer, du har set?

Den største ændring har været en diversificering af fokus fra kerne-teknologiudvikling til den lange hale af brugstilfælde og anvendelser. For det meste af min karriere har fokus for sprog-baseret AI været at udvikle og forfine en kerne af modeller, der efterligner menneskelig taleperception og -produktion, nemlig talegenkendelse, talesyntese og naturlig sprogbehandling. Datasæt konformerer sig typisk til fælles mærknings- og datasamplesstandarder og -konventioner, såsom dem, der er udviklet af Speecon-konsortiet (Tale-drevne grænseflader til forbrugerenheder). Disse standarder har tilladt kerne-teknologiudviklere at benchmarkere deres ydelse på fælles datastrukturer og har støttet den hurtige udvikling af AI.

Den omfattende udvidelse af AI-brugstilfælde i de senere år har dog medført, at de kerne, generiske AI-modeller, der er bygget med denne data, ikke fungerer tilfredsstillende på mere specialiserede datatyper uden yderligere finjustering. Desuden, da de er udviklet på data, der bevidst er ren og “standard”, må disse modeller nu trænes eller opdateres for at forstå og reagere på alle former for menneskelig input: alle dialekter, alle accenter, alle etniciteter, alle køn og alle andre dimensioner af menneskelig forskellighed.

Kan du diskutere betydningen af upartisk data i maskinlæring?

Maskinlæringsmodeller, uanset om de er overvåget, uovervåget eller forstærket læringsmodeller, vil reflektere fordomme, der er til stede i de data, de er trænet på. Alyssa Simpson Rochwerger og Wilson Pang giver flere fremragende eksempler på dette problem i deres nyeste bog, Real World AI. Hvis der ikke er tilstrækkeligt træningsdata for en sektor af befolkningen, vil AI-modellen være mindre præcis for den sektor.

I et andet almindeligt tilfælde kan repræsentationen af befolkningen være tilstrækkelig, men hvis træningsdata indeholder korrelationer mellem datapunkter, der reflekterer faktiske, men uønskede, forhold i verden (såsom en lavere rate af fuld beskæftigelse for kvinder eller en højere rate af fængsling for afrikanske amerikanere), kan resulterende AI-anvendelser forstærke og fastholde disse forhold.

Associationer, der er til stede i sprog i almindelighed, kan skabe fordomme i NLP-anvendelser, der afhænger af statistiske relationer kendt som word embeddings. Hvis “hun” og “sygeplejerske” er mere hyppigt associeret i det valgte træningsdata end “de” eller “han” og “sygeplejerske”, vil den resulterende anvendelse bruge “hun”, når den er tvunget til at vælge en entalig pronomen til at referere til en sygeplejerske. For at løse dette specifikke problem har forskere nylig udviklet en kønsneutral variant af en almindelig brugt word embedding-algoritme, GN-GloVe.

I følsomme anvendelser kan fordomsproblemer som disse have en ødelæggende indvirkning på brugerne og kan udslette den erhvervsinvestering. Det gode nyheds er, at der, ud over udviklingen af nye, mere gennemsigtige og inklusive datasæt, er en voksende mængde af datavidenskabsanvendelser under udvikling til at kontrollere tilstedeværelsen af fordomme i eksisterende træningsdatasæt og AI-anvendelser.

Appen lancerede nylig nye diverse træningsdatasæt for naturlig sprogbehandling (NLP)-initiativer. Kan du dele nogle detaljer om, hvordan disse datasæt vil enable slutbrugere til at modtage den samme oplevelse uanset sprogvariation, dialekt, etnolect, accent, race eller køn?

Af de nævnte årsager er datasæt nødvendige for at korrigere eksisterende fordomme i AI-produktionssystemer, samt mere inklusive datasæt for træning af fremtidige systemer. Appen-datasættene, du nævner, vil støtte korrektionen af fordomme relateret til etnicitet og associerede etnolecter, såsom afrikansk-amerikansk dialekt. De vil give supplerende træningsdata for at øge repræsentationen af denne befolkning i AI-sprogmodeller.

Etnicitet opstår som en kritisk demografisk dimension for ekspllicit mærkning i AI-data. Lingvister henviser til sprogvarianterne, der er forbundet med bestemte etniciteter, som “etnolecter”. AI-dataleverandører som Appen erkender nu, at hvis nøglediverse og minoritetspopulationsgrupper ikke er repræsenteret eksplitt i AI-træningsdatasæt, kan vi ikke sikre, at resulterende systemer fungerer lige så godt for disse befolkninger.

Lige ydelse betyder, at systemet genkender med lige stor nøjagtighed brugerens ord og intentioner (deres betydninger eller handlinger, de ønsker at udføre) og i visse tilfælde følelse; og at det reagerer på en måde, der lige så godt tilfredsstiller brugerens behov, og ikke producerer en mere negativ indvirkning på en bestemt brugerpopulation, hverken praktisk eller psykologisk.

En længevarende dataindsamlingstilgang har været at fokusere på geografisk og dialektalt repræsentativ sampling i databaser – antagende, at dette ville sikre, at teknologien vil generalisere til hele befolkningen af sprogbrugere. Den relativt dårligere ydelse af sprogteknologier, der nylig er dokumenteret for afrikansk-amerikanske dialekttalere, har dog vist, at dette ikke er tilfældet. Populationsgrupper, der er diverse i etnicitet, race, køn og accent, blandt andre dimensioner, må proaktivt medtages i træningsdatasæt for at sikre, at deres stemmer høres og forstås af AI-produkter og -tjenester. Appens diverse AI-træningsdatasæt imødekommer dette behov.

Udenfor AI er du også digter med flere af dine digte, der har vundet forskellige brancherpriser. Hvad er dine synspunkter på fremtidig AI, der viser denne type kreativitet, herunder skrivning af digte?

Det er et fascinerende spørgsmål. Poesi og andre former for menneskelig kreativitet bygger på alle vores menneskelige ressourcer af hukommelse, perception, sansning og følelse, samt strukturer og nuancer af sprog og billede, for at producere indsigt, der resonerer med nutidige bekymringer. Emily Dickinson skrev: “Hvis jeg læser en bog, og den får mit hele krop så kold, at ingen ild kan varme mig, ved jeg, at det er poesi. Hvis jeg føler fysisk, som om toppen af mit hoved var taget af, ved jeg, at det er poesi.” Der må være et element af perceptuel, sanselig eller følelsesmæssig genkendelse, men også ægte overraskelse.

Avancerede AI-modeller som GPT-3 statistisk modellerer sandsynligheden for, at ord optræder sammen i forskellige genrer, herunder poesi. Dette betyder, at de kan producere noget, vi genkender som “poetisk” sprog, såsom brugen af højere diktion, rim og uventede eller surrealistiske kombinationer af ord. Men disse generative sprogmodeller mangler de fleste af de ressourcer, der er nævnt ovenfor, som er nødvendige for at producere et kunstværk, der belyser, hvad det vil sige at være menneske i nutiden.

Hvad jeg finder kompliceret om AI i en kreativ kontekst er dets potentiale for at producere helt nye indsighter – indsighter, der er forskellige i art og ud over rækkevidden af noget enkelt menneskeligt sind, selv det mest polymatiske eller dybt læste og erfarne menneskelige sind. Når AI har konsekvent adgang til sanselig og perceptuel data til analyse på tværs af et bredt spektrum af menneskelige domæner (visuel, taktil, auditiv, fysiologisk, følelsesmæssig), er der ingen, der ved, hvad vi vil lære om os selv og verden. AI’s analytiske evner kan måske producere frugtbare nye grunde for kreativ menneskelig udforskning.

Du har haft en fænomenal karriere indtil nu, i din mening, hvad holder flere kvinder tilbage fra at deltage i STEM og specifikt AI?

Manglende rollemodeller kan være en kraftfuld faktor (og en ond cirkel). Der er en ægte svigt – kulturelt, socialt og praktisk – i at bryde ind i områder, hvor kvinder og mennesker af andre diverse køn endnu ikke har en dybt etableret tilstedeværelse, og hvor respekten for, hvad vi kan bidrage, ofte mangler. Min egen erfaring som leder har vist mig gang på gang, hvor robuste, kreative og succesfulde hold kan være, når de er inklusive af diverse erfaringer og orienteringer. Ledere må være eventyrlystne i deres rekruttering og modige i deres tillid til, at de kan håndtere udfordringerne til deres måde at tænke på, som diverse perspektiver bringer, og vide, at denne modighed også er stærkt korreleret med finansielle og erhvervsmæssige succes.

Er der noget andet, du gerne vil dele om Appen eller AI i almindelighed?

Dataleverandører som Appen har en kraftfuld potentiale til at påvirke AI-resultater til det bedre ved at levere inklusive træningsdata.

Men at nå målet om inklusiv AI vil kræve, at alle deltager. Datakøbere må også erkende deres ansvar for at udtrykkeligt bede om – og betale for – den inklusive data, der vil sikre den optimale ydelse af deres systemer for alle brugere i den virkelige verden. Og de fra diverse samfund, der leverer deres data til AI-udvikling, må kunne stole på, at de formål, de vil blive brugt til. At opbygge denne tillid vil kræve stærk gennemsigtighed og etiske praksisser på alle, der håndterer følsomme data.

Tak for det store interview, jeg nød at lære mere om dine synspunkter på AI og lingvistik. Læsere, der ønsker at lære mere, skal besøge Appen.