Carolyn Harvey, Chief Operations Officer bij LXT – Interview Series

Carolyn Harvey heeft uitgebreide ervaring met het leiden en groeien van mondiale operaties op het gebied van zoekrelevantie ranking en annotatie voor ML-gegevens. Carolyn is momenteel Chief Operations Officer (COO) van LXT waar zij de mondiale operaties van het bedrijf leidt, waardoor een consistente levering van alle AI-gegevensprogramma’s en -projecten wordt gewaarborgd. Zij richt zich op hoogwaardige gegevens op grote schaal, het opbouwen van efficiëntie in langetermijnprogramma’s en het schalen over een groot aantal mondiale locaties.

Als COO van LXT, leent Carolyn haar grote ervaring om een best-in-class-organisatie te ontwikkelen.

Kunt u kort beschrijven wat LXT doet en uw rol als COO?

Kunstmatige intelligentie is afhankelijk van gegevens om te bestaan, en LXT is een opkomende leider in het leveren van nauwkeurige, ethisch verantwoorde gegevens die AI-innovaties aandrijven. Als Chief Operations Officer, is mijn rol om toezicht te houden, te leiden en onze mondiale operaties uit te breiden door middel van strategieën, structuur en processen die ons in staat stellen de hoogwaardigste AI-gegevens aan onze klanten te leveren. Ik zorg ervoor dat we op tijd leveren over een breed scala aan use-cases, van generatieve AI tot zoekrelevantie en zelfrijdende auto’s, om er maar een paar te noemen.

Hoe is de missie van LXT geëvolueerd sinds de oprichting in 2010? 

Onze missie is om de technologieën van de toekomst te laten werken door gegevensgeneratie en -verbetering over elke taal, cultuur en modaliteit. Ons doel is om bedrijven van alle maten te helpen om te profiteren van de geweldige voordelen die AI biedt door hun modellen te laten werken met hoogwaardige gegevens. Naarmate de missie van het bedrijf is geëvolueerd, is de reikwijdte van onze diensten uitgebreid van taaltranscriptie en spraakverzameling tot een breed scala aan oplossingen, waaronder gegevensverzameling en annotatie voor tekst, afbeeldingen en video, generatieve AI-diensten en meer. We hebben ook onze mondiale voetafdruk van ISO 27001-gecertificeerde faciliteiten uitgebreid om aan de groeiende behoeften van onze klanten voor beveiligde gegevensdiensten te voldoen.

Wat zijn de belangrijkste drivers van de groei van LXT in de AI-trainingsgegevenssector?

Voortdurende investeringen in AI van organisaties van alle maten hebben onze groei aangedreven. Bedrijven weten nu dat AI een vereiste is om concurrerend te blijven, en gegevens zijn de drijvende kracht achter AI. Maar niet alle gegevens zijn gelijk, en bedrijven die succesvol zijn in AI weten dat hoogwaardige gegevens essentieel zijn voor het creëren van nauwkeurigere AI.

Nu generatieve AI in ieders gedachten is, heeft deze trend nog meer groeimogelijkheden voor LXT geopend. Mensen zijn cruciaal om ervoor te zorgen dat deze oplossingen nauwkeurig, ethisch en verantwoordelijk zijn. We bieden een breed scala aan generatieve AI-diensten in gebieden zoals het fine-tunen van grote taalmodellen, prompt-creatie en meer. Onze klanten weten dat om vertrouwen op te bouwen met eindgebruikers, de output van hun generatieve AI-producten feitelijk, representatief voor een diverse doelgroep en vrij van giftige taal moet zijn. We kunnen hen helpen deze doelen te bereiken met onze human-in-the-loop-diensten.

Hoe heeft de explosie van generatieve AI de impact van LXT en zijn klanten?

LXT heeft een toename van de vraag naar AI-trainingsgegevens gezien vanwege generatieve AI, zowel voor core taalgerichte gegevens als voor nieuwere aspecten zoals analyse, creativiteit en kritisch denken. We zien ook een toename van de vraag naar domeinkennis en gespecialiseerde profielen voor projectwerkers.

Klantaanvragen gaan steeds vaker verder dan de microtasking machine learning-inputs van het verleden naar LLM’s, en de complexere gegevenssets die nodig zijn voor apps zoals ChatGPT, Gemini en de vele afgeleiden. We zijn momenteel betrokken bij verschillende innovatieve projecten waarbij we prompts schrijven die zijn gericht op het verwarren van de generatieve AI om te zien hoe deze reageert, en vervolgens het correcte antwoord creëren.

In de toekomst kan dit zich verder ontwikkelen tot kunstmatige algemene intelligentie (AGI) waarbij de gegevenssets zullen worden gekoppeld aan nog complexere en geavanceerdere acties.

U heeft jarenlange ervaring in zoekopdrachten en personalisatie om deze algoritmes te helpen verbeteren. Wat zijn enkele van de manieren waarop toonaangevende bedrijven hun zoekrelevantie verbeteren om een betere gebruikerservaring te bieden?

In een wereld waar tijd kostbaar is en informatie overal aanwezig is, kan het verbeteren van de zoekrelevantie loyaliteit versterken, conversiepercentages verhogen en gebruikers productiever maken.

Zoekrelevantie begint met het schoonmaken en organiseren van de gegevens van onze klanten, het verwijderen van alles dat valse positieven kan genereren, en het creëren van extra gegevensvelden waardoor zoek- en aanbevelingsmotoren kunnen zoeken om nauwkeurigere resultaten te genereren. Met behulp van machine learning en natuurlijke taalverwerking kunnen klanten hun zoekmachine in staat stellen om meer intuïtief te begrijpen wat de gebruiker wil en om te leren over hun voorkeuren in de loop van de tijd. Het resultaat is een snellere zoekervaring die leidt tot meer gepersonaliseerde resultaten.

Het bereiken van dit doel vereist grote hoeveelheden trainingsgegevens, met een speciale focus op het trainen van algoritmes om relevante entiteiten te herkennen, te rangschikken en terug te geven, en om te gaan met typefouten, grammaticale fouten en andere gegevensanomalieën. We raden ook een human-in-the-loop (HITL) versterkingsaanpak aan om ervoor te zorgen dat de gegevens nauwkeurig zijn, de bias wordt verminderd en een betere zoekervaring voor de eindgebruiker wordt geboden. Met de vooruitgang in ML in de afgelopen 10 jaar, heeft HITL een verhoogde focus op kwaliteitscontroleprocessen, waardoor een grotere behoefte aan diepgaande ervaring van gegevensleveranciers ontstaat.

Kunt u uitgebreider ingaan op de aanpak van LXT voor gegevensannotatie en hoe het de kwaliteit en nauwkeurigheid van AI-trainingsgegevens waarborgt?

Als operatieteam moeten we allereerst begrijpen hoe klanten de door ons geleverde gegevens gebruiken bij de ontwikkeling van hun producten en diensten, om ervoor te zorgen dat ze aan hun behoeften voldoen. Om dit te doen, moeten we experts vinden in zowel projectmanagement als annotatie die ervaring hebben met het type gegevens dat nodig is.

Van daaruit gaat het voornamelijk om voorbereiding en het vinden van de juiste middelen aan het begin van elk project. Dit omvat het afstemmen met klanten op succesfactoren tijdens de scopingsfase, evenals diepgaande kwalificatie- en selectieprocessen voor projectannotators die belangrijke details zoals opleidingsachtergrond, speciale interesses, demografie en ervaring meenemen. We ontwikkelen ook gedetailleerde leer- en referentiematerialen als leidraad, aangepast aan elk project. We passen volwassen kwaliteits- en procesbeheer toe gedurende alle projectlevenscycli. De aanpak die we gebruiken, is in overeenstemming met en informeert de beste praktijken in de branche, waardoor resultaten worden behaald die aan de verwachtingen van de klant voldoen.

En al deze methoden zijn in dienst van onze gegarandeerde gegevenskwaliteitsbelofte.

Hoe gaat LXT om met de uitdaging van het annoteren van ongestructureerde gegevens, die meer dan 80% van alle gegevens uitmaken?

LXT heeft een intern annotatieplatform gebouwd dat veel delen van het annotatieproces automatiseert en een structuur en een consistente gebruikersinterface voor werknemers biedt. In de voorverwerkingsfase richten we ons op de voorbereiding van de gegevens, het formatteren van de invoerbestanden en het verwijderen van duplicaten, en in de nabewerkingsfase op het verpakken van de gegevens, het verzamelen en formatteren voor levering aan de klant.

Voordat het project van start gaat, creëren we richtlijnen die met de klant worden besproken en gedurende de projectlevenscyclus worden geïtereerd als dingen veranderen. We kunnen het gegevenslabelproces opdelen in meerdere taken om elk element van het project goed te kunnen behandelen. Bovendien worden kwaliteitscontrolemethoden geïmplementeerd om de eliminatie van fouten op grote schaal te stimuleren.

Ten slotte is ons Operationeel Excellentieteam verantwoordelijk voor geavanceerd procesbeheer om een hoge efficiëntie en schaalbaarheid voor onze projecten over de hele wereld te waarborgen.

Wat zijn enkele van de grootste uitdagingen waar LXT mee te maken krijgt bij het verzamelen van gegevens op grote schaal wereldwijd, en hoe overwint u deze?

Diversiteit en bias in deelnemers en in de resulterende gegevensverzamelingen zijn vaak enkele van de grootste uitdagingen waarmee LXT, en elke AI-trainingsgegevensleverancier, te maken krijgt. Andere uitdagingen zijn een recente vraag naar domeinexpertise en een snel veranderend landschap met de overgang naar LLM’s en generatieve AI-gegevens.

We overwinnen deze uitdagingen door een zeer proactieve aanpak van het werven van onze kandidatenpool, waarbij we ervaring, ervaring, eerdere rollen, interesses en demografieën beoordelen om de juiste diversiteit onder teams te vormen op basis van geslacht of andere aspecten, zoals analytisch denken of creatief schrijven, opleidingsachtergronden, enz.

Zodra we de juiste kandidaten hebben gevonden, nemen we grote zorg om werknemers regelmatig te betrekken om een meer ervaren, loyale en tevreden werkkracht op lange termijn op te bouwen.

Op het gebied van AI-evaluatie, hoe werkt LXT om bias te mitigeren en ethische outputs in de AI-systemen te waarborgen die het helpt trainen?

Zoals eerder vermeld, is het waarborgen van diversiteit een uitdaging die veel AI-trainingsgegevensleveranciers moeten oplossen, en dat zal een lange weg zijn om bias te mitigeren en ethische outputs te waarborgen.

Ik zal opnieuw verwijzen naar onze engagementbest practices, die het vinden van diverse en representatieve annotators en grondig zijn met richtlijnen en kwaliteitscontrolemaatregelen omvatten. We hebben een impact-sourcingstrategie die het ons mogelijk maakt om werk te brengen naar diverse en nieuwe groepen annotators, zoals in langstaarttaalregio’s.

We richten ons op ethische outputs door middel van de toepassing van de beste praktijken in de branche, afstemming met onze klanten over verwachtingen en het stimuleren van hogere standaarden voor onze projectmanagers en annotators. Communicatie is essentieel, evenals compliance-audits, bias-analyse en een toewijding aan gegevensregulering en -privacyvereisten.

Wat is de langetermijnvisie voor LXT en hoe ziet u het bedrijf evolueren in de komende vijf jaar?

 Onze visie is om nauwkeurige, ethisch verantwoorde gegevens te leveren om de uitrol van AI en de technologieën van de toekomst te ondersteunen die de ervaring van mensen over de hele wereld zullen verbeteren en verrijken.

Terwijl automatisering en technologie belangrijk zijn in AI, is er ook een belangrijk menselijk component dat de technologie aanvult. Naarmate we overstappen van eenvoudige geautomatiseerde taken naar grote taalmodellen (LLM’s), en van generatieve AI naar algemene kunstmatige intelligentie (GAI), zal het cruciaal zijn dat AI-producten de mensen die de gegevens genereren en onze mondiale gemeenschappen in het algemeen, getrouw weergeven.

Bij LXT streven we ernaar om ervoor te zorgen dat AI op een positieve en transformatieve manier wordt gebruikt die deze waarden weerspiegelt.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken LXT.