Carolyn Harvey, Chief Operations Officer bij LXT – Interview Serie

Carolyn Harvey heeft uitgebreide ervaring met het leiden en uitbreiden van wereldwijde operaties op het gebied van zoekrelevantie ranking en annotatie voor ML-gegevens. Carolyn is momenteel Chief Operations Officer (COO) van LXT waar zij de wereldwijde operaties van het bedrijf leidt, waardoor alle AI-gegevensprogramma’s en -projecten consistent worden geleverd. Zij richt zich op hoogwaardige gegevens op grote schaal, het creëren van efficiëntie in langetermijnprogramma’s en het schalen over een groot aantal wereldwijde locaties.

Als COO van LXT, leent Carolyn haar grote ervaring om een best-in-class-organisatie te ontwikkelen.

Kunt u kort beschrijven wat LXT doet en uw rol als COO?

Kunstmatige intelligentie is afhankelijk van gegevens om te bestaan, en LXT is een opkomende leider in het leveren van nauwkeurige, ethisch verkregen gegevens die AI-innovaties aandrijven. Als Chief Operations Officer, is mijn rol om onze wereldwijde operaties te leiden, uit te breiden en te ontwikkelen via strategieën, structuur en processen die ons in staat stellen om de hoogste kwaliteit AI-gegevens aan onze klanten te leveren. Ik zorg ervoor dat we op tijd leveren over een breed scala aan use-cases, van generatieve AI tot zoekrelevantie en zelfrijdende auto’s, onder andere.

Hoe is de missie van LXT geëvolueerd sinds de oprichting in 2010? 

Onze missie is om de technologieën van de toekomst te ondersteunen door gegevensgeneratie en -verbetering over elke taal, cultuur en modaliteit heen. Ons doel is om bedrijven van alle maten te helpen profiteren van de ongelooflijke voordelen die AI biedt door hun modellen te voeden met hoogwaardige gegevens. Naarmate de missie van het bedrijf is geëvolueerd, is ons dienstenaanbod uitgebreid van taaltranscriptie en spraakverzameling tot een breed scala aan oplossingen, waaronder gegevensverzameling en annotatie voor tekst, beeld en video, generatieve AI-diensten en meer. We hebben ook ons wereldwijde netwerk van ISO 27001-gecertificeerde faciliteiten uitgebreid om aan de groeiende behoeften van onze klanten voor beveiligde gegevensdiensten te voldoen.

Wat zijn de belangrijkste drivers van de groei van LXT in de sector van AI-trainingsgegevens?

De voortdurende investeringen in AI van organisaties van alle maten hebben onze groei aangedreven. Bedrijven weten nu dat AI essentieel is om concurrerend te blijven, en gegevens drijven AI aan. Maar niet alle gegevens zijn gelijk, en bedrijven die succesvol zijn in AI weten dat hoogwaardige gegevens essentieel zijn om nauwkeurigere AI te creëren.

Met de opkomst van generatieve AI is er nog meer groeimogelijkheden voor LXT ontstaan. Mensen zijn essentieel om ervoor te zorgen dat deze oplossingen nauwkeurig, ethisch en verantwoordelijk zijn. We bieden een breed scala aan generatieve AI-diensten in gebieden zoals fine-tuning van grote taalmodellen, promptcreatie en meer. Onze klanten weten dat om vertrouwen op te bouwen met eindgebruikers, de output van hun generatieve AI-producten feitelijk, representatief voor een diverse doelgroep en vrij van giftige taal moet zijn. We kunnen hen helpen deze doelen te bereiken met onze human-in-the-loop-diensten.

Hoe heeft de explosie van generatieve AI LXT en zijn klanten beïnvloed?

LXT heeft een toename van de vraag naar zijn AI-trainingsgegevens gezien als gevolg van generatieve AI, zowel voor core taalgerichte gegevens als voor nieuwere aspecten zoals analyse, creativiteit en kritisch denken. We zien ook een toename van de vraag naar domeinkennis en gespecialiseerde profielen voor projectwerkers.

Klantverzoeken gaan steeds vaker verder dan de microtasking-machine learning-inputs van het verleden naar LLM’s en de complexere datasets die benodigd zijn voor apps zoals ChatGPT, Gemini en de vele afgeleiden. We zijn momenteel betrokken bij verschillende innovatieve projecten waarbij we prompts schrijven die zijn ontworpen om de generatieve AI te verwarren, en vervolgens de correcte antwoorden creëren.

In de toekomst kan dit zich verder ontwikkelen tot kunstmatige algemene intelligentie (AGI), waarbij de datasets zullen corresponderen met nog complexere en geavanceerdere acties.

U heeft jarenlange ervaring met het werken aan zoekopdrachten en personalisatie om deze algoritmes te verbeteren. Wat zijn enkele van de manieren waarop toonaangevende bedrijven hun zoekrelevantie verbeteren om een betere gebruikerservaring te bieden?

In een wereld waar tijd kostbaar is en informatie overal aanwezig is, kan het verbeteren van de zoekrelevantie loyaliteit verhogen, conversie tarieven verhogen en gebruikers productiever maken.

Zoekrelevantie begint met het schoonmaken en organiseren van de gegevens van onze klanten, het verwijderen van alles dat valse positieven kan genereren, en het creëren van additionele gegevensvelden waardoor zoek- en aanbevelingsmotoren kunnen zoeken om nauwkeurigere resultaten te genereren. Met de hulp van machine learning en natuurlijke taalverwerking kunnen klanten hun zoekmachine in staat stellen om meer intuïtief te begrijpen wat de gebruiker wil en om hun voorkeuren over tijd te leren. Het resultaat is een snellere zoekervaring die leidt tot meer gepersonaliseerde resultaten.

Het bereiken van dit doel vereist grote hoeveelheden trainingsgegevens, met een speciale focus op het trainen van algoritmes om relevante entiteiten te herkennen, te rangschikken en terug te geven, en om te gaan met typefouten, grammaticale fouten en andere gegevensanomalieën. We raden ook een human-in-the-loop (HITL) versterkingsaanpak aan om nauwkeurige gegevens, gereduceerde bias en een betere zoekervaring voor de eindgebruiker te garanderen. Met de vooruitgang in machine learning in de afgelopen 10 jaar, heeft HITL een verhoogde focus op kwaliteitscontroleprocessen, wat een grotere behoefte aan diepgaande ervaring van gegevensaanbieders noodzaakt.

Kunt u meer vertellen over de aanpak van LXT voor gegevensannotatie en hoe het de kwaliteit en nauwkeurigheid van AI-trainingsgegevens waarborgt?

Als operatieteam moeten we allereerst begrijpen hoe klanten de gegevens die we leveren gebruiken in de ontwikkeling van hun producten en diensten, om ervoor te zorgen dat het aan hun behoeften voldoet. Om dit te doen, moeten we experts vinden in zowel projectmanagement als annotatie die ervaring hebben met het type gegevens dat vereist is.

Vervolgens gaat het voornamelijk om voorbereiding en het vinden van de juiste resources aan het begin van elk project. Dit omvat het afstemmen met klanten op succesfactoren tijdens de scopingsfase, evenals diepgaande kwalificatie- en selectieprocessen voor projectannotators die belangrijke details zoals opleidingsachtergrond, speciale interesses, demografische gegevens en ervaring in overweging nemen. We ontwikkelen ook gedetailleerde leer- en referentiematerialen als leidraad, aangepast aan elk project. We passen mature kwaliteits- en procesbeheer toe gedurende alle projectlevenscycli. De aanpak die we gebruiken, is afgestemd op en informeert de beste praktijken in de branche, waardoor resultaten worden behaald die aan de verwachtingen van de klant voldoen.

En al deze methoden zijn in dienst van onze gegarandeerde gegevenskwaliteitsbelofte.

Hoe gaat LXT om met de uitdaging van het annoteren van ongestructureerde gegevens, die meer dan 80% van alle gegevens uitmaken?

LXT heeft een intern annotatieplatform gebouwd dat veel delen van het annotatieproces automatiseert en een structuur en een consistent gebruikersinterface voor werknemers biedt. In de voorbewerkingsfase richten we ons op de voorbereiding van de gegevens, het formatteren van de invoerbestanden en het verwijderen van duplicaten, onder andere, en in de nabewerkingsfase op het verpakken van de gegevens, het verzamelen en formatteren voor levering aan de klant.

Voordat het project van start gaat, creëren we richtlijnen die met de klant worden besproken en gedurende de projectlevenscyclus worden geïtereerd. We kunnen het gegevenslabelproces opdelen in meerdere taken om elk element van het project goed te behandelen. Bovendien worden kwaliteitscontrolemethoden geïmplementeerd om fouten op grote schaal te elimineren.

Tenslotte is ons Operationeel Excellence Team verantwoordelijk voor geavanceerd procesbeheer om hoge efficiëntie en schaalbaarheid voor onze projecten over de hele wereld te garanderen.

Wat zijn enkele van de grootste uitdagingen waar LXT mee te maken krijgt bij het verzamelen van gegevens op grote schaal wereldwijd, en hoe overwint u deze?

Diversiteit en bias in deelnemers en in de resulterende gegevensverzamelingen zijn vaak enkele van de grootste uitdagingen waarmee LXT, en elke AI-trainingsgegevensaanbieder, te maken krijgt. Andere uitdagingen zijn een recente vraag naar domeinexpertise en een snel veranderend landschap met de overgang naar LLM’s en generatieve AI-gegevens.

We overwinnen deze uitdagingen door een zeer proactieve aanpak van het bronnen van onze kandidatenpool, waarbij we expertise, ervaring, eerdere rollen, interesses en demografische gegevens beoordelen om de juiste diversiteit onder teams te vormen, zoals geslacht of andere aspecten, zoals analytisch denken of creatief schrijven, opleidingsachtergrond, enz.

Als we eenmaal de juiste kandidaten hebben gevonden, nemen we grote zorg om werknemers regelmatig te betrekken om een meer ervaren, loyale en tevreden werkkracht op lange termijn op te bouwen.

Wat betreft AI-evaluatie, hoe werkt LXT om bias te mitigeren en ethische uitvoer in de AI-systemen die het helpt trainen te garanderen?

Om bias te mitigeren en ethische uitvoer te garanderen, is het essentieel om diversiteit te waarborgen, zoals ik eerder vermeldde.

Ik zal nogmaals verwijzen naar onze engagementbest practices, die het vinden van diverse en representatieve annotators en het zorgvuldig zijn met richtlijnen en kwaliteitscontrolemaatregelen omvatten. We hebben een impact-sourcingstrategie die het ons mogelijk maakt om werk te brengen naar diverse en nieuwe groepen annotators, zoals in langstaarttaalregio’s.

We mikken op ethische uitvoer door middel van de toepassing van de beste praktijken in de branche, het afstemmen van verwachtingen met onze klanten en het stimuleren van hogere standaarden voor onze projectmanagers en annotators. Communicatie is essentieel, evenals compliance-audits, bias-analyse en een toewijding aan gegevensregulering en -privacyvereisten.

Wat is de langetermijnvisie voor LXT en hoe ziet u het bedrijf evolueren in de komende vijf jaar?

 Onze visie is om nauwkeurige, ethisch verkregen gegevens te leveren om de uitrol van AI en de technologieën van de toekomst die de ervaring van mensen over de hele wereld zullen verbeteren, te ondersteunen.

Terwijl automatisering en technologie belangrijk zijn in AI, is er ook een belangrijk menselijk component dat de technologie aanvult. Naarmate we overgaan van eenvoudige geautomatiseerde taken naar grote taalmodellen (LLM’s) en van generatieve AI naar algemene kunstmatige intelligentie (GAI), zal het essentieel zijn dat AI-producten de mensen vertegenwoordigen, zowel degenen die de gegevens genereren als onze wereldwijde gemeenschappen in het algemeen.

Bij LXT streven we ernaar om ervoor te zorgen dat AI op een positieve en transformatieve manier wordt gebruikt die deze waarden weerspiegelt.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen LXT bezoeken.