Carolyn Harvey, Chief Operations Officer bij LXT – Interviewserie

Carolyn Harvey heeft uitgebreide ervaring met het leiden en laten groeien van wereldwijde activiteiten op het gebied van zoekrelevantie rangschikking en annotatie voor ML-gegevens. Carolyn is momenteel Chief Operations Officer (COO) van LXT waar ze leiding geeft aan de wereldwijde operationele divisie van het bedrijf en zorgt voor een consistente levering van alle AI-dataprogramma's en -projecten. Ze richt zich op data van hoge kwaliteit op grote schaal, het opbouwen van efficiëntie in langetermijnprogramma's en het opschalen naar grote aantallen mondiale locaties.

Als COO van LXT zet Carolyn haar schat aan ervaring in om een ​​best-in-class organisatie te ontwikkelen.

Kunt u kort beschrijven wat LXT doet en uw rol als COO?

Kunstmatige intelligentie is afhankelijk van het bestaan ​​van gegevens, en LXT is een opkomende leider in het leveren van nauwkeurige, ethisch verkregen gegevens die AI-innovaties mogelijk maken. Als Chief Operations Officer is het mijn rol om onze wereldwijde activiteiten te overzien, te leiden en uit te breiden door middel van strategieën, structuur en processen waarmee we AI-gegevens van de hoogste kwaliteit aan onze klanten kunnen leveren. Ik zorg ervoor dat we op tijd leveren voor een breed scala aan gebruiksscenario's, van onder meer generatieve AI tot zoekrelevantie en zelfrijdende auto's.

Hoe is de missie van LXT geëvolueerd sinds de oprichting in 2010? 

Onze missie is om de technologieën van de toekomst aan te drijven door het genereren en verbeteren van data in elke taal, cultuur en modaliteit. Ons doel is om bedrijven van elke omvang te helpen profiteren van de ongelooflijke voordelen die AI biedt door hun modellen te voorzien van hoogwaardige gegevens. Naarmate de missie van het bedrijf zich ontwikkelde, is ons dienstenaanbod uitgebreid van taaltranscriptie en spraakverzameling naar een breed scala aan oplossingen, waaronder gegevensverzameling en annotatie voor tekst, afbeeldingen en video, generatieve AI-diensten en meer. We hebben ook onze wereldwijde voetafdruk van ISO 27001-gecertificeerde faciliteiten uitgebreid om tegemoet te komen aan de groeiende behoefte van onze klanten aan veilige datadiensten.

Wat zijn de belangrijkste drijfveren geweest van de groei in de AI-trainingsdatasector?

Aanhoudende investeringen in AI door organisaties van elke omvang hebben onze groei aangewakkerd. Bedrijven weten nu dat AI van cruciaal belang is om concurrerend te blijven, en dat data AI aanstuurt. Maar niet alle data zijn gelijk, en bedrijven die slagen in AI weten dat data van hoge kwaliteit van cruciaal belang is voor het creëren van nauwkeurigere AI.

Nu iedereen aan generatieve AI denkt, heeft deze trend nog meer groeimogelijkheden voor LXT geopend. Mensen zijn van cruciaal belang om ervoor te zorgen dat deze oplossingen accuraat, ethisch en verantwoord zijn. We bieden een reeks generatieve AI-diensten op gebieden zoals het verfijnen van grote taalmodellen, snelle creatie en meer. Onze klanten weten dat om vertrouwen bij eindgebruikers op te bouwen, de output van hun generatieve AI-producten feitelijk moet zijn, een divers publiek moet vertegenwoordigen en vrij moet zijn van giftig taalgebruik. Wij kunnen hen helpen deze doelen te bereiken met onze human in the loop-diensten.

Welke impact heeft de explosie van generatieve AI op LXT en zijn klanten?

LXT heeft een toenemende vraag naar zijn AI-trainingsgegevens gezien als gevolg van generatieve AI, zowel voor kerntaalgerichte gegevens als voor nieuwere aspecten met betrekking tot analyse, creativiteit en kritisch denken. Ook zien we een toenemende vraag naar domeinkennis en gespecialiseerde profielen voor projectmedewerkers.

Klantverzoeken gaan steeds vaker verder dan de microtasking-machine learning-inputs uit het verleden richting LLM's, en de complexere datasets die nodig zijn voor apps als ChatGPT, Gemini en de vele uitlopers. We zijn momenteel betrokken bij verschillende innovatieve projecten waarbij we aanwijzingen schrijven die erop gericht zijn de generatieve AI in verwarring te brengen om te zien hoe deze reageert, en vervolgens het juiste antwoord te creëren.

In de toekomst kan dit zich verder ontwikkelen tot kunstmatige algemene intelligentie (AGI), waarbij de datasets in kaart zullen worden gebracht voor nog gecompliceerdere en geavanceerdere acties.

Je hebt jarenlange ervaring met zoeken en personaliseren om deze algoritmen te helpen verbeteren. Op welke manieren verbeteren toonaangevende bedrijven hun zoekrelevantie om een ​​betere gebruikerservaring te bieden?

In een wereld waar tijd kostbaar is en informatie overal aanwezig is, kan het verbeteren van de zoekrelevantie de loyaliteit vergroten, de conversiepercentages verhogen en gebruikers productiever maken.

Zoekrelevantie begint met het opschonen en ordenen van de gegevens van onze klanten, het uitroeien van alles dat valse positieven kan genereren en het creëren van extra gegevensvelden waar zoek- en aanbevelingsmotoren doorheen kunnen zoeken om nauwkeurigere resultaten te genereren. Met behulp van machine learning en natuurlijke taalverwerking kunnen klanten hun zoekmachine in staat stellen om intuïtiever de intentie van de gebruiker vast te stellen en in de loop van de tijd meer te weten te komen over hun voorkeuren. Het resultaat is een snellere zoekervaring die tot meer gepersonaliseerde resultaten leidt.

Om dit doel te bereiken zijn grote hoeveelheden trainingsgegevens nodig, met bijzondere aandacht voor het trainen van algoritmen voor het herkennen, rangschikken en retourneren van relevante entiteiten, en voor het omgaan met typefouten, grammaticale fouten en andere gegevensafwijkingen. We raden ook een human-in-the-loop (HITL)-versterkingsaanpak aan om nauwkeurige gegevens te garanderen, vooroordelen te verminderen en een betere zoekervaring voor de eindgebruiker te bieden. Met de vooruitgang op het gebied van machine learning in de afgelopen tien jaar heeft HITL een grotere focus gelegd op kwaliteitsbeoordelingsprocessen, wat de behoefte aan diepgaandere ervaring van dataleveranciers stimuleert.

Kunt u meer vertellen over de aanpak van LXT op het gebied van data-annotatie en hoe deze de kwaliteit en nauwkeurigheid van AI-trainingsgegevens garandeert?

Als operationeel team moeten we eerst begrijpen hoe klanten de gegevens gebruiken die we verstrekken bij de ontwikkeling van hun producten en diensten om ervoor te zorgen dat deze aan hun behoeften voldoen. Om dit mogelijk te maken, moeten we experts vinden op het gebied van zowel projectmanagement als annotatie die ervaring hebben met het vereiste type gegevens.

Van daaruit gaat het grotendeels om de voorbereiding en het vinden van de juiste middelen bij de start van elk project. Dit omvat het afstemmen met klanten over succesfactoren tijdens de scopingfase, evenals diepgaande kwalificatie- en doorlichtingsprocessen voor projectannotators die belangrijke details in overweging nemen, zoals opleidingsachtergrond, speciale interesses, demografische gegevens en ervaring. We ontwikkelen ook gedetailleerd leer- en referentiemateriaal als leidraad, op maat voor elk project. We passen een volwassen kwaliteits- en procesbeheertoezicht toe gedurende alle levenscycli van projecten. De aanpak die we gebruiken sluit aan bij de beste praktijken in de sector en zorgt ervoor dat de resultaten voldoen aan de verwachtingen van de klant.

En al deze methodologieën staan ​​in dienst van onze gegarandeerde belofte van datakwaliteit.

Hoe gaat LXT om met de uitdaging van het annoteren van ongestructureerde gegevens, die meer dan 80% van alle gegevens omvatten?

LXT heeft een intern annotatieplatform gebouwd dat veel delen van het annotatieproces automatiseert en structuur en een consistente gebruikersinterface voor werknemers biedt. In de voorbewerkingsfase richten we ons onder meer op het voorbereiden van de data, het opmaken van de invoerbestanden en het verwijderen van duplicaten, en in de nabewerking richten we ons op het verpakken van de gegevens, het verzamelen en opmaken voor aanlevering aan de klant.

Voordat het project van start gaat, stellen we richtlijnen op die samen met de klant worden beoordeeld en gedurende de hele levenscyclus van het project worden herhaald als er zaken veranderen. We kunnen het proces van het labelen van gegevens opsplitsen in meerdere taken, zodat we ons goed op elk element van het project kunnen concentreren. Bovendien worden kwaliteitscontrolemethodologieën geïmplementeerd om fouten op grote schaal te elimineren.

Ten slotte is ons Operational Excellence Team verantwoordelijk voor geavanceerd procesbeheer om een ​​hoge efficiëntie en schaalbaarheid voor onze projecten wereldwijd te garanderen.

Wat zijn enkele van de grootste uitdagingen waarmee LXT wordt geconfronteerd bij het wereldwijd verzamelen van gegevens op grote schaal, en hoe overwin je deze?

Diversiteit en vooringenomenheid bij de deelnemers en bij de daaruit voortvloeiende gegevensverzamelingen zijn vaak enkele van de grootste uitdagingen waarmee LXT, en elke aanbieder van AI-trainingsgegevens, te maken zal krijgen. Andere uitdagingen zijn onder meer de recente vraag naar domeinexpertise en een snel veranderend landschap met de verschuiving naar LLM’s en generatieve AI-gegevens.

We overwinnen deze uitdagingen door een zeer proactieve benadering bij het vinden van onze kandidatenpool, waarbij we expertise, ervaring, eerdere functies, interesses en demografische gegevens beoordelen om de juiste diversiteit tussen teams te vormen op basis van geslacht of andere aspecten, zoals analytisch denken of creatief schrijven. onderwijsachtergronden, onder andere.

Zodra we de juiste kandidaten hebben gevonden, besteden we er veel zorg aan om werknemers op regelmatige basis in dienst te nemen om op de lange termijn een meer ervaren, loyaler en tevredener personeelsbestand op te bouwen.

Hoe werkt LXT, in termen van AI-evaluatie, om vooroordelen te verminderen en ethische resultaten te garanderen in de AI-systemen die het helpt trainen?

Zoals eerder vermeld is het waarborgen van diversiteit een uitdaging die veel aanbieders van AI-trainingsgegevens moeten oplossen, en dat zal een grote bijdrage leveren aan het verminderen van vooroordelen en het garanderen van ethische resultaten.

Ik verwijs opnieuw naar onze best practices op het gebied van betrokkenheid, waaronder het vinden van diverse en representatieve annotators en het grondig omgaan met richtlijnen en kwaliteitscontrolemaatregelen. We hebben een impactsourcingstrategie die ons in staat stelt werk naar diverse en nieuwe groepen annotators te brengen, zoals in long tail-taalregio's.

We streven naar ethische resultaten door gebruik te maken van best practices uit de sector, waarbij we de verwachtingen van onze klanten afstemmen en hogere normen hanteren voor onze projectmanagers en annotators. Communicatie is essentieel, evenals compliance-audits, bias-analyses en toewijding aan gegevensregelgeving en privacyvereisten.

Wat is de langetermijnvisie voor LXT en hoe zie jij het bedrijf de komende vijf jaar evolueren?

 Onze visie is om nauwkeurige, ethisch verkregen gegevens te leveren om de uitrol van AI en de technologieën van de toekomst te helpen stimuleren die de ervaring van mensen over de hele wereld zullen verbeteren.

Hoewel automatisering en technologie belangrijk zijn bij AI, is er ook een belangrijke menselijke component die de technologie aanvult. Terwijl we van eenvoudige geautomatiseerde taken naar grote taalmodellen (LLM’s) gaan, en van generatieve AI naar algemene kunstmatige intelligentie (GAI), zal het van cruciaal belang zijn dat AI-producten de mensen getrouw vertegenwoordigen, zowel degenen die de gegevens genereren als onze mondiale gemeenschappen op groot.

Bij LXT streven we ernaar ervoor te zorgen dat AI op een positieve en transformatieve manier wordt gebruikt, die deze waarden weerspiegelt.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken LXT.