Carolyn Harvey, Chief Operations Officer i LXT – Intervju-serie

Carolyn Harvey har omfattende erfaring med å lede og vokse globale operasjoner i feltet søkerellevans rangering og annotering for ML-data. Carolyn er for tiden Chief Operations Officer (COO) i LXT hvor hun leder selskapets globale operasjonsavdeling, og sikrer at alle AI-dataprogrammer og -prosjekter leveres jevnt. Hun fokuserer på høykvalitetsdata i stor skala, bygger effektivitet i lange prosjekter og skalerer over store antall globale lokaler.

Som COO i LXT, bidrar Carolyn med sin rike erfaring til å utvikle en organisasjon av beste klasse.

Kan du kort beskrive hva LXT gjør og din rolle som COO?

Kunstig intelligens avhenger av data for å eksistere, og LXT er en fremvoksende leder i å levere nøyaktig, etisk kilde-data som driver AI-innovasjoner. Som Chief Operations Officer, er min rolle å overvåke, lede og utvide våre globale operasjoner gjennom strategier, struktur og prosesser som gjør at vi kan levere høykvalitets AI-data til våre kunder. Jeg sikrer at vi leverer på tid over en rekke brukstilfeller, fra generativ AI til søkerellevans og selvkjørende biler, blant mange andre.

Hvordan har LXTs misjon utviklet seg siden oppstarten i 2010? 

Vår misjon er å drive fremtidens teknologier gjennom data-generering og -forbedring over hver språk, kultur og modalitet. Vårt mål er å hjelpe selskaper av alle størrelser å kapitalisere på de fantastiske fordelene som AI tilbyr, ved å drive deres modeller med høykvalitetsdata. Etterhvert som selskapets misjon har utviklet seg, har våre tjenester utvidet seg fra språktranskripsjon og taleinnsamling til å omfatte en rekke løsninger, inkludert datainnsamling og annotering for tekst, bilde og video, generativ AI-tjenester og mer. Vi har også utvidet vår globale fotavtrykk av ISO 27001-sertifiserte fasiliteter for å møte våre kunders voksende behov for sikre data-tjenester.

Hva har vært de viktigste drivkreftene bak dens vekst i AI-treningdata-sektoren?

Fortsettende investeringer i AI fra organisasjoner av alle størrelser har drivet vår vekst. Selskaper vet nå at AI er et krav for å forbli konkurransedyktige, og data driver AI. Men ikke all data er likeverdig, og selskaper som lykkes i AI, vet at høykvalitetsdata er kritisk for å skape mer nøyaktig AI.

Nå med generativ AI på alle sine sinn, har denne trenden åpnet enda flere vekstmuligheter for LXT. Mennesker er kritiske for å sikre at disse løsningene er nøyaktige, etiske og ansvarlige. Vi tilbyr en rekke generative AI-tjenester innen områder som finjustering av store språkmodeller, prompt-oppbygging og mer. Våre kunder vet at for å bygge tillit hos sluttbrukerne, må utgangen av deres generative AI-produkter være faktisk, representere et mangfoldig publikum og være fri for giftig språk. Vi kan hjelpe dem å oppnå disse målene med våre menneske-i-løkken-tjenester.

Hvordan har eksplosjonen av generativ AI påvirket LXT og dens kunder?

LXT har sett en økning i etterspørselen etter våre AI-treningdata på grunn av generativ AI, både for kjerne-språk-orientert data og nyere aspekter relatert til analyse, kreativitet og kritisk tenkning. Vi ser også en økning i etterspørselen etter domenekunnskap og spesialiserte profiler for prosjektarbeidere.

Kunderequests går stadig mer utover mikro-oppgaver til maskinlæring-innganger i fortiden, mot LLM-er og de mer komplekse datasettene som kreves av apper som ChatGPT, Gemini og mange avleggere. Vi er for tiden involvert i flere innovative prosjekter hvor vi skriver prompter som er rettet mot å forvirre den generative AI, for å se hvordan den reagerer, og deretter lager den riktige svaret.

I fremtiden kan dette utvikle seg videre til kunstig generell intelligens (AGI) hvor datasettene vil kartlegge til enda mer kompliserte og sofistikerte handlinger.

Du har år med erfaring fra å arbeide med søk og personliggjøring for å forbedre disse algoritmene. Hva er noen av måtene som ledende selskaper forbedrer sin søkerellevans for å gi en bedre brukeropplevelse?

I en verden hvor tid er kostbar og informasjon er overalt, kan forbedring av søkerellevans styrke lojalitet, øke konverteringsrater og gjøre brukerne mer produktive.

Søkerellevans begynner med å rense og organisere kundens data, å fjerne alt som kan generere feilpositive, og å lage ekstra datafelt som søk- og anbefalingsmotorer kan gå gjennom for å generere mer presise resultater. Med hjelp av maskinlæring og naturlig språkbehandling, kan kundene aktivere sin søkemotor til å mer intuitivt fastslå brukerens intensjon og lære om deres preferanser over tid. Resultatet er en raskere søkeopplevelse som leder til mer personlige resultater.

For å nå dette målet, kreves store mengder treningdata, med en spesiell fokus på å lære algoritmene hvordan de kan gjenkjenne, rangere og returnere relevante enheter, og hvordan de kan håndtere feil, grammatikfeil og andre data-anomalier. Vi anbefaler også en menneske-i-løkken-forsterknings-tilnærming for å sikre nøyaktig data, redusere bias og gi en bedre søkeopplevelse for sluttbrukeren. Med ML-fremgang de siste 10 årene, har menneske-i-løkken en intensiv fokus på kvalitetsgjennomgangsprosesser som driver et behov for dypere erfaring fra data-tilbydere.

Kan du utdype LXTs tilnærming til data-annotering og hvordan de sikrer kvaliteten og nøyaktigheten av AI-treningdata?

Som en operasjonsavdeling, må vi først forstå hvordan kundene bruker dataene vi leverer i utviklingen av deres produkter og tjenester for å sikre at det vil møte deres behov. For å gjøre dette, må vi finne eksperter i både prosjektledelse og annotering som har erfaring med den type data som kreves.

Deretter handler det om forberedelse og å finne de riktige ressursene ved starten av hvert prosjekt. Dette inkluderer å samarbeide med kundene om suksessfaktorer under skoping-fasen, samt dypt kvalifisering og vurderingsprosesser for prosjekt-annotatorer som tar hensyn til viktige detaljer som utdanningsbakgrunn, spesielle interesser, demografi og erfaring. Vi utvikler også detaljerte lærings- og referansemateriell som en guide, tilpasset hvert prosjekt. Vi anvender modne kvalitets- og prosessledelses-oversikt gjennom alle prosjektlivscykluser. Tilnærmingen vår er i tjeneste av vårt løfte om garantert datakvalitet.

Og alle disse metodene er i tjeneste av vårt løfte om garantert datakvalitet.

Hvordan håndterer LXT utfordringen med å annotere ustrukturert data, som utgjør over 80% av all data?

LXT har bygget en intern annoteringsplattform som automatiserer mange deler av annoteringsprosessen og gir struktur og en konsistent brukergrensesnitt for arbeidere. I forprosessen, fokuserer vi på forberedelse av data, formatering av inndatafiler og fjerning av duplikater, blant annet, og i etterprosessen, håndterer vi pakking av data, samling og formatering for levering til kunden.

Før prosjektet starter, lager vi retningslinjer som gjennomgås med kunden og itereres på gjennom prosjektets livscyklus når ting endrer seg. Vi kan bryte ned data-merkingprosessen i flere oppgaver for å fokusere på hver del av prosjektet ordentlig. I tillegg, implementeres kvalitetskontroll-metodologier for å drive eliminering av feil i stor skala.

Til slutt er vårt Operational Excellence Team ansvarlig for avansert prosessledelse for å sikre høy effisiens og skalerbarhet for våre prosjekter verden over.

Hva er noen av de største utfordringene LXT møter i å samle data i stor skala globalt, og hvordan overvinner de dem?

Mangfold og bias i deltakere og i de resulterende data-samlingene er ofte noen av de største utfordringene som LXT, og enhver AI-treningdata-tilbyder, vil møte. Andre utfordringer inkluderer en nylig etterspørsel etter domenekunnskap og et raskt skiftende landskap med skiftet til LLM-er og generativ AI-data.

Vi overvinner disse utfordringene gjennom en svært proaktiv tilnærming til å finne vår kandidat-pool, hvor vi gjennomgår ekspertise, erfaring, tidligere roller, interesser og demografi for å danne det riktige mangfold blant teamene etter kjønn eller andre aspekter, som analytisk tenkning eller kreativ skriving, utdanningsbakgrunn, blant annet.

Når vi først har funnet de riktige kandidatene, tar vi stor omsorg for å engasjere arbeidere regelmessig for å bygge en mer erfaren, lojal og tilfreds arbeidsstyrke over lengre tid.

I forbindelse med AI-vurdering, hvordan arbeider LXT for å minimere bias og sikre etiske utgangsverdier i AI-systemene det hjelper med å trene?

Som nevnt tidligere, å sikre mangfold er en utfordring som mange AI-treningdata-tilbydere må løse, og det vil gå langt i å minimere bias og sikre etiske utgangsverdier.

Jeg vil henviser igjen til våre beste praksis for engasjement som inkluderer å finne diverse og representative annotatorer og å være grundige med retningslinjer og kvalitetskontroll-målinger. Vi har en impact-sourcing-strategi som lar oss bringe arbeid til diverse og nye grupper av annotatorer, som i lange hale-språk-regioner.

Vi måler etiske utgangsverdier gjennom vår bruk av bransjestandarder, samarbeid med kundene om forventninger og driver høyere standarder for våre prosjektledere og annotatorer. Kommunikasjon er essensiell, samt overholdelse av lover, bias-analyse og et løfte om data-regulering og -krav.

Hva er den langsiktige visjonen for LXT, og hvordan ser du selskapet utvikle seg de neste fem årene?

 Vår visjon er å levere nøyaktig, etisk kilde-data for å drive utrullingen av AI og fremtidens teknologier som vil forbedre og forbedre menneskers erfaringer over hele verden.

Mens automatisering og teknologi er viktig i AI, er det også et viktig menneskelig komponent som komplementerer teknologien. Etterhvert som vi går fra enkle automatiserte oppgaver til store språkmodeller (LLM-er), og fra generativ AI til generell kunstig intelligens (GAI), vil det være kritisk at AI-produkter trofast representerer menneskene, både de som genererer data og våre globale samfunn i stor skala.

Ved LXT, streber vi etter å sikre at AI brukes på en positiv og transformasjonell måte som reflekterer disse verdiene.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, kan besøke LXT.