Ali Ansari, grundlægger og administrerende direktør for micro1 – interviewserie

Ali Ansari er grundlægger og administrerende direktør for micro1, hvor han fokuserer på at omsætte menneskelig ekspertise til træningsdata og evalueringer af avancerede AI-systemer. Hans iværksætterbaggrund omfatter opbygningen af et softwareudviklingsbureau og grundlæggelsen af peerlinc, inden han lancerede micro1 i 2022. Han læste datalogi på UC Berkeley og Stanford med fokus på forstærkningslæring og arbejder nu med de systemer, der skal til for at finde, vurdere og koordinere eksperters bidrag til udviklingen af AI.

micro1 er et datalaboratorium, der hjælper med at træne de mest avancerede AI-modeller og evaluere AI-agenter ved hjælp af eksperters faglige viden og realistiske arbejdsmiljøer. Platformen samler rekruttering af specialister, dataproduktion, kvalitetskontrol og modelevaluering inden for blandt andet jura, sundhed, finans, ingeniørvidenskab og naturvidenskab. I dette interview taler Ansari om, hvorfor efterspørgslen efter menneskelig ekspertise vokser, hvordan operationelle data understøtter forstærkningslæring, og hvilke karrieremuligheder der opstår inden for AI-træning og -evaluering.

Du grundlagde micro1 i 2022 efter tidligere at have opbygget og solgt peerlinc. Hvilket problem forsøgte du oprindeligt at løse, og hvordan udviklede micro1 sig til en virksomhed, der fokuserer på at træne og evaluere de mest avancerede AI-modeller?

Oprindeligt var det et problem, jeg selv havde i min virksomhed. Jeg drev et softwareudviklingsbureau, og hvert nyt projekt betød, at jeg skulle finde og interviewe flere ingeniører. Det tog enormt meget af min tid. Derfor byggede vi en AI-interviewer, Zara, som kunne hjælpe, og det blev med tiden til micro1.

Vi begyndte med at sælge rekrutteringssoftwaren og opbygge en markedsplads med forhåndsvurderede talenter. Så kom en kunde til os, som havde brug for hundredvis af ingeniører til at træne AI-modeller. Vi begyndte at undersøge, hvorfor kunden havde brug for så mange mennesker, og indså, at der var en enorm efterspørgsel efter menneskelig ekspertise i udviklingen af modeller.

Vi havde allerede brugt flere år på at opbygge evnen til at finde og vurdere mennesker i stor skala. Menneskelige data var en meget effektiv anvendelse af den infrastruktur. Derfor satsede vi fuldt ud på det, brugte vores AI-rekrutteringsværktøj til at finde og vurdere eksperter og byggede andre dataplatforme og kvalitetssystemer omkring det. I dag hjælper vi laboratorier med at omsætte denne ekspertise til bedre modelkapaciteter.

Du har argumenteret for, at efterspørgslen efter menneskelig ekspertise faktisk stiger, efterhånden som AI-modeller bliver mere kapable, i stedet for at forsvinde. Hvad driver denne sammenhæng?

Der sker et par ting. For det første beder vi modellerne om at løse sværere opgaver, efterhånden som de bliver bedre. En model, der kan besvare et spørgsmål, er nyttig. En model, der kan håndtere en hel arbejdsgang, er langt mere nyttig, men det kræver meget mere ekspertinput at nå dertil.

For det andet bliver mennesker ved med at skabe nyt arbejde. Hvis en jurist kan bruge AI til mange af de opgaver, der fylder arbejdsdagen, får vedkommende mere tid til at tage sig af mere nuancerede problemstillinger eller udvikle en ny tjeneste til klienterne. Disse helt nye funktioner bliver så også noget, vi ønsker at destillere ind i modellerne. Det er det, vi mener med »ingen sidste kilometer«. Arbejdet udvikler sig hele tiden.

Syntetiske data gør det endnu mere interessant. De kan bruges til at udbygge ekspertudviklede opgaver og tilbagemeldinger, så det oprindelige menneskelige input bliver mere værdifuldt. Jeg tror, at det er denne kombination, der gør, at efterspørgslen efter menneskelig ekspertise vokser sideløbende med modellernes kapacitet.

micro1 samarbejder med fageksperter inden for områder som jura, sundhed, finans, ingeniørvidenskab og naturvidenskab. Hvad kan disse fagfolk bidrage med til AI-systemer, som ikke bare kan læres ud fra eksisterende data på nettet?

Meget af det, der gør en person til en fremragende læge, jurist eller ingeniør, er den dømmekraft, vedkommende har opbygget gennem sit arbejde. Noget af den er dokumenteret, men meget kommer til udtryk i måden, de håndterer en usædvanlig sag på, opdager manglende oplysninger eller beslutter, hvilken detalje der faktisk er vigtig.

Det er yderst værdifuldt, når modeller skal trænes. En ekspert kan udforme en vanskelig opgave, forklare, hvordan et godt resultat bør se ud, og præcist identificere, hvor en model kommer til kort. Et svar kan lyde meget overbevisende og alligevel overse det, der betyder mest for en person, der udfører det pågældende arbejde.

Vi har brug for eksperter til at foretage disse skel. Og vi har brug for flere perspektiver og en grundig gennemgangsproces, for én persons dømmekraft dækker ikke alle tilfælde. Målet er at omsætte denne erfaring til et signal, som modellen kan lære af. Der er også enormt mange nuancer inden for hvert fagområde. Juridisk ekspertise er for eksempel ikke én og samme ting: Den varierer alt efter retsområde, delstat eller jurisdiktion og de forskellige landes retssystemer. Hvert lag kræver mere specialiseret viden og dømmekraft. Den samme dybde findes inden for alle fagområder og deres mange underområder, og derfor har vi brug for eksperter, der forstår, hvad disse forskelle betyder i praksis.

Efterhånden som branchen retter mere opmærksomhed mod eftertræning, forstærkningslæring og evaluering, hvor ser du så de største flaskehalse for forbedringen af de mest avancerede modeller i dag?

Jeg tror, at adgang til realistiske data er en af de største flaskehalse. Virksomheder har brugt årevis på at løse problemer, træffe beslutninger og håndtere undtagelser, og den erfaring findes i deres dokumenter, systemer og arbejdsgange. Den er utroligt værdifuld, hvis man vil lære en model at udføre reelt arbejde.

Derfor oprettede vi programmet Company Data Partnerships (CDP). Vi betaler virksomheder for at få licens til deres driftsdata. Det kan omfatte intern dokumentation, projekthistorik, CRM-poster og de processer, medarbejderne følger for at få arbejdet gjort. For værdifulde datasæt fra virksomheder betaler vi op mod 2 millioner dollars, afhængigt af dataene og partnerskabet.

Vi bruger materialet til at skabe realistiske miljøer til træning og evaluering. Tænk på, hvad det kræver at løse en kundes problem: Man skal måske gennemgå kundens kontohistorik, finde den relevante politik og beslutte, hvad man skal gøre. Et miljø, der er bygget op omkring den arbejdsgang, giver en model et sted at øve sig på trinnene. Eksperter definerer opgaven og fastlægger, hvordan man vurderer, om den er løst tilfredsstillende. Den feedback gør miljøet nyttigt til forstærkningslæring.

Virksomhederne beholder ejerskabet til deres underliggende data. Vi aftaler omfanget og kravene til håndtering, herunder beskyttelse af privatlivet, og klargør dataene til det tilsigtede formål.

Værdien ligger i den erfaring, som registreringerne afspejler. CDP giver virksomhederne mulighed for at tjene penge på den erfaring, samtidig med at modellerne lærer at fungere i langt mere realistiske omgivelser.

Hvilke former for menneskelig dømmekraft eller ekspertise tror du vil være særligt svære for AI-systemer at efterligne, selv når modellerne bliver væsentligt mere kompetente?

Jeg tror, at menneskelig smag og kreativitet er områder, hvor modellerne vil få særligt svært ved at følge med. Det skyldes den måde, vi skaber træningsdata på.

Ved mange opgaver kan vi samle eksperter og få dem til at blive enige om, hvad der kendetegner et godt resultat. Det giver os et nyttigt signal at træne efter. Men hvis man spørger folk, hvad der gør et billede fremragende, en film fremragende eller et design overbevisende, kan deres synspunkter blive mere og mere forskellige, jo mere de diskuterer det. Der er ikke altid ét svar, man kan nå til enighed om.

AI kan stadig blive meget nyttig på de områder. Men det kræver stor menneskelig dømmekraft at beslutte, hvad man vil skabe, hvem det er til, og om det faktisk vækker genklang. Jeg tror, at den dømmekraft bliver endnu vigtigere, efterhånden som værktøjerne gør det lettere at fremstille ting.

Man ser i stigende grad, at fagfolk betragter træning og evaluering af AI som seriøst professionelt arbejde snarere end et bijob. Kan det udvikle sig til en helt ny jobkategori, og hvordan kunne sådanne karriereveje se ud?

Helt sikkert. Det er allerede en ny arbejdskategori til flere milliarder dollars. Eksperter bruger den viden, de har opbygget gennem deres karriere, til at hjælpe med at træne og evaluere AI. For nogle er det ved at blive en væsentlig del af arbejdslivet.

Selve arbejdet kan være meget krævende og dybdegående. En jurist kan udforme et vanskeligt scenarie og fastlægge, hvordan modellens svar skal vurderes. En ingeniør kan skabe en opgave, der fører en agent gennem en hel arbejdsgang inden for software. Derudover er der folk, som gennemgår dataene, forbedrer evalueringskriterierne og leder teams af eksperter. Arbejdet kan også give folk bedre mulighed for at fokusere på det, der oprindeligt tiltrak dem til deres fag. I de fleste job går meget tid med administrative opgaver og forpligtelser, der ligger uden for det arbejde, folk finder mest meningsfuldt. Når de træner AI inden for deres fagområde, kan deres ekspertise komme til at stå centralt i arbejdet: De kan løse vanskelige problemer, bruge deres dømmekraft og dele det, erfaringen har lært dem. Det giver mulighed for at bruge mere tid på det, de går op i og er bedst til, samtidig med at de er med til at forme, hvordan AI griber arbejdet an.

Jeg tror, vi vil se egentlige karriereveje vokse frem på alle de områder. Man kan blive rigtig god til at omsætte sin faglige ekspertise til træningsdata eller til at drive en datapipeline og forstå, hvor modellerne har brug for hjælp. Det er værdifulde færdigheder, og vi er stadig kun lige begyndt at finde ud af, hvordan alle disse roller kommer til at se ud.

Når virksomheder rekrutterer læger, jurister, ingeniører, forskere og andre specialister for at forbedre AI-modeller, hvordan kontrollerer I så deres ekspertise og sikrer, at de træningsdata, der kommer ud af det, er nøjagtige og ensartede?

Vi har bygget et helt system op omkring det. Det begynder med Zara, vores AI-rekrutteringsværktøj, som hjælper os med at finde og vurdere eksperter med de færdigheder, et projekt kræver. Derefter hjælper værktøjet Merit os med løbende at følge kvaliteten, hastigheden og pålideligheden af deres bidrag. Man er nødt til både at forstå den enkeltes ekspertise og vide, hvordan den afspejles i de data, vedkommende producerer.

Vores flow-platform samler eksperternes arbejde med de modeller, vi har bygget til at understøtte datagenerering og -gennemgang. Eksperterne definerer opgaverne og beskriver, hvad et godt resultat er. Derefter hjælper flow gen med at udvide dette udgangspunkt til nye eksempler og variationer. flow qc kontrollerer dataene for problemer som manglende dokumentation eller uoverensstemmelser mellem en opgave og dens vurderingskriterier. Og flow grader evaluerer, hvordan modellen klarer sig i forhold til kriterierne.

Det afgørende er, hvad der sker, når en ekspert opdager en fejl. Rettelsen kan forbedre træningsdataene, men den kan også hjælpe os med at forbedre selve generatorerne og kvalitetstjekkene. Vi kan omdanne tilbagevendende fejl til test af den næste version.

Det er det selvforstærkende kredsløb for syntetiske data, vi er ved at opbygge. Menneskelig ekspertise giver os udgangspunktet og dømmekraften. Vores værktøjer hjælper os med at skalere processen, og feedback fra eksperter bidrager til at forbedre den næste cyklus. Derefter tester vi, om ændringerne rent faktisk fører til bedre modelpræstationer. Det er det, der gør kredsløbet værdifuldt.

AI-agenter skal i stigende grad udføre komplekse opgaver med flere trin i stedet for blot at generere svar. Hvordan adskiller træningen og evalueringen af disse systemer sig fra det arbejde, der kræves for at forbedre traditionelle store sprogmodeller?

Den store forskel er opgavens længde. En agent skal måske udføre mange handlinger på tværs af forskellige værktøjer, før den når frem til et brugbart resultat. Den kan klare de første par trin godt og alligevel mislykkes med hele opgaven, fordi fejlene bygger oven på hinanden.

Derfor har vi brug for miljøer, hvor modellen kan øve sig på hele arbejdsgangen, og evalueringer, der viser os, hvor den går galt. Fandt den de rigtige oplysninger? Brugte den værktøjet korrekt? Nåede den faktisk frem til det ønskede resultat?

Så er der også virksomhedens egen kontekst. En agent, der arbejder i en virksomhed, skal forstå virksomhedens processer og forventninger. Generelle evner rækker kun et stykke ad vejen.

Det er her, domæneeksperter bliver virkelig vigtige. De hjælper os med at diagnosticere fejlene og skabe data, der kan forbedre systemerne. Man evaluerer, finder manglerne, træner systemet på de områder, hvor der er mangler, og evaluerer igen. Processen fortsætter, efterhånden som agenten får flere opgaver.

Efterhånden som de mest avancerede modeller bliver mere kapable, hvordan ændrer den type menneskeskabte data, de har brug for, sig så, og hvilke former for ekspertise eller evaluering forventer du bliver væsentligt mere værdifulde i løbet af de næste par år?

To ting får stadig større betydning: hvor lang opgaven er, og hvor tæt den afspejler den virkelige verden. Efterhånden som modellerne bliver bedre, bevæger de nyttigste træningsdata sig i retning af komplekse arbejdsgange med flere beslutninger, mere kontekst og flere muligheder for at begå fejl.

Det gør praktisk driftserfaring meget værdifuld. En person, der har arbejdet med et fag i årevis, forstår de undtagelser og afhængigheder, som er lette at overse, når man udformer en opgave udefra. Vedkommende kan også fortælle, om agentens resultat rent faktisk ville fungere i virksomheden.

Jeg tror, at evalueringer på virksomhedsområdet med tiden bliver et enormt marked, potentielt på en billion dollar om året. Alle virksomheder, der tager agenter i brug, får brug for at forstå, hvor de fungerer, hvor de fejler, og hvordan de kan forbedres. De mennesker, der kan omsætte deres viden til nyttige evalueringer, vil spille en central rolle i det. Behovet vil være vedvarende, fordi virksomhederne, modellerne og arbejdet hele tiden ændrer sig.

Nogle fagfolk er måske reelt med til at træne AI-systemer til at udføre dele af deres egne job. Hvordan forholder du dig til den spænding, og hvordan tror du, forholdet mellem menneskelig ekspertise og AI vil se ud i løbet af de næste tre til fem år?

Jeg tror, vi undervurderer, hvor meget nyt arbejde folk vil skabe, når de får adgang til disse værktøjer.

Tag rekruttering. Hvis en agent kan stå for en større del af den indledende screening, kan en rekrutteringsmedarbejder bruge mere tid på at opbygge relationer til kandidater eller finde ud af, hvordan man tiltrækker folk, som virksomheden ikke tidligere kunne nå ud til. Rollen ændrer sig, og medarbejderen kan nå mere på den samme tid.

Jeg forventer noget lignende inden for mange fag. I løbet af de næste tre til fem år vil agenter i stigende grad blive kolleger, som folk styrer, giver kontekst og evaluerer. Folk vil påtage sig nye ansvarsområder, efterhånden som det sker.

Derfor er jeg optimistisk. Vi ser allerede nye arbejdsområder opstå inden for træning og evaluering af AI, og jeg tror, der er meget mere i vente, efterhånden som folk opdager, hvad de kan bygge og udrette med teknologien.

Tak for et godt interview. Læsere, der gerne vil vide mere om ekspertledede træningsdata, AI-evaluering og mulighederne for at bidrage med deres domæneviden, kan besøge micro1.