Ali Ansari, grunnlegger og administrerende direktør i micro1 – intervjuserie

Ali Ansari er grunnlegger og administrerende direktør i micro1, der han arbeider med å gjøre menneskelig ekspertise om til treningsdata og evalueringer for avanserte KI-systemer. Som gründer har han erfaring med å bygge opp et programvareutviklingsbyrå og grunnlegge peerlinc før han lanserte micro1 i 2022. Han studerte informatikk ved UC Berkeley og Stanford, med fordypning i forsterkningslæring, og arbeider nå med systemene som trengs for å finne, vurdere og koordinere eksperters bidrag til KI-utvikling.

micro1 er et datalaboratorium som bidrar til å trene de mest avanserte KI-modellene og evaluere KI-agenter ved hjelp av ekspertise fra mennesker og realistiske arbeidsmiljøer. Plattformen samler spesialisert rekruttering, dataproduksjon, kvalitetskontroll og modelevaluering innen blant annet jus, helsevesen, finans, ingeniørfag og vitenskap. I dette intervjuet snakker Ansari om hvorfor etterspørselen etter menneskelig ekspertise øker, hvordan driftsdata støtter forsterkningslæring, og hvilke karrieremuligheter som vokser fram innen KI-trening og -evaluering.

Du grunnla micro1 i 2022 etter først å ha bygget opp og solgt peerlinc. Hvilket problem forsøkte du opprinnelig å løse, og hvordan utviklet micro1 seg til et selskap med fokus på trening og evaluering av de mest avanserte KI-modellene?

Opprinnelig var det et problem jeg selv hadde i virksomheten min. Jeg drev et programvareutviklingsbyrå, og hvert nytt prosjekt innebar at jeg måtte finne og intervjue flere ingeniører. Jeg brukte svært mye av tiden min på dette. Derfor utviklet vi en KI-intervjuer, Zara, for å hjelpe til, og det ble etter hvert til micro1.

Vi begynte med å selge rekrutteringsprogramvaren og bygge opp en markedsplass med kvalitetssikrede talenter. Så kom en kunde til oss som trengte hundrevis av ingeniører til å trene KI-modeller. Vi begynte å undersøke hvorfor kunden trengte så mange mennesker, og innså at det lå en enorm etterspørsel etter menneskelig ekspertise bak modellutviklingen.

Vi hadde allerede brukt flere år på å bygge opp evnen til å finne og kvalitetssikre mennesker i stor skala. Data fra mennesker var en svært kraftfull anvendelse av denne infrastrukturen. Derfor satset vi fullt og helt, brukte KI-rekruttereren vår til å finne og kvalitetssikre eksperter og bygde opp andre dataplattformer og kvalitetssystemer rundt dette. I dag hjelper vi laboratorier med å omsette denne ekspertisen til bedre modellegenskaper.

Du har hevdet at etter hvert som KI-modellene blir stadig mer avanserte, øker etterspørselen etter menneskelig ekspertise faktisk i stedet for å forsvinne. Hva er det som driver denne sammenhengen?

Det er et par ting som skjer. For det første ber vi modellene om å gjøre vanskeligere ting etter hvert som de blir bedre. En modell som kan svare på et spørsmål, er nyttig. En modell som kan håndtere en hel arbeidsflyt, er langt mer nyttig, men det krever mye mer ekspertinnsats å komme dit.

For det andre skaper mennesker stadig nye oppgaver. Hvis en advokat kan bruke KI til mye av det som fyller arbeidsdagen, får vedkommende mer tid til å ta fatt på mer nyanserte problemstillinger eller utvikle en ny tjeneste for klientene sine. Disse helt nye oppgavene er også noe vi ønsker å destillere inn i modeller. Det er dette vi mener med «ingen siste etappe». Arbeidet utvikler seg stadig.

Syntetiske data gjør dette enda mer interessant. De kan brukes til å bygge videre på oppgaver og tilbakemeldinger som eksperter har laget, og dermed blir det opprinnelige menneskelige bidraget mer nyttig. Jeg tror denne kombinasjonen er grunnen til at etterspørselen etter menneskelig ekspertise fortsetter å øke i takt med modellenes kapasitet.

micro1 samarbeider med fagpersoner innen områder som jus, helsevesen, finans, ingeniørfag og vitenskap. Hva kan disse fagpersonene bidra med til KI-systemer som ikke bare kan læres fra eksisterende data på nettet?

Mye av det som gjør noen til en dyktig lege, advokat eller ingeniør, er dømmekraften de har utviklet gjennom arbeidet sitt. Noe av dette er dokumentert, men mye kommer til uttrykk i måten de håndterer en uvanlig sak på, oppdager manglende informasjon eller avgjør hvilken detalj som faktisk betyr noe.

Dette er svært verdifullt når modeller skal trenes. En ekspert kan lage en vanskelig oppgave, forklare hvordan et godt resultat bør se ut og peke nøyaktig på hvor en modell kommer til kort. Et svar kan høres svært overbevisende ut og likevel overse det som betyr aller mest for en som utfører den aktuelle jobben.

Vi trenger eksperter til å gjøre disse skillene. Vi trenger også flere perspektiver og en grundig vurderingsprosess, fordi én persons dømmekraft ikke vil fange opp alle tilfeller. Målet er å omsette denne erfaringen til et signal modellen kan lære av. Det er også enorme nyanser innenfor hvert fagfelt. Juridisk ekspertise er for eksempel ikke én enkelt ting: Den varierer etter rettsområde, delstat eller jurisdiksjon og rettssystemene i ulike land. Hvert lag krever mer spesialisert kunnskap og dømmekraft. Den samme dybden finnes på tvers av alle fagområder og de mange underområdene deres, og derfor trenger vi eksperter som forstår hva disse skillene betyr i praksis.

Etter hvert som bransjen retter mer oppmerksomhet mot ettertrening, forsterkningslæring og evaluering, hvor ser du de største flaskehalsene for å forbedre de mest avanserte modellene i dag?

Jeg tror tilgang til realistiske data er en av de største flaskehalsene. Selskaper har brukt flere år på å løse problemer, ta beslutninger og håndtere unntak, og denne erfaringen er fanget opp i dokumentene, systemene og arbeidsflytene deres. Den er utrolig verdifull hvis man vil at en modell skal lære å utføre reelt arbeid.

Derfor opprettet vi programmet vårt for partnerskap om bedriftsdata, eller CDP. Vi betaler selskaper for å lisensiere driftsdataene deres. Det kan omfatte intern dokumentasjon, prosjekthistorikk, CRM-oppføringer og prosessene folk følger for å få arbeidet gjort. For verdifulle datasett fra selskaper betaler vi over 2 millioner dollar, avhengig av dataene og partnerskapet.

Vi bruker dette materialet til å bygge realistiske miljøer for trening og evaluering. Tenk deg at du skal løse et kundeproblem: Du må kanskje se på kontohistorikken, finne den relevante retningslinjen og finne ut hva du skal gjøre. Et miljø som er bygd rundt denne arbeidsflyten, gir en modell et sted å øve på disse trinnene. Eksperter definerer oppgaven og hvordan man skal vurdere om den er løst på en vellykket måte. Denne tilbakemeldingen gjør miljøet nyttig for forsterkende læring.

Selskapene beholder eierskapet til de underliggende dataene sine. Vi blir enige om omfanget og kravene til håndtering, blant annet personvern, og klargjør dataene for den tiltenkte bruken.

Verdien ligger i erfaringen disse oppføringene gjenspeiler. CDP gir selskaper mulighet til å tjene penger på denne erfaringen, samtidig som det hjelper modeller med å lære å fungere i langt mer realistiske omgivelser.

Hvilke former for menneskelig dømmekraft eller ekspertise tror du vil være særlig vanskelige for KI-systemer å etterligne, selv etter hvert som modellene blir betydelig mer kapable?

Jeg tror menneskelig smak og kreativitet er områder der modeller vil få særlig store utfordringer. Det skyldes måten vi lager treningsdata på.

For mange oppgaver kan vi samle eksperter og få dem til å bli enige om hva som kjennetegner et godt resultat. Det gir oss et nyttig signal å trene mot. Men hvis du spør folk hva som gjør et bilde flott, en film god eller et design overbevisende, kan meningene deres sprike mer og mer jo mer de diskuterer det. Det finnes ikke alltid ett svar de kan enes om.

KI kan likevel bli svært nyttig på disse områdene. Men å avgjøre hva du vil skape, hvem det er for, og om det faktisk treffer målgruppen, krever mye menneskelig dømmekraft. Jeg tror denne dømmekraften blir enda viktigere etter hvert som verktøyene gjør det enklere å produsere ting.

Du ser at stadig flere fagfolk betrakter trening og evaluering av KI som seriøst faglig arbeid, ikke bare som en bijobb. Kan dette utvikle seg til en helt ny kategori sysselsetting, og hvordan kan slike karrierer se ut?

Absolutt. Dette er allerede en ny arbeidskategori verdt flere milliarder dollar. Eksperter bruker kunnskapen de har opparbeidet seg gjennom karrieren til å bidra til trening og evaluering av KI. For noen blir dette en betydelig del av arbeidslivet.

Selve arbeidet kan være svært krevende. En jurist kan lage et vanskelig scenario og definere hvordan modellens svar skal vurderes. En ingeniør kan utforme en oppgave der en agent skal gjennomføre en hel programvarearbeidsflyt. I tillegg har du folk som gjennomgår dataene, forbedrer evalueringskriteriene og leder team av eksperter. Arbeidet kan også gi folk større rom til å konsentrere seg om det som i utgangspunktet trakk dem til fagfeltet. I de fleste jobber går mye tid med til administrative oppgaver og forpliktelser som ligger utenfor arbeidet folk opplever som mest meningsfylt. Ved å trene KI innenfor fagområdet sitt kan de sette ekspertisen sin i sentrum for arbeidet: løse vanskelige problemer, bruke dømmekraften sin og dele det erfaringen har lært dem. Det gir dem mulighet til å bruke mer tid på det de bryr seg om og er best til, samtidig som de bidrar til å forme hvordan KI går fram i dette arbeidet.

Jeg tror vi kommer til å se at det utvikler seg reelle karriereveier på alle disse områdene. Du kan bli svært dyktig til å omsette fagkompetansen din til treningsdata, eller til å drifte en datapipeline og forstå hvor modeller trenger hjelp. Dette er verdifulle ferdigheter, og vi er fortsatt helt i startfasen når det gjelder å finne ut hvordan alle disse rollene kommer til å se ut.

Når selskaper rekrutterer leger, jurister, ingeniører, forskere og andre spesialister for å forbedre KI-modeller, hvordan kontrollerer dere ekspertisen deres og sørger for at treningsdataene som kommer ut av dette, er nøyaktige og konsistente?

Vi har bygd et helt system rundt dette. Det begynner med Zara, KI-rekruttereren vår, som hjelper oss med å finne og vurdere eksperter med ferdighetene et prosjekt krever. Deretter hjelper verktøyet vårt Merit oss med å følge med på kvaliteten, hastigheten og påliteligheten i bidragene deres over tid. Vi må forstå både hvilken ekspertise en person har, og hvordan den kommer til uttrykk i dataene vedkommende produserer.

Plattformen vår flow samler ekspertarbeidet med modellene vi har bygd for å støtte generering og gjennomgang av data. Ekspertene definerer oppgavene og hva som kjennetegner et godt resultat. Deretter bidrar flow gen til å utvide utgangspunktet med nye eksempler og variasjoner. flow qc kontrollerer dataene for problemer som manglende dokumentasjon eller manglende samsvar mellom en oppgave og vurderingskriteriene for den. Og flow grader evaluerer hvordan modellen presterer målt mot disse kriteriene.

Det viktigste er hva som skjer når en ekspert oppdager en feil. Korrigeringen kan forbedre treningsdataene, men den kan også hjelpe oss med å forbedre selve generatorene og kvalitetskontrollene. Vi kan gjøre gjentakende feil om til tester for neste versjon.

Dette er det selvforsterkende kretsløpet for syntetiske data vi bygger. Menneskelig ekspertise gir oss utgangspunktet og dømmekraften. Verktøyene våre hjelper oss med å skalere arbeidet, og tilbakemeldinger fra eksperter bidrar til å forbedre neste runde. Deretter tester vi om disse endringene faktisk gir bedre modellprestasjoner. Det er dette som gjør kretsløpet verdifullt.

AI-agenter må i stadig større grad utføre komplekse oppgaver i flere trinn, i stedet for bare å generere svar. Hvordan skiller det seg å trene og evaluere disse systemene fra arbeidet med å forbedre tradisjonelle store språkmodeller?

Den store forskjellen er hvor lang oppgaven er. En agent kan måtte utføre mange handlinger på tvers av ulike verktøy før den kommer fram til et nyttig resultat. Den kan gjøre de første stegene godt og likevel mislykkes med hele oppgaven fordi feilene bygger på hverandre.

Derfor trenger vi miljøer der modellen kan øve på hele arbeidsflyten, og evalueringer som viser oss hvor det svikter. Fant den riktig informasjon? Brukte den verktøyet riktig? Kom den faktisk fram til resultatet vi ønsket?

Så kommer konteksten i den enkelte virksomheten. En agent som arbeider i en bedrift, må forstå bedriftens prosesser og forventninger. Generell kompetanse bringer deg bare et stykke på vei.

Det er her domeneeksperter blir svært viktige. De hjelper oss med å finne årsakene til feilene og lage data som kan forbedre systemene. Man evaluerer, finner manglene, trener på dem og evaluerer på nytt. Denne prosessen fortsetter etter hvert som agenten får flere oppgaver.

Etter hvert som de mest avanserte modellene blir mer kapable, hvordan endrer typen menneskeskapt data de trenger seg, og hvilke former for ekspertise eller evaluering tror du vil bli betydelig mer verdifulle de neste årene?

To ting blir stadig viktigere: hvor lang oppgaven er, og hvor godt den gjenspeiler virkeligheten. Etter hvert som modellene blir bedre, dreier nyttige treningsdata seg i større grad om komplekse arbeidsflyter med flere beslutninger, mer kontekst og flere muligheter for å gjøre feil.

Det gjør operativ ekspertise svært verdifull. En person som har utført en jobb i årevis, forstår unntakene og avhengighetene som er lette å overse når man utformer en oppgave utenfra. Personen kan også si om resultatet fra en agent faktisk ville fungert i virksomheten.

Jeg tror evaluering av løsninger for næringslivet over tid blir et enormt marked, potensielt på én billion dollar i året. Alle selskaper som tar i bruk agenter, må forstå hvor de fungerer, hvor de svikter, og hvordan de kan forbedres. De som kan omsette kunnskapen sin til nyttige evalueringer, vil stå sentralt i dette arbeidet. Behovet vil vedvare fordi selskapene, modellene og arbeidet stadig endrer seg.

Noen fagfolk kan i praksis bidra til å trene AI-systemer til å utføre deler av deres egne jobber. Hvordan tenker du om denne spenningen, og hvordan tror du forholdet mellom menneskelig ekspertise og AI vil se ut de neste tre til fem årene?

Jeg tror vi undervurderer hvor mye nytt arbeid folk vil skape når de får tilgang til disse verktøyene.

Ta rekruttering. Hvis en agent kan håndtere mer av den innledende utvelgelsen, kan en rekrutterer bruke mer tid på å bygge relasjoner med kandidater eller finne ut hvordan man kan tiltrekke seg folk selskapet ikke kunne nå tidligere. Rollen deres endrer seg, og de kan få gjort mer på like lang tid.

Jeg forventer noe lignende i mange yrker. De neste tre til fem årene vil agenter i stadig større grad bli medarbeidere som folk gir instruksjoner og kontekst til, og evaluerer. Folk vil ta på seg nye ansvarsområder etter hvert som dette skjer.

Derfor er jeg optimistisk. Vi ser allerede at det oppstår nye arbeidsoppgaver knyttet til opplæring og evaluering av AI, og jeg tror det kommer mye mer etter hvert som folk oppdager hva de kan bygge og oppnå med teknologien.

Takk for et flott intervju. Lesere som ønsker å lære mer om ekspertledede treningsdata, AI-evaluering og muligheter til å bidra med domenekunnskapen sin, bør besøke micro1.