Ali Ansari, grundare och vd för micro1 – intervjuserie

Ali Ansari är grundare och vd för micro1, där han fokuserar på att omvandla mänsklig expertis till träningsdata och utvärderingar för avancerade AI-system. Hans entreprenörsbakgrund omfattar att ha byggt upp en byrå för mjukvaruutveckling och grundat peerlinc innan han lanserade micro1 2022. Han studerade datavetenskap vid UC Berkeley och Stanford med inriktning på förstärkningsinlärning och arbetar nu med de system som behövs för att hitta, bedöma och samordna experters bidrag till AI-utvecklingen.

micro1 är ett datalabb som hjälper till att träna avancerade AI-modeller och utvärdera AI-agenter med hjälp av expertkunskap och realistiska arbetsmiljöer. Plattformen samlar rekrytering av specialister, dataproduktion, kvalitetsgranskning och modellutvärdering inom områden som juridik, hälso- och sjukvård, finans, teknik och vetenskap. I den här intervjun talar Ansari om varför efterfrågan på mänsklig expertis ökar, hur operativa data stöder förstärkningsinlärning och vilka karriärmöjligheter som växer fram inom AI-träning och utvärdering.

Du grundade micro1 2022 efter att tidigare ha byggt upp och sålt peerlinc. Vilket problem försökte du ursprungligen lösa, och hur utvecklades micro1 till ett företag med fokus på att träna och utvärdera avancerade AI-modeller?

Från början handlade det om ett problem i mitt eget företag. Jag drev en byrå för mjukvaruutveckling, och varje nytt projekt innebar att jag behövde hitta och intervjua fler ingenjörer. Jag lade en väldigt stor del av min tid på det. Därför byggde vi en AI-intervjuare, Zara, som skulle hjälpa till, och det blev så småningom micro1.

Vi började med att sälja rekryteringsprogramvara och bygga upp en marknadsplats med kvalitetssäkrade talanger. Sedan kom en kund till oss som behövde hundratals ingenjörer för att träna AI-modeller. Vi började undersöka varför kunden behövde så många personer och insåg att det fanns en enorm efterfrågan på mänsklig expertis bakom modellutvecklingen.

Vi hade redan ägnat flera år åt att utveckla vår förmåga att hitta och kvalitetssäkra människor i stor skala. Mänskliga data var en mycket kraftfull tillämpning av den infrastrukturen. Därför satsade vi helhjärtat, använde vår AI-rekryterare för att hitta och kvalitetssäkra experter och byggde upp andra dataplattformar och kvalitetssystem runt den. I dag hjälper vi AI-labb att omvandla den expertisen till bättre modellförmågor.

Du har hävdat att efterfrågan på mänsklig expertis faktiskt ökar i takt med att AI-modellerna blir mer kapabla, i stället för att försvinna. Vad är det som driver detta samband?

Det är ett par saker som händer. För det första ber vi modellerna att utföra svårare uppgifter i takt med att de blir bättre. En modell som kan besvara en fråga är användbar. En modell som kan hantera ett helt arbetsflöde är mycket mer användbar, men för att nå dit krävs betydligt mer expertkunskap.

För det andra fortsätter människor att skapa nya arbetsuppgifter. Om en jurist kan använda AI för mycket av det som fyller arbetsdagen får hen mer tid att ta sig an mer nyanserade problem eller utveckla en ny tjänst för klienter. Dessa helt nya funktioner blir sedan också sådant vi vill destillera in i modellerna. Det är det vi menar med ”ingen sista mil”. Arbetet fortsätter att utvecklas.

Syntetiska data gör det här ännu mer intressant. De kan användas för att bygga vidare på uppgifter och återkoppling som experter har skapat, vilket gör de ursprungliga mänskliga bidragen mer användbara. Jag tror att det är den kombinationen som gör att efterfrågan på mänsklig expertis fortsätter att öka i takt med modellernas förmåga.

micro1 samarbetar med ämnesexperter inom områden som juridik, hälso- och sjukvård, finans, teknik och vetenskap. Vad kan dessa yrkespersoner bidra med till AI-system som inte går att lära sig enbart från befintliga data på nätet?

Mycket av det som gör någon till en skicklig läkare, jurist eller ingenjör är det omdöme som personen har utvecklat genom sitt arbete. En del av det dokumenteras, men mycket märks i hur personen hanterar ett ovanligt fall, upptäcker att information saknas eller avgör vilken detalj som faktiskt spelar roll.

Det är oerhört värdefullt när modeller tränas. En expert kan skapa en svår uppgift, förklara hur ett bra resultat bör se ut och exakt identifiera var en modell brister. Ett svar kan låta mycket övertygande och ändå missa det som är viktigast för någon som arbetar inom yrket.

Vi behöver experter som kan göra sådana åtskillnader. Vi behöver också flera perspektiv och en gedigen granskningsprocess, eftersom en persons omdöme inte täcker in alla fall. Målet är att omvandla den erfarenheten till en signal som modellen kan lära sig av. Det finns också oerhört många nyanser inom varje område. Juridisk expertis är till exempel inte en enda sak: den varierar mellan olika rättsområden, mellan delstater eller jurisdiktioner och mellan olika länders rättssystem. Varje nivå kräver mer specialiserad kunskap och bättre omdöme. Samma djup finns inom alla områden och deras många underområden, vilket är anledningen till att vi behöver experter som förstår vad skillnaderna innebär i praktiken.

I takt med att branschen riktar allt större uppmärksamhet mot efterträning, förstärkningsinlärning och utvärdering, var ser du de största flaskhalsarna för att förbättra avancerade modeller i dag?

Jag tror att tillgången till realistiska data är en av de största flaskhalsarna. Företag har ägnat flera år åt att lösa problem, fatta beslut och hantera undantag, och den erfarenheten finns dokumenterad i deras dokument, system och arbetsflöden. Den är oerhört värdefull om man vill att en modell ska lära sig att utföra verkligt arbete.

Därför skapade vi programmet Company Data Partnerships, eller CDP. Vi betalar företag för licensrätt till deras operativa data. Det kan handla om intern dokumentation, projekthistorik, CRM-poster och de processer som medarbetarna följer för att få arbetet gjort. För värdefulla företagsdatamängder betalar vi över 2 miljoner dollar, beroende på dataunderlaget och partnerskapet.

Vi använder det materialet för att bygga realistiska miljöer för träning och utvärdering. Tänk dig att du ska lösa ett kundproblem: du kanske behöver granska kundens historik, hitta den relevanta policyn och avgöra vilken åtgärd du ska vidta. En miljö som bygger på det arbetsflödet ger en modell möjlighet att öva på de stegen. Experter definierar uppgiften och hur man bedömer om den har utförts framgångsrikt. Den återkopplingen gör miljön användbar för förstärkningsinlärning.

Företagen behåller äganderätten till sina underliggande data. Vi kommer överens om omfattningen och kraven på hantering, inklusive integritetsskydd, och förbereder data för det avsedda ändamålet.

Värdet ligger i erfarenheten som dessa uppgifter speglar. CDP ger företag möjlighet att tjäna pengar på den erfarenheten och samtidigt hjälpa modeller att lära sig arbeta i mycket mer realistiska miljöer.

Vilka former av mänskligt omdöme eller expertis tror du kommer att vara särskilt svåra för AI-system att återskapa, även när modellerna blir betydligt mer kapabla?

Jag tror att mänsklig känsla för kvalitet och kreativitet är områden som modeller kommer att ha särskilt svårt med. Det beror i grunden på hur vi skapar träningsdata.

För många uppgifter kan vi samla experter och få dem att enas om vad som kännetecknar ett bra resultat. Det ger oss en användbar signal att träna mot. Men om man frågar människor vad som gör en bild fantastisk, en film fantastisk eller en design fängslande, kan deras åsikter gå allt mer isär ju mer de diskuterar frågan. Det finns inte alltid ett enda svar att enas kring.

AI kan ändå bli mycket användbar inom de här områdena. Men att avgöra vad man vill skapa, vem det är till för och om det faktiskt berör människor kräver mycket mänskligt omdöme. Jag tror att det omdömet blir ännu viktigare när verktygen gör det enklare att skapa saker.

Du ser hur yrkesverksamma i allt högre grad betraktar AI-träning och -utvärdering som kvalificerat yrkesarbete snarare än ett extraknäck. Kan det här utvecklas till en helt ny kategori av arbeten, och hur skulle sådana karriärer kunna se ut?

Absolut. Det här är redan en ny kategori av arbete värd flera miljarder dollar. Experter använder den kunskap de har byggt upp under sina yrkesliv för att hjälpa till att träna och utvärdera AI. För vissa har det blivit en betydande del av arbetslivet.

Själva arbetet kan vara mycket kvalificerat. En jurist kan skapa ett svårt scenario och definiera hur modellens svar ska bedömas. En ingenjör kan utforma en uppgift där en agent tar sig igenom ett helt arbetsflöde inom programvara. Sedan finns det personer som granskar data, förbättrar utvärderingskriterierna och leder expertteam. Arbetet kan också ge människor större utrymme att fokusera på det som en gång lockade dem till deras yrkesområde. I de flesta jobb går mycket tid åt till administrativa uppgifter och åtaganden som ligger utanför det arbete som människor tycker är mest meningsfullt. Att träna AI inom sitt område kan sätta deras expertis i centrum för arbetet: att lösa svåra problem, tillämpa sitt omdöme och dela med sig av det erfarenheten har lärt dem. Det ger möjlighet att ägna mer tid åt sådant de bryr sig om och är bäst på, samtidigt som de bidrar till att forma hur AI tar sig an det arbetet.

Jag tror att det kommer att växa fram tydliga karriärvägar kring allt det här. Man kan bli mycket skicklig på att omvandla sin ämnesexpertis till träningsdata eller på att driva en datapipeline och förstå var modeller behöver hjälp. Det är värdefulla färdigheter, och vi har fortfarande bara börjat förstå hur alla de här rollerna kommer att se ut.

När företag rekryterar läkare, jurister, ingenjörer, forskare och andra specialister för att förbättra AI-modeller, hur verifierar ni deras expertis och säkerställer att träningsdata blir korrekt och konsekvent?

Vi har byggt upp ett helt system kring det här. Det börjar med Zara, vår AI-rekryterare, som hjälper oss att hitta och granska experter med de färdigheter som ett projekt kräver. Sedan hjälper vårt verktyg Merit oss att följa kvaliteten, snabbheten och tillförlitligheten i deras bidrag över tid. Man behöver förstå både någons expertis och hur den omsätts i data som personen producerar.

Vår flow-plattform sammanför experternas arbete med de modeller vi har byggt för att stödja datagenerering och granskning. Experterna definierar uppgifterna och vad som kännetecknar ett bra resultat. Därefter hjälper flow gen till att utöka den utgångspunkten med nya exempel och varianter. flow qc kontrollerar data efter problem, till exempel saknade belägg eller en bristande överensstämmelse mellan en uppgift och dess bedömningskriterier. Och flow grader utvärderar hur modellen presterar utifrån de kriterierna.

Det viktiga är vad som händer när en expert upptäcker ett misstag. Korrigeringen kan förbättra träningsdata, men den kan också hjälpa oss att förbättra själva generatorerna och kvalitetskontrollerna. Vi kan omvandla återkommande misstag till tester för nästa version.

Det är den självgenererande spiral av syntetiska data som vi bygger upp. Mänsklig expertis ger oss en utgångspunkt och ett omdöme att utgå från. Våra verktyg hjälper oss att skala upp arbetet, och experternas återkoppling bidrar till att förbättra nästa cykel. Sedan testar vi om förändringarna faktiskt leder till bättre modellprestanda. Det är det som gör den här återkopplingsloopen värdefull.

AI-agenter behöver i allt högre grad utföra komplexa uppgifter i flera steg i stället för att bara generera svar. Hur skiljer sig träningen och utvärderingen av de här systemen från arbetet med att förbättra traditionella stora språkmodeller?

Den stora skillnaden är hur lång uppgiften är. En agent kan behöva utföra många åtgärder med olika verktyg innan den når ett användbart resultat. Den kan klara de första stegen bra och ändå misslyckas med hela uppgiften, eftersom felen byggs på varandra.

Därför behöver vi miljöer där modellen kan öva på hela arbetsflödet och utvärderingar som visar var den går bet. Hittade den rätt information? Använde den verktyget på rätt sätt? Nådde den faktiskt det resultat vi ville ha?

Sedan har vi också företagets egen kontext. En agent som arbetar inom ett företag måste förstå företagets processer och förväntningar. Generell förmåga räcker bara en bit på vägen.

Det är där domänexperterna blir riktigt viktiga. De hjälper oss att diagnostisera bristerna och ta fram data för att åtgärda dem. Man utvärderar, hittar luckorna, tränar modellen utifrån dem och utvärderar igen. Processen fortsätter i takt med att agenten får fler arbetsuppgifter.

I takt med att de mest avancerade modellerna blir mer kapabla, hur förändras den typ av människoskapade data de behöver, och vilka former av expertis eller utvärdering tror du kommer att bli betydligt mer värdefulla under de närmaste åren?

Två saker blir allt viktigare: hur lång uppgiften är och hur väl den återspeglar verkligheten. I takt med att modellerna blir bättre går användbara träningsdata alltmer mot komplexa arbetsflöden med fler beslut, mer kontext och fler tillfällen att göra fel.

Det gör praktisk yrkeserfarenhet mycket värdefull. Den som har arbetat med ett yrke i flera år förstår undantagen och beroendena som är lätta att förbise när man utformar en uppgift utifrån. Personen kan också avgöra om en agents resultat faktiskt skulle fungera inom företaget.

Jag tror att utvärdering av företagslösningar blir en enorm marknad med tiden, potentiellt värd en biljon dollar om året. Alla företag som använder agenter behöver förstå var de fungerar, var de misslyckas och hur de kan förbättras. De som kan omvandla sin kunskap till användbara utvärderingar kommer att spela en central roll. Behovet kommer att bestå eftersom företagen, modellerna och arbetet hela tiden förändras.

Vissa yrkesverksamma kan i praktiken bidra till att träna AI-system att utföra delar av deras egna jobb. Hur ser du på den målkonflikten, och hur tror du att förhållandet mellan mänsklig expertis och AI kommer att se ut under de kommande tre till fem åren?

Jag tror att vi underskattar hur mycket nytt arbete människor kommer att skapa när de får tillgång till de här verktygen.

Ta rekrytering som exempel. Om en agent kan hantera en större del av det inledande urvalet kan en rekryterare lägga mer tid på att bygga relationer med kandidater eller fundera på hur man kan nå personer som företaget inte kunde nå tidigare. Rollen förändras, och rekryteraren kan få mer gjort på samma tid.

Jag tror att något liknande kommer att ske inom många yrken. Under de kommande tre till fem åren blir agenter i allt högre grad kollegor som människor styr, ger kontext och utvärderar. I takt med den utvecklingen får människor nya ansvarsområden.

Det är därför jag är optimistisk. Vi ser redan nya arbetsuppgifter växa fram kring träning och utvärdering av AI, och jag tror att mycket mer kommer att tillkomma när människor upptäcker vad de kan bygga och åstadkomma med tekniken.

Tack för en givande intervju. Läsare som vill veta mer om expertledd träning av data, AI-utvärdering och möjligheter att bidra med sin ämneskunskap kan besöka micro1.