Rob May, administrerende direktør og medstifter af NeuroMetric – Interviewserie

Rob May, administrerende direktør og medstifter af NeuroMetric, er en erfaren iværksætter og investor med en lang karriere, der spænder over cloud computing, AI-startups og venturekapital, og som i øjeblikket leder Neurometric AI samt fungerer som Managing Director i HalfCourt Ventures, hvor han har støttet over 100 teknologivirksomheder. Ud over sine operative og investeringsroller har han medstiftet AI Innovators Community og tidligere bygget og afhændet virksomheder som Backupify, hvilket afspejler en dyb erfaring på tværs af multiple teknologicykler. Han er også bredt kendt for sin langvarige Investing in AI-nyhedsbrev, som han begyndte at skrive for over et årti siden for at analysere fremvoksende AI-trends, investeringsstrategier og markedsskift, og som siden er udviklet til en platform for dybere indsigt i den hurtigt udviklende AI-landskab.

NeuroMetric AI fokuserer på at løse en af de mest kritiske udfordringer i kunstig intelligens i dag: omkostningerne og effektiviteten af inferens i stor skala. Platformen vurderer dynamisk AI-arbejdsbyrder og anvender optimeringsstrategier – såsom kombination af mindre, specialiserede modeller med avancerede test-tid beregningsmetoder – for at forbedre ydelsen, samtidig med at omkostningerne reduceres dramatisk, og det muliggør for virksomheder at opnå bedre avkastning fra AI-udrulninger. Ved at koordinere arbejdsbyrder og tilpasse modelbrug til bestemte opgaver, sigter Neurometric mod at gøre AI-systemer betydeligt hurtigere og mere overkommelige, og positionerer sig selv i skæringspunktet mellem AI-infrastruktur, effektivitet og virkelystisk skalerbarhed, da organisationer bevæger sig fra eksperimenter til produktion.

Du har stiftet og ledet multiple AI-virksomheder, investeret i over 100 startups gennem HalfCourt Ventures, og tidligere bygget og afhændet Backupify. Hvordan har disse erfaringer formet din perspektiv på, hvor varig værdi skabes i AI i dag?

Jeg tror, at de fleste investorer og iværksættere jagter korte moater – ting, der ligner åbenlyse huller på markedet i dag, men huller, der hurtigt vil blive lukket af eksisterende virksomheder. AI vil gøre, at drift af en virksomhed kollapser til en række probabilistiske beslutninger. De virksomheder, man skal investere i eller bygge, er dem, der har de bedste samlede estimater af disse sandsynligheder. Nogle gange kommer det fra vertikal integration, og nogle gange fra horisontal skala – det afhænger af markedet.

I dit Investing in AI-nyhedsbrev har du argumenteret for, at modeller bliver mere udskiftelige, og at den virkelige defensibilitet skifter til systemlaget. Hvad ligner en sand “systemmoat” i praksis?

En sand systemmoat har tre egenskaber: den akkumulerer med brug, den er specifik for kunden, og den kan ikke replikeres ved at bytte til en bedre model.

Defensibilitet lever i, hvad jeg kalder et “System af Kontekst” – en integreret arkitektur, der forbinder grundlæggende modeller til alt, der gør en virksomhed unik: dens data, arbejdsgange, domæneviden, beslutningshistorik. Systemet fanger signal fra hver interaktion – hvilke modeller lykkes med hvilke opgaver, hvor ventetid er vigtig, hvilke virksomhedsspecifikke mønstre opstår – og føder det tilbage til forbedring af sig selv.

Nøgleinsigtet er, at dette skaber en multiplikativ flywheel, ikke en additiv. Du akkumulerer ikke bare en søgbart log over tidligere beslutninger. Du genererer træningssignal, der producerer specialiserede modeller, der forbedrer routing, hvilket fanger mere værdifuld data. Moaten udvides med hver inferens.

I praksis ligner en systemmoat dyb arbejdsgangsintegration, hvor omkostningerne ved at skifte ikke handler om API’er – men om at omskrive forretningslogik. Den ligner proprietær kontekst, som ingen konkurrent kan replikere, fordi den blev genereret gennem måneder af produktionsbrug inden for en specifik virksomhed. Og den ligner den kontinuerte specialiseringsloop, hvor systemet bliver væsentligt bedre for denne kunde på måder, en generisk modeludbyder aldrig vil.

Modelæraen gav os den rå kapacitet. Systemæraen er, hvor kapaciteten bliver til virkelystisk værdi.

Hvordan skal virksomheder tænke, når de bygger en multi-model-strategi, herunder routing-logik, eskalationsveje og kontinuerlig evaluering, i stedet for at stole på en enkelt frontmodel?

Det første, virksomhederne skal internalisere, er, at “bare brug den bedste model” er en tabende strategi i stor skala. Det er ligesom at køre hver forespørgsel gennem din mest erfarne ingeniør. Det er dyrt, det er langsomt, og – modsat hvad man kunne forvente – producerer det ofte ikke de bedste resultater.

Dette handler om, hvad jeg kalder Jagged Frontier of Inference: modelpræstation er opgave-specifik og uforudsigelig. Frontmodeller taber til mindre, specialiserede modeller på specifikke opgaver hele tiden. Vi har set, at sammensatte multi-model-systemer rammer 72,7% nøjagtighed på CRM-opgaver, hvor frontmodeller scorede 58%. Præstationsfladen korrelerer ikke pænt med parameterantal. Så det virkelige spørgsmål er ikke “hvilken model er bedst?” – men “hvilken model er bedst for denne specifikke underopgave?”

Denne omformulering er grundlaget for en rigtig multi-model-strategi. Her er, hvordan jeg ville fortælle virksomheder at tænke over det i tre lag.

Routing-logik starter med at kortlægge dit inferens-landskab. Katalogiser hver punkt i dit system, hvor en LLM-opkald foretages, og for hvert af dem dokumenter opgavetype, ind-/udgangskompleksitet, ventetidskrav, nøjagtighedstrøskel og opkaldsvolumen. Det giver dig en varme-kort. Du vil hurtigt finde, at det meste af dit volumen er højfrekvent, snævert arbejde – klassificering, enheds-ekstraktion, intention-routing, skabelon-generering – hvor en fintuned mindre model matcher eller slår frontmodellen til en brøkdel af omkostningerne. Reserver dine dyre frontmodeller til opgaver, der virkelig kræver kompleks tænkning. En agent, der foretager 50 opkald per opgave, har ikke brug for GPT-4 til alle 50.

Eskalationsveje handler om at bygge intelligente fallbacks, ikke kun failover. Systemet skal kunne genkende, når en mindre model returnerer lavt-tilfredshedsresultater, og eskalere til en mere kapabel model – eller til en anden model-strategi-kombination helt. Dette er, hvor test-tid beregningsstrategier kommer ind. Nogle gange er det rigtige svar ikke en større model – men den samme model med chain-of-thought, beam search eller best-of-N sampling. Den optimale konfiguration ændrer sig ikke kun efter model, men også efter den tænke-algoritme, du parer med den.

Kontinuerlig evaluering er det stykke, de fleste virksomheder helt mangler, og det er, hvor den virkelige defensibilitet opstår. Modelvalg er ikke en enkelt beslutning – det er et kontinuerligt optimeringsproblem. Nye modeller udgives konstant, dine brugstilfælde udvikler sig, og præstationen forringes på måder, der fejler stille. Du vil ikke vide, at din kundeservice-bot gav et 40% dårligere svar, fordi du brugte den forkerte model til den forespørgselstype – du vil bare se churn tre måneder senere. Du har brug for infrastruktur, der kontinuerligt måler, hvad der virkelig virker over model-opgave-kombinationer, og justerer routing baseret på rigtige præstationsdata, ikke benchmarks.

Grunden til, at de fleste virksomheder ikke har foretaget dette skift, er, at ingen bliver fyret for at vælge frontmodellen – det er “ingen bliver fyret for at købe IBM” af AI. Leverandør-økosystemmet skyder frontmodellen, fordi det er, hvor marginalerne er. Og den orkestreringsinfrastruktur, der kræves til at køre en multi-model-arkitektur – routing-logik, fallback-mekanismer, modelstyring, overvågning – findes simpelthen ikke hos de fleste virksomheder. De er fastlåst i et lokalt optimum, hvor omkostningerne ved at skifte og usikkerheden omkring multi-model føles højere end den fortsatte overforbrug på frontmodellen.

Hvad er de største fejl, du ser virksomheder begå, når de bevæger sig fra AI-piloter til produktionsklare systemer?

De antager, at deres valg kan være statiske og langvarige. I virkeligheden ændrer hver lag af teknologi-stakken for AI sig hurtigt. Virksomheder skal træffe beslutninger, der giver optioner og fleksibilitet.

I hvilke arbejdsgange har du set mindre, opgave-specifikke modeller overgå store frontmodeller, og hvorfor er det strategisk vigtigt?

Vi har set det i næsten hver almindelig daglig arbejdsopgave – ting som grundlæggende regnskab, tekst-sammenfatning, enheds-ekstraktion fra forskellige dokumenter. Vi har udforsket SLM’er for hundredvis af arbejdsopgaver, og de vinder næsten altid, hvis problemet er struktureret korrekt.

Du har skrevet om den faldende marginale omkostning ved at udrulle AI i nye brugstilfælde. Hvordan ændrer det den langevarende økonomi for AI-adopterende virksomheder?

Boblen-beretningen antager, at AI-indtægt kræver proportionel R&D-investering i nye modeller. Det gør det ikke. Modellerne er bygget. Infrastrukturen findes. Hver yderligere brugstilfælde er en prompt, en data-forbindelse, måske nogen let fintuning – ikke endnu en 100M-dollars træningsløb. Den marginale omkostningskurve bøjer nedad, efterhånden som platformen modnes.

Dette er det modsatte af jernbaner eller telekommunikation, hvor hver ny mile jernbane var dyrt. I AI var bygningen af motoren dyrt. At tilslutte ting til motoren er billigt, og bliver billigere – inferens-omkostninger er faldet cirka 1.000 gange på to år. Spørgsmålet for virksomheder er ikke, om AI betaler sig. Det er, hvor mange brugstilfælde du kan stable på den samme infrastruktur, før indtægtskurven overvælder omkostningskurven.

Hvilke signaler skal tekniske hold bruge til at bestemme, hvornår de skal skifte modeller, fintune eller bygge specialiserede små opgave-modeller?

Signalerne er ikke nødvendigvis tekniske. De er mere præstations- eller økonomisk drevne. For eksempel kan skiftning af model, fintuning af model eller bygning af en brugerdefineret SLM alle virke. Beslutningen afhænger af, om du optimerer for ventetid eller omkostning, hvor hyppigt opgaven udføres, og hvor lang tid det tager at bygge og udrulle hver løsning.

Hvordan designer du sikkerhedsforanstaltninger, overvågning og styre på en måde, der faktisk skalerer med brugen i stedet for at blive en flaskehals?

Fejlen, de fleste virksomheder begår, er at behandle styre som en checkpoint – en manuel gennemgangslag boltet på toppen af AI-arbejdsgange. Det skalerer ikke. Det bliver flaskehalsen, øjeblikket brugen øges.

Styre skal være indbygget i orkestreringslaget selv. Når din routing-infrastruktur allerede vurderer hver inferens-opkald – hvilken model, hvilken opgave, hvilket tillidshøjde – er tilføjelse af sikkerhedsforanstaltninger en marginal omkostning, ikke et nyt system. Det samme lag, der beslutter, hvilken model håndterer en forespørgsel, kan gennemtvinge politik: PII-filtrering før opkaldet, output-validering efter, revisions-spor automatisk fanget, omkostnings-allokering efter afdeling.

Nøgleinsigtet er, at virksomheder ikke fejler inden AI-systemer. De fejler mellem dem – i håndover, eskalationer og undtagelser. Styre, der skaler, ligner en kontrol-plan, der gør hver AI-handling sikker, gennemskuelig og gentagelig som en biprodukt af udførelse, ikke en hindring for den.

Du har sammenlignet dagens AI-landskab med overgangen fra mainframes til PC’er. Hvad betyder denne decentralisering for startups, der bygger i systemlaget?

Vi er i mainframe-fasen af AI lige nu. Store, centraliserede frontmodeller fra OpenAI, Anthropic og Google (GOOGL ) var nødvendige for at fokusere indsatsen og demonstrere, hvad AI kunne gøre. Denne fase fungerede. Kapaciteterne er velkendte. Men ligesom computing ikke forblev centraliseret, vil AI heller ikke. Vi er ved at gå ind i PC-æraen – et decentraliseret økosystem, hvor mindre, specialiserede modeller kører tættere på arbejdet.

Udgifternes data afspejler allerede dette. Virksomhedens AI-investering er nu fordelt næsten ligeligt mellem infrastruktur og applikationer, og applikations-andelen vokser hurtigere. Udvidelsen er lateral – på tværs af HR, juridisk, marketing, drift, finans – ikke vertikal ind i større modeller.

For startups, der bygger i systemlaget, er dette generationens chance. I en centraliseret verden kaprer model-udbyderen det meste af værdien. I en decentraliseret verden migrerer værdi til de virksomheder, der løser orkestrering, routing, evaluering og specialisering – de operative udfordringer ved at udrulle et heterogent model-økosystem i stor skala.

Min projection er, at cirka 25% af AI-inferens vil kræve frontmodeller. Disse virksomheder vil være fine – det er et par billioner i TAM. Men 75% vil køre på open-source og små specialiserede opgave-modeller. Vi trænede en 4-milliard-parameter-model, der slog frontmodeller på en specifik CRM-opgave, og det er så billigt at køre, at det næsten er gratis. Det er fremtiden – og det kræver et helt nyt systemlag til at styre det.

Analogien holder hele vejen igennem: mainframe-virksomhederne gjorde det fint, men den virkelige rigdomsskabelse skete i PC-økosystemet. Det samme vil være sandt i AI.

Set fem år frem, tror du, at frontmodel-udbydere vil kapre det meste af værdien, eller vil den største økonomiske effekt komme fra orkestrering, optimering og anvendte systemer bygget omkring dem?

Jeg tror, at AI-inferens-markedet vil være et af de største markeder i verdenshistorien. Det betyder, at frontmodel-laboratorierne vil gøre utroligt godt, og der vil stadig være massive muligheder for virksomhederne, der bygger omkring dem. Når du har trillion-dollars-markeder, kan løsning af små kant-tilfælde i disse markeder blive til billion-dollars-virksomheder.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge NeuroMetric AI, eller de skal abonnere på Investing in AI-nyhedsbrevet.