Rob May, CEO og medgrunnlegger av NeuroMetric – Intervju-serie

Rob May, CEO og medgrunnlegger av NeuroMetric, er en erfaren entrepreneur og investor med en lang erfaring som spenner over skytjenester, AI-startups og venturekapital, og leder for tiden NeuroMetric AI samt fungerer som Managing Director i HalfCourt Ventures, hvor han har støttet over 100 teknologiselskaper. Ved siden av sine operative og investeringsroller, var han med å grunnlegge AI Innovators Community og bygget og solgte tidligere selskaper som Backupify, noe som viser stor erfaring over flere teknologisykluser. Han er også bredt kjent for sin langvarige Investing in AI-nyhetsbrev, som han startet for over ett tiår siden for å analysere fremvoksende AI-trender, investeringsstrategier og markedsskift, og som har utviklet seg til en plattform for dypere innsikt i den raskt utviklende AI-landskapet.

NeuroMetric AI fokuserer på å løse en av de mest kritiske utfordringene i kunstig intelligens i dag: kostnaden og effektiviteten ved inferens i stor skala. Plattformen vurderer dynamisk AI-arbeidsbelastninger og anvender optimeringsstrategier – slik som å kombinere mindre, spesialiserte modeller med avanserte test-tid beregningsmetoder – for å forbedre ytelsen samtidig som kostnadene reduseres dramatisk, og muliggjør at bedrifter kan oppnå bedre avkastning fra AI-utviklinger. Ved å koordinere arbeidsbelastninger og tilpasse modellbruk til bestemte oppgaver, har NeuroMetric som mål å gjøre AI-systemer betydelig raskere og mer rimelige, og posisjonerer seg på skjæringspunktet mellom AI-infrastruktur, effektivitet og reell skalerbarhet når organisasjoner flytter fra eksperimentering til produksjon.

Hva har dine erfaringer fra å grunnlegge og lede flere AI-selskaper, investere i over 100 startups gjennom HalfCourt Ventures, og tidligere bygge og selge Backupify, lært deg om hvor varig verdi skapes i AI i dag?

Jeg tror at de fleste investorer og entreprenører jakter på korte sikt moater – ting som ser ut som åpenbare hull i markedet i dag, men hull som raskt vil bli lukket av eksisterende selskaper. AI vil gjøre det å drive en bedrift kollapse til en rekke probabilistiske beslutninger. Selskapene å investere i eller bygge, er de som har de beste totale estimatene av disse sannsynlighetene. Noen ganger vil dette komme fra vertikal integrasjon og noen ganger fra horisontal skala – det avhenger av markedet.

I ditt Investing in AI-nyhetsbrev har du argumentert for at modellene blir stadig mer utskiftbare og at den virkelige forsvarbarheten flytter seg til systemlaget. Hva ser en sann “systemmoat” ut som i praksis?

En sann systemmoat har tre egenskaper: den akkumulerer med bruk, den er spesifikk for kunden, og den kan ikke replikeres ved å bytte inn en bedre modell.

Forsvarbarheten bor i det jeg kaller et “System av Kontekst” – en integrert arkitektur som kobler grunnmodeller til alt som gjør et selskap unikt: dens data, arbeidsflyter, domenekunnskap, beslutningshistorikk. Systemet fanger signal fra hver interaksjon – hvilke modeller lykkes i hvilke oppgaver, hvor forsinkelse betyr noe, hvilke mønster oppstår i bedriftens data – og fôrer dette tilbake til å forbedre seg selv.

Hvordan bør bedrifter tenke når de skal bygge en multi-modell-strategi, inkludert routingslogikk, eskalasjonsveier og kontinuerlig evaluering, i stedet for å stole på en enkelt frontmodell?

Det første bedriftene må internalisere er at “bare bruke den beste modellen” er en tapende strategi i stor skala. Det er ekvivalent med å kjøre hver spørring gjennom din mest erfarne ingeniør. Det er dyrt, det er langsomt, og – motsatt hva man kunne tro – produserer det ofte ikke de beste resultater.

Hva er de største feilene du ser at selskaper gjør når de flytter fra AI-piloter til produksjonsklare systemer?

De antar at deres valg kan være statiske og varige. I virkeligheten endrer hver lag i teknologistaken for AI seg raskt. Selskaper må ta beslutninger som gir valgmuligheter og fleksibilitet.

Hva er signalene tekniske team bør bruke for å bestemme når de skal bytte modell, finjustere eller bygge spesialiserte små oppgave-modeller?

Signalene er ikke nødvendigvis tekniske. De er mer ytelses- eller økonomisk drevne. For eksempel kan bytte av modell, finjustering eller bygging av en tilpasset SLM fungere. Beslutningen avhenger av om du optimaliserer for forsinkelse eller kostnad, hvor ofte oppgaven utføres, og hvor lenge det tar å bygge og distribuere hver løsning.

Hvordan designer du sikkerhetsforanstaltninger, overvåking og styring på en måte som skalerer med bruk i stedet for å bli en flaskehals?

Feilen de fleste bedrifter gjør er å behandle styring som en kontrollpunkt – en manuell gjennomgangslag boltet på toppen av AI-arbeidsflyter. Det skalerer ikke. Det blir flaskehalsen så snart bruken øker.

Styring må være integrert i orkestreringslaget selv. Når routingsinfrastrukturen allerede vurderer hver inferensanrop – hvilken modell, hvilken oppgave, hva konfidensnivå – er å legge til sikkerhetsforanstaltninger en marginal kostnad, ikke en ny system. Samme lag som bestemmer hvilken modell som håndterer en spørring kan påtvinge politikk: PII-filtrering før anrop, utgangsvalidering etter, audittspor fanget automatisk, kostallokering etter avdeling.

Du har sammenlignet dagens AI-landskap med overgangen fra stormaskiner til PC-er. Hva betyr denne desentraliseringen for startups som bygger i systemlaget?

Vi er i stormaskin-fasen av AI nå. Store, sentraliserte frontmodeller fra OpenAI, Anthropic og Google (GOOGL ) var nødvendige for å fokusere innsatsen og demonstrere hva AI kunne gjøre. Den fasen fungerte. Evnene er godt forstått. Men likevel som datatjenestene ikke ble sentralisert, vil AI heller ikke bli det. Vi går inn i PC-æraen – et desentralisert økosystem hvor mindre, spesialiserte modeller kjører nærmere arbeidet.

Ser du på fem år, tror du at frontmodell-leverandører vil fange mesteparten av verdien, eller vil størsteparten av den økonomiske effekten komme fra orkestrering, optimalisering og anvendte systemer bygget rundt dem?

Jeg tror at AI-inferensmarkedet vil være ett av de største markedene i verdenshistorien. Det betyr at frontmodell-laboratoriene vil gjøre utrolig godt og det vil fortsatt være massive muligheter for selskapene som bygger rundt dem. Når du har marked på over en billion dollar, kan løsning av små kanter i disse markedene bli til billion dollar-selskaper.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke NeuroMetric AI, eller abonnere på Investing in AI-nyhetsbrevet.