Jay Dawani er medstifter og administrerende direktør i Lemurian Labs – Interviewserie

Jay Dawani er medstifter og administrerende direktør i Lemurian Labs. Lemurian Labs har til formål at levere billige, tilgængelige og effektive AI-computere, drevet af overbevisningen om, at AI ikke skal være en luksus, men et værktøj, der er tilgængeligt for alle. Stifterholdet i Lemurian Labs kombinerer ekspertise i AI, compilere, numeriske algoritmer og computerarkitektur, forenet af et enkelt formål: at genopfinde accelereret computing.

Kan du fortælle os om din baggrund og hvad der fik dig til at gå ind i AI?

Absolut. Jeg havde været programmerer siden jeg var 12 og bygget mine egne spil og sådan, men jeg kom faktisk ind i AI, da jeg var 15, på grund af en ven af min fars, der var interesseret i computere. Han fik min nysgerrighed til at blomstre og gav mig bøger at læse, såsom Von Neumanns “The Computer and The Brain”, Minskys “Perceptrons”, Russel og Norvigs “AI A Modern Approach”. Disse bøger påvirkede min tænkning meget, og det føltes næsten åbenlyst, at AI ville være transformerende, og jeg havde bare lyst til at være en del af dette felt.

Da det blev tid til at gå på universitet, ønskede jeg virkelig at studere AI, men jeg fandt ikke nogen universiteter, der tilbød det, så jeg besluttede at læse anvendt matematik i stedet, og lidt efter jeg kom på universitetet, hørte jeg om AlexNets resultater på ImageNet, hvilket var virkelig spændende. På det tidspunkt havde jeg et nu-eller-aldrig-øjeblik i mit hoved og gik fuldt ud i at læse hver eneste artikel og bog, jeg kunne få fat i, relateret til neurale netværk, og søgte efter alle ledere i feltet for at lære af dem, for hvor ofte får man mulighed for at være der ved fødslen af en ny industri og lære af dens pionerer?

Meget hurtigt gik det op for mig, at jeg ikke nyder forskning, men jeg nyder at løse problemer og bygge AI-aktiverede produkter. Det førte mig til at arbejde med autonome biler og robotter, AI til materialeopdagelse, generative modeller til multi-fysiksimuleringer, AI-baserede simuleringer til træning af professionelle racerkørere og hjælp til bilindstillinger, rumrobotter, algoritme-baseret handel og meget mere.

Nu, efter at have gjort alt dette, forsøger jeg at indfange omkostningerne ved AI-træning og -installationer, for det vil være den største forhindring, vi står overfor på vores vej til at aktivere en verden, hvor hver person og virksomhed kan have adgang til og drage fordel af AI på den mest økonomiske måde.

Mange virksomheder, der arbejder med accelereret computing, har stiftere, der har bygget karrierer i halvledere og infrastruktur. Hvordan tror du, din tidligere erfaring i AI og matematik påvirker din evne til at forstå markedet og konkurrere effektivt?

Jeg tror faktisk, at ikke at komme fra branchen giver mig fordelene ved at være en outsider. Jeg har fundet, at det ofte er tilfældet, at ikke at have kendskab til branchenormer eller konventionel visdom giver en frihed til at udforske mere frit og gå dybere end de fleste andre ville, fordi man ikke er belastet af fordomme.

Jeg har friheden til at stille “dumme” spørgsmål og teste antagelser på en måde, som de fleste andre ikke ville, fordi mange ting er accepterede sandheder. I de sidste to år har jeg haft flere samtaler med folk inden for branchen, hvor de er meget dogmatiske omkring noget, men de kan ikke fortælle mig, hvorfra ideen kommer, hvilket jeg finder meget forbløffende. Jeg kan lide at forstå, hvorfor visse valg blev truffet, og hvilke antagelser eller betingelser der var på det tidspunkt, og om de stadig gælder.

Som følge af min baggrund i AI har jeg en tendens til at se på tingene fra en software-vinkel ved at se på, hvor arbejdsbyrden er i dag, og her er alle de mulige måder, de kan ændre sig over tid, og modellering af hele ML-pipeline til træning og slutning for at forstå flaskehalsene, hvilket fortæller mig, hvor mulighederne for at levere værdi er. Og fordi jeg kommer fra en matematisk baggrund, kan lide at modellere ting for at komme så tæt på sandheden som muligt, og have det til at guide mig.

Det ser ud til, at fremskridt i AI primært er kommet fra skaleringsmuligheder, hvilket kræver eksponentielt mere beregning og energi. Det ser ud til, at vi er i en kapløb med hver virksomhed, der forsøger at bygge den største model, og der synes ikke at være nogen ende i sigte. Tror du, der er en vej ud af dette?

Der er altid måder. Skaleringsmuligheder har vist sig at være ekstremt nyttige, og jeg tror ikke, vi har set enden på det endnu. Vi vil meget snart se modeller, der trænes med en omkostning på mindst en milliard dollars. Hvis du vil være en leder i generativ AI og skabe blødende æg foundation-modeller, skal du bruge mindst et par milliarder om året på beregning.

Der er naturlige grænser for skaleringsmuligheder, såsom at kunne konstruere en stor nok dataset til en model af den størrelse, få adgang til personer med den rette viden, og få adgang til nok beregning. Fortsat skaleringsmulighed for modelstørrelse er uundgåelig, men vi kan ikke omdanne hele jordens overflade til en planetskala supercomputer for at træne og betjene LLM’er af åbenlyse årsager.

Du er en tilhænger af first principles-tænkning, hvordan former dette din mindset for, hvordan du driver Lemurian Labs?

Vi anvender absolut first principles-tænkning på Lemurian. Jeg har altid fundet, at konventionel visdom er misvisende, fordi den viden blev dannet på et bestemt tidspunkt, hvor visse antagelser gjaldt, men ting ændrer sig altid, og man skal teste antagelser ofte, især når man lever i en så hurtigt skiftende verden.

Jeg stiller ofte spørgsmål som “det ser ud til at være en rigtig god idé, men hvorfor kan det ikke fungere”, eller “hvad skal være sandt for, at det kan fungere”, eller “hvad ved vi, der er absolutte sandheder, og hvilke antagelser gør vi, og hvorfor?”, eller “hvorfor tror vi, at denne tilgang er den bedste måde at løse dette problem på”. Målet er at underkende og dræbe idéer så hurtigt og billigt som muligt.

Kan du dele historien om, hvordan Lemurian Labs blev co-stiftet?

Historien begynder i begyndelsen af 2018. Jeg arbejdede på at træne en foundation-model til generel autonomi sammen med en model til generativ multi-fysiksimulering for at træne agenten og finjustere den til forskellige anvendelser, og nogle andre ting for at hjælpe med at skala til multi-agent-miljøer.

Du har tidligere talt om behovet for at tackle software først, når man bygger hardware, kan du uddybe dine synspunkter på, hvorfor hardware-problemet i første række er et software-problem?

Det, som mange mennesker ikke er klar over, er, at software-delen af halvledere er meget sværere end selv hardwaren. At bygge en nyttig computerarkitektur, som kunder kan bruge og få glæde af, er et fuldt stacks-problem, og hvis man ikke har den forståelse og forberedelse fra starten, ender man med en smuk arkitektur, der er meget performant og effektiv, men helt ubrugelig for udviklere, hvilket er, hvad der virkelig betyder noget.

Der er andre fordele ved at tage en software-først-tilgang, som f.eks. en hurtigere tid til markedet. Dette er afgørende i dagens hurtigt skiftende verden, hvor man kan være for optimistisk om en arkitektur eller funktion og dermed miste markedet helt.

Vi er meget fokuserede på at være software-centrerede, og vores synspunkt er, at man ikke kan være en halvleder-virksomhed uden at være en software-virksomhed.

Kan du diskutere dine umiddelbare software-stack-mål?

Da vi designede vores arkitektur og tænkte på den fremadrettede vej og hvor mulighederne var for at bringe mere ydelse og energi-effektivitet, blev det meget klart, at vi ville se meget mere heterogenitet, hvilket ville skabe mange problemer på software-området.

Vi er i gang med at engagere os med mange af de førende halvleder-virksomheder og hyperskalerte/cloud-service-udbydere og vil udgive vores software-stack i de næste 12 måneder. Det er en samlet programmeringsmodel med en compiler og runtime, der kan målrette enhver type arkitektur, og koordinere arbejdet på tværs af clusters bestående af forskellige typer hardware, og er i stand til at skala fra en enkelt node til en tusind node-cluster for den højeste mulige ydelse.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Lemurian Labs.