Krishna Rangasayee, grundlægger og administrerende direktør i SiMa.ai – Intervieuserie

Krishna Rangasayee er grundlægger og administrerende direktør i SiMa.ai. Tidligere var Krishna COO i Groq og hos Xilinx i 18 år, hvor han havde flere ledende roller, herunder senior vicepræsident og direktør for hele forretningen, samt executive vicepræsident for global salg. Mens han var hos Xilinx, voksede forretningen til en omsætning på 2,5 milliarder dollars med en bruttomargin på 70%, samtidig med at han skabte grundlaget for 10+ kvartalers vedvarende sekventielle vækst og markedsekspansion. Før Xilinx havde han forskellige tekniske og forretningsroller hos Altera Corporation og Cypress Semiconductor. Han har mere end 25 internationale patenter og har siddet i bestyrelsen for offentlige og private selskaber.

Hvad var det, der oprindeligt tiltrak dig til maskinlæring?

Jeg har været en student af embedded edge- og cloud-markederne i de sidste 20 år. Jeg har set masser af innovation i cloud, men meget lidt til at enable maskinlæring på kanten. Det er et enormt underbetjent marked på over 40 milliarder dollars, der har overlevet på gammel teknologi i årtier.

Så vi påbegyndte noget, som ingen havde gjort før – enable Effortless ML for embedded edge.

Kan du dele historien bag SiMa?

I min 20-årige karriere havde jeg endnu ikke set nogen arkitektur-innovation ske på embedded edge-markedet. Alligevel steg behovet for ML på kanten i takt med, at cloud og IoT voksede. Dette viser, at selvom virksomheder kræver ML på kanten, er teknologien til at gøre dette til virkelighed forældet og ikke fungerer.

Før SiMa.ai overhovedet startede på vores design, var det vigtigt at forstå vores kunders største udfordringer. Men at få dem til at bruge tid med en tidlig startup for at få meningsfuld og ærlig feedback var en udfordring i sig selv. Heldigvis kunne teamet og jeg udnytte vores netværk fra tidligere relationer, hvor vi kunne fastlægge SiMa.ai’s vision med de rette målrettede virksomheder.

Vi mødtes med over 30 kunder og stillede to grundlæggende spørgsmål: “Hvad er de største udfordringer ved at skale ML til embedded edge?” og “Hvordan kan vi hjælpe?” Efter mange diskussioner om, hvordan de ville forme branchen og lytte til deres udfordringer for at opnå det, fik vi en dyb forståelse for deres smerte punkter og udviklede ideer til, hvordan vi kunne løse dem. Disse inkluderer:

• At få fordelene ved ML uden en stejl læringskurve.
• At bevare legacy-applikationer sammen med fremtidssikrede ML-implementeringer.
• At arbejde med en højpræstations-, lavstrømsløsning i en brugervenlig miljø.

Hurtigt indså vi, at vi måtte levere en risikominimeret faseret tilgang for at hjælpe vores kunder. Som en startup måtte vi bringe noget så kompellingt og differentieret fra alle andre. Ingen anden virksomhed havde adresse til dette klare behov, så dette var den vej, vi valgte at tage.

SiMa.ai opnåede dette sjældne bedrift ved at arkitektere fra bunden op den industrens første software-centrerede, formål-byggede Machine Learning System-on-Chip (MLSoC) platform. Med dens kombination af silicium og software kan maskinlæring nu tilføjes til embedded edge-applikationer med et knaptryk.

Kan du dele din vision for, hvordan maskinlæring vil forme alt til at være på kanten?

De fleste ML-virksomheder fokuserer på højvækstmarkeder som cloud og autonome køretøjer. Alligevel er det robotter, droner, friktionsløs detail, smarte byer og industriautomatisering, der kræver den seneste ML-teknologi for at forbedre effektiviteten og reducere omkostningerne.

Disse voksende sektorer kombineret med nuværende frustrationer ved at implementere ML på embedded edge er årsagen til, at vi mener, tiden er inde med muligheder. SiMa.ai tilgår dette problem på en helt anden måde; vi vil gøre bred anvendelse til virkelighed.

Hvad har hidtil forhindret skalerbarhed af maskinlæring på kanten?

Maskinlæring må let integrere med legacy-systemer. Fortune 500-virksomheder og startups alike har investeret massivt i deres nuværende teknologiplatforme, men de fleste af dem vil ikke genopbygge alle deres kode eller fuldstændigt ombygge deres underliggende infrastruktur for at integrere ML. For at minimere risiko og samtidig høste fordelene ved ML, må der være teknologi, der tillader en ubesværet integration af legacy-kode samt ML i deres systemer. Dette skaber en let vej til at udvikle og implementere disse systemer for at imødekomme applikationsbehovene, samtidig med at det giver fordelene fra den intelligens, som maskinlæring bringer.

Der er ingen store sokler, der er ingen enkelt stor kunde, der kan flytte nålen, så vi havde ingen mulighed for at støtte over 1000 kunder for virkelig at skale maskinlæring og bringe oplevelsen til dem. Vi opdagede, at disse kunder havde ønsket om ML, men de havde ikke kapaciteten til at få læringsoplevelsen, fordi de manglede den interne kapacitet til at bygge op, og de havde ikke den interne fundamentale videnbase. Så de ønskede at implementere ML-oplevelsen, men uden den indbyggede kantlæringskurve, og hvad det virkelig hurtigt kom til, var, at vi måtte gøre denne ML-oplevelse meget bestræbt for kunderne.

Hvordan kan SiMA dramatic reducerer strømforbruget i forhold til konkurrenterne?

Vores MLSoC er den underliggende motor, der virkelig aktiverer alt, det er vigtigt at differentiere, at vi ikke bygger en ML-accelerator. For de 2 milliarder dollars, der er investeret i edge ML SoC-startups, har alle industriers svar på innovation været en ML-accelerator-blok som kerne eller chip. Hvad folk ikke erkender, er, at for at migrere fra en klassisk SoC til en ML-miljø, har man brug for en MLSoC-miljø, så folk kan køre legacy-kode fra dag én og gradvist i en faseret risikominimeret måde deployere deres kapacitet til en ML-komponent, eller en dag de gør det ved hjælp af en klassisk computer vision-tilgang, og den næste dag de kunne gøre det ved hjælp af en ML-tilgang, men på den ene eller den anden måde giver vi vores kunder muligheden for at deployere og partitionere deres problem, som de finder bedst, ved hjælp af klassisk computer vision, klassisk ARM-behandling af systemer eller en heterogen ML-beregning. For os er ML ikke en slutprodukt, og derfor vil en ML-accelerator ikke være succesfuld på egen hånd, ML er en kapacitet og en værktøj i tillæg til de andre værktøjer, vi aktiverer for vores kunder, så de ved hjælp af en knap-metode kan iterere deres design af præ-proces, post-proces, analytik og ML-acceleration alle på en enkelt platform, samtidig med at de leverer den højeste systemomfattende applikationsydeevne til den laveste strøm.

Hvad er nogle af de primære markedsprioriteter for SiMa?

Vi har identificeret flere nøglemarkeder, nogle af dem er hurtigere til omsætning end andre. Den hurtigste tid til omsætning er smart vision, robotter, industri 4.0 og droner. Markederne, der tager lidt mere tid på grund af kvalifikationer og standardkrav, er automotive- og sundhedsapplikationer. Vi har brudt jorden i alle ovennævnte og arbejder med de førende spillere i hver kategori.

Billeddannelsen har generelt været på kanten, med analytik i cloud. Hvad er fordelene ved at ændre denne implementeringsstrategi?

Kant-applikationer kræver, at behandlingen udføres lokalt, for mange applikationer er der ikke nok tid til, at data kan gå til cloud og tilbage. ML-kapaciteter er fundamentale i kant-applikationer, fordi beslutninger skal træffes i realtid, f.eks. i automotive-applikationer og robotter, hvor beslutninger skal behandles hurtigt og effektivt.

Hvorfor skal virksomheder overveje SiMa-løsninger i stedet for jeres konkurrenter?

Vores unikke metode med en software-centreret tilgang pakket med en komplet hårdwarer løsning. Vi har fokuseret på en komplet løsning, der adresserer, hvad vi kalder Any, 10x og Pushbutton som kernen i kundeproblemerne. Den oprindelige tese for virksomheden er, at du trykker på en knap, og du får en WOW! Oplevelsen skal virkelig abstraheres til et punkt, hvor du vil have tusindvis af udviklere til at bruge det, men du vil ikke kræve, at de alle er ML-geni, du vil ikke kræve, at de alle justerer lag for lag håndkodning for at få den ønskede ydeevne, du vil have dem til at blive på det højeste niveau af abstraktion og meningsfuldt hurtigt deploye bestræbt ML. Så tesen bag, hvorfor vi fastholdt denne, var en meget stærk korrelation med skalerbarhed, som virkelig kræver en bestræbt ML-oplevelse og ikke kræver meget håndtering og services-engagement, der vil komme i vejen for skalerbarhed.

Vi tilbragte det første år med at besøge 50+ kunder globalt for at forstå, hvis alle ønskede ML, men ikke deployede det. Hvorfor? Hvad kom i vejen for dem for at deploye ML, og hvad krævedes for virkelig at skubbe ML til en skalerbar deployment? Det kom virkelig ned til tre nøglepiller af forståelse, den første værende ANY. Som virksomhed måtte vi løse problemerne, given kundernes bredde, og brugen af modeller samt uligheden mellem ML-netværk, sensorer, frame rate, opløsning. Det er en meget forskellig verden, hvor hvert marked har helt forskellige front-end-designs, og hvis vi bare tager en snæver skive af det, kan vi ikke økonomisk bygge en virksomhed, vi må virkelig skabe en kanal, der kan tage imod en meget bred vifte af applikationsrum, næsten tænke på kanalen som Ellis Island for alt computer vision. Folk kunne være i tensorflow, de kunne bruge Python, de kunne bruge kamera-sensor med 1080 opløsning eller det kunne være en 4K opløsningssensor, det virker ikke, hvis vi kan homogenisere og bringe dem alle sammen, og hvis du ikke har front-end som dette, har du ikke en skalerbar virksomhed.

Den anden pille er 10x, som betyder, at der også er et problem, hvorfor kunder ikke kan deployere og skabe afledte platforme, fordi alt er en gå tilbage til scratch for at bygge op en ny model eller pipeline. Den anden udfordring er, at som en startup måtte vi bringe noget meget spændende, meget differentieret, hvor alle og enhver er villig til at tage risikoen, selv hvis du er en startup baseret på en 10x-ydeevne-målepunktsmetrik. Den ene nøgle-tekniske merit, vi fokuserer på at løse for computer vision-problemer, er frames per second per watt-målepunktet. Vi må være ulogisk bedre end alle andre, så vi kan blive en generation eller to foran, så vi tog dette som en del af vores software-centrerede tilgang. Denne tilgang skabte en heterogen beregningsplatform, så folk kan løse hele computer vision-pipeline på en enkelt chip og leverer 10x i forhold til andre løsninger. Den tredje pille er Pushbutton, der er drevet af behovet for at skale ML på embedded edge på en meningsfuld måde. ML-værktøjskæder er meget spæde, ofte brudt, ingen enkelt virksomhed har virkelig bygget en verdensklasse ML-software-oplevelse. Vi erkendte yderligere, at for embedded-markedet er det vigtigt at maskere kompleksiteten af den indbyggede kode, samtidig med at give dem en iterativ proces til hurtigt at komme tilbage og opdatere og optimere deres platforme. Kunderne har virkelig brug for en Pushbutton-oplevelse, der giver dem et svar eller en løsning på minutter i stedet for måneder for at opnå bestræbt ML. ANY, 10x og Pushbutton er de nøgleværdipropositioner, der blev virkelig klare for os, at hvis vi gør en god job på disse tre ting, vil vi absolut flytte nålen på bestræbt ML og skalerbarhed på embedded edge.

Er der noget andet, du gerne vil dele om SiMa?

I den tidlige udvikling af MLSoC-platformen var vi ved at presse grænserne for teknologi og arkitektur. Vi var gået all-in på en software-centreret platform, som var en helt ny tilgang, der gik imod alle konventionelle visdomme. Rejsen med at figurere det ud og derefter implementere det var hård.

En seneste monumental sejr validerer styrken og unikheten af den teknologi, vi har bygget. SiMa.ai opnåede et stort milepæl i april 2023 ved at overgå den siddende leder i vores debut MLPerf Benchmark-ydeevne i den lukkede kant-strømkategori. Vi er stolte af at være den første startup, der deltog og opnåede vindende resultater i branchens mest populære og anerkendte MLPerf-benchmark for Resnet-50 for vores ydeevne og strøm.

Vi startede med høje aspirationer, og til denne dag er jeg stolt af at sige, at visionen er forblevet uændret. Vores MLSoC var formål-bygget til at gå imod branchens normer for at levere en revolutionerende ML-løsning til embedded edge-markedet.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge SiMa.ai.