Krishna Rangasayee, oprichter en CEO van SiMa.ai - Interviewreeks

Krishna Rangasayee is oprichter en CEO van SiMa.ai. Voorheen was Krishna COO van Groq en gedurende 18 jaar bij Xilinx, waar hij meerdere senior leiderschapsrollen bekleedde, waaronder Senior Vice President en GM van het algehele bedrijf, en Executive Vice President van wereldwijde verkoop. Terwijl hij bij Xilinx was, liet Krishna het bedrijf groeien tot $ 2.5 miljard aan inkomsten met een brutomarge van 70%, terwijl hij de basis legde voor meer dan 10 kwartalen van aanhoudende sequentiële groei en uitbreiding van het marktaandeel. Voorafgaand aan Xilinx bekleedde hij verschillende technische en zakelijke functies bij Altera Corporation en Cypress Semiconductor. Hij heeft meer dan 25 internationale patenten en was lid van de raad van bestuur van openbare en particuliere bedrijven.

Wat trok je in eerste instantie aan in machine learning?

Ik ben de afgelopen 20 jaar een student geweest van de embedded edge- en cloudmarkten. Ik heb heel veel innovatie in de cloud gezien, maar heel weinig om machine learning aan de rand mogelijk te maken. Het is een enorm achtergestelde markt van $ 40 miljard die al tientallen jaren op oude technologie overleeft.

Dus begonnen we aan iets dat nog niemand eerder had gedaan: Effortless ML inschakelen voor de embedded edge.

Kun je het ontstaansverhaal achter SiMa delen?

In mijn 20+ carrière had ik nog geen getuige geweest van architectuurinnovatie in de embedded edge-markt. Toch nam de behoefte aan ML aan de embedded edge toe in de cloud en elementen van IoT. Dit bewijst dat hoewel bedrijven ML aan de edge eisen, de technologie om dit te realiseren te stroef is om echt te werken.

Daarom was het, voordat SiMa.ai aan ons ontwerp begon, belangrijk om de grootste uitdagingen van onze klanten te begrijpen. Het was echter een hele uitdaging om ervoor te zorgen dat ze tijd doorbrachten met een startup in een vroeg stadium om zinvolle en openhartige feedback te krijgen. Gelukkig konden het team en ik gebruikmaken van ons netwerk van eerdere relaties, waar we de visie van SiMa.ai konden verstevigen met de juiste gerichte bedrijven.

We hebben meer dan 30 klanten ontmoet en twee basisvragen gesteld: "Wat zijn de grootste uitdagingen bij het opschalen van ML naar de embedded edge?" en "Hoe kunnen we helpen?" Na veel discussies over hoe ze de industrie wilden hervormen en luisteren naar hun uitdagingen om dit te bereiken, kregen we een diep begrip van hun pijnpunten en ontwikkelden we ideeën om deze op te lossen. Deze omvatten:

• Profiteer van de voordelen van ML zonder een steile leercurve.
• Behoud van legacy-applicaties samen met toekomstbestendige ML-implementaties.
• Werken met een krachtige, energiezuinige oplossing in een gebruiksvriendelijke omgeving.

We realiseerden ons al snel dat we een risicobeperkende gefaseerde aanpak moesten bieden om onze klanten te helpen. Als startup moesten we iets meebrengen dat zo overtuigend en onderscheidend was van alle anderen. Geen enkel ander bedrijf beantwoordde aan deze duidelijke behoefte, dus dit was de weg die we kozen.

SiMa.ai heeft deze zeldzame prestatie bereikt door vanaf de grond af het eerste op software gerichte, speciaal gebouwde Machine Learning System-on-Chip (MLSoC)-platform in de branche te ontwerpen. Met de combinatie van silicium en software kan machine learning nu met één druk op de knop worden toegevoegd aan embedded edge-applicaties.

Kunt u uw visie delen over hoe machine learning alles zal hervormen om op het randje te blijven?

De meeste ML-bedrijven richten zich op snelgroeiende markten zoals de cloud en autonoom rijden. Toch zijn het robotica, drones, wrijvingsloze detailhandel, slimme steden en industriële automatisering die de nieuwste ML-technologie vereisen om de efficiëntie te verbeteren en de kosten te verlagen.

Deze groeiende sectoren in combinatie met de huidige frustraties over het inzetten van ML aan de embedded edge is de reden waarom we geloven dat de tijd rijp is voor kansen. SiMa.ai benadert dit probleem op een heel andere manier; we willen een brede acceptatie realiseren.

Wat heeft tot nu toe het opschalen van machine learning aan de rand verhinderd?

Machine learning moet eenvoudig kunnen worden geïntegreerd met legacy-systemen. Zowel Fortune 500-bedrijven als startups hebben zwaar geïnvesteerd in hun huidige technologieplatforms, maar de meesten van hen zullen niet al hun code herschrijven of hun onderliggende infrastructuur volledig herzien om ML te integreren. Om risico's te beperken en tegelijkertijd de voordelen van ML te benutten, moet er technologie zijn die een naadloze integratie van legacy-code samen met ML in hun systemen mogelijk maakt. Dit creëert een eenvoudig pad om deze systemen te ontwikkelen en te implementeren om aan de applicatiebehoeften te voldoen en tegelijkertijd de voordelen te bieden van de intelligentie die machine learning met zich meebrengt.

Er zijn geen grote stopcontacten, er is niet één grote klant die de naald zal verplaatsen, dus we hadden geen andere keuze dan meer dan duizend klanten te kunnen ondersteunen om machine learning echt op te schalen en hen echt de ervaring te bieden. We ontdekten dat deze klanten het verlangen naar ML hebben, maar niet de capaciteit hebben om de leerervaring op te doen, omdat ze de interne capaciteit missen om op te bouwen en ze niet over de interne fundamentele kennis beschikken. Dus ze willen de ML-ervaring implementeren, maar doen dit zonder de ingebedde edge-leercurve en waar het al snel op neerkwam, is dat we deze ML-ervaring heel moeiteloos moeten maken voor klanten.

Hoe kan SiMA het stroomverbruik zo drastisch verlagen in vergelijking met concurrenten?

Onze MLSoC is de onderliggende motor die werkelijk alles mogelijk maakt. Het is belangrijk om te onderscheiden dat we geen ML-accelerator bouwen. Voor de 2 miljard dollar die is geïnvesteerd in edge ML SoC-startups is de reactie van iedereen op innovatie op het gebied van innovatie een ML-acceleratorblok als kern of chip. Wat mensen niet herkennen is dat om mensen van een klassieke SoC naar een ML-omgeving te migreren, je een MLSoC-omgeving nodig hebt, zodat mensen vanaf de eerste dag verouderde code kunnen uitvoeren en geleidelijk, op een gefaseerde, risicobeperkende manier, hun capaciteiten in een ML-component kunnen inzetten of op een dag zullen ze we doen semantische segmentatie met behulp van een klassieke computer vision-aanpak en de volgende dag zouden ze het kunnen doen met behulp van een ML-aanpak, maar op de een of andere manier geven we onze klanten de mogelijkheid om hun probleem naar eigen goeddunken in te zetten en te verdelen met behulp van klassieke computer vision, klassieke ARM-verwerking van systemen, of een heterogene ML-computer. Voor ons is ML geen eindproduct en daarom zal een ML-accelerator op zichzelf niet succesvol zijn. ML is een mogelijkheid en een toolkit naast de andere tools die we onze klanten bieden, zodat ze met behulp van een drukknopmethodologie kunnen hun ontwerp van pre-processing, post-processing, analytics en ML-versnelling herhalen, allemaal op één enkel platform, terwijl ze de hoogste systeembrede applicatieprestaties leveren met het laagste vermogen.

Wat zijn enkele van de belangrijkste marktprioriteiten voor SiMa?

We hebben verschillende belangrijke markten geïdentificeerd, waarvan sommige sneller omzet opleveren dan andere. De snelste time-to-inkomsten zijn smart vision, robotica, industrie 4.0 en drones. De markten die vanwege kwalificaties en standaardvereisten wat meer tijd nodig hebben, zijn toepassingen in de auto-industrie en de gezondheidszorg. We hebben baanbrekend werk verricht in al het bovenstaande door samen te werken met de beste spelers van elke categorie.

Het vastleggen van afbeeldingen was over het algemeen op het randje, met analyse in de cloud. Wat zijn de voordelen van het verschuiven van deze implementatiestrategie?

Bij edge-applicaties moet de verwerking lokaal worden gedaan, voor veel applicaties is er niet genoeg tijd om de gegevens naar de cloud en terug te laten gaan. ML-mogelijkheden zijn van fundamenteel belang in edge-toepassingen omdat beslissingen in realtime moeten worden genomen, bijvoorbeeld in automotive-toepassingen en robotica, waar beslissingen snel en efficiënt moeten worden verwerkt.

Waarom zouden ondernemingen SiMa-oplossingen moeten overwegen in plaats van uw concurrenten?

Onze unieke methodologie van een softwarecentrische aanpak verpakt met een complete hardware-oplossing. We hebben ons gericht op een complete oplossing die ingaat op wat we de Any, 10x en Pushbutton graag noemen als de kern van klantproblemen. De originele stelling voor het bedrijf is dat je op een knop drukt en je krijgt een WOW! De ervaring moet echt worden geabstraheerd tot een punt waarop je duizenden ontwikkelaars wilt laten gebruiken, maar je wilt niet van ze eisen dat ze allemaal ML-genieën zijn, je wilt niet dat ze allemaal laag voor laag aan het tweaken zijn handmatige codering om de gewenste prestaties te krijgen, je wilt dat ze op het hoogste abstractieniveau blijven en op zinvolle wijze snel moeiteloze ML implementeren. Dus de stelling achter waarom we dit vasthielden, was een zeer sterke correlatie met schaalvergroting, in die zin dat het echt een moeiteloze ML-ervaring moet zijn en niet veel handen vasthouden en betrokkenheid van services vereist die schaalvergroting in de weg staan.

We brachten het eerste jaar door met het bezoeken van meer dan 50 klanten wereldwijd om te proberen te begrijpen of jullie allemaal ML willen, maar het niet implementeren. Waarom? Wat staat u in de weg om ML op een zinvolle manier in te zetten en of wat er nodig is om ML echt naar een schaalimplementatie te duwen, en het komt eigenlijk neer op drie belangrijke pijlers van begrip, waarvan de eerste ELK is. Als bedrijf moeten we problemen oplossen gezien de breedte van klanten en de breedte van gebruiksmodellen, samen met de ongelijkheid tussen de ML-netwerken, de sensoren, de framesnelheid, de resolutie. Het is een zeer ongelijksoortige wereld waarin elke markt totaal verschillende frontend-ontwerpen heeft en als we er echt maar een klein stukje van nemen, kunnen we economisch geen bedrijf bouwen, we moeten echt een trechter creëren die in staat is om een ​​zeer breed bereik op te nemen van applicatieruimten, denk bijna aan de trechter als het Ellis Island van alles wat computervisie is. Mensen kunnen in tensorflow zitten, ze kunnen Python gebruiken, ze kunnen een camerasensor gebruiken met een resolutie van 1080 of het kan een 4K-resolutiesensor zijn, het maakt echt niet uit of we ze allemaal kunnen homogeniseren en brengen en als je dat niet doet heb je de voorkant zo dan heb je geen schaalbaar bedrijf.

De tweede pijler is 10x, wat betekent dat er ook het probleem is waarom klanten niet in staat zijn om afgeleide platforms in te zetten en te creëren, omdat alles terug moet naar het begin om een ​​nieuw model of pijplijn op te bouwen. De tweede uitdaging is ongetwijfeld dat we als startup iets heel opwindends, heel overtuigends moeten brengen waar iedereen en iedereen bereid is het risico te nemen, zelfs als je een startup bent op basis van een 10x prestatiemaatstaf. De enige belangrijke technische verdienste waar we ons op richten bij het oplossen van problemen met computervisie, zijn de frames per seconde per watt-metriek. We moeten onlogisch beter zijn dan wie dan ook, zodat we een generatie of twee vooruit kunnen blijven, dus hebben we dit als onderdeel van onze softwarecentrische aanpak genomen. Die aanpak creëerde een heterogeen rekenplatform, zodat mensen de hele pijplijn van computervisie in één enkele chip kunnen oplossen en 10x kunnen leveren in vergelijking met andere oplossingen. De derde pijler van Pushbutton wordt gedreven door de noodzaak om ML op een zinvolle manier aan de embedded edge te schalen. ML-toolketens zijn erg in opkomst, vaak verbroken, geen enkel bedrijf heeft echt een ML-software-ervaring van wereldklasse opgebouwd. We erkenden verder dat het voor de ingebedde markt belangrijk is om de complexiteit van de ingebedde code te maskeren en hen tegelijkertijd een iteratief proces te geven om snel terug te komen en hun platforms bij te werken en te optimaliseren. Klanten hebben echt een drukknopervaring nodig die hen binnen enkele minuten een antwoord of een oplossing geeft in plaats van binnen maanden om moeiteloze ML te bereiken. Elke, 10x en drukknop zijn de belangrijkste waardeproposities die ons echt duidelijk werden dat als we deze drie dingen goed aanpakken, we absoluut de naald zullen verplaatsen naar moeiteloze ML en schaalbare ML aan de ingebedde rand.

Is er nog iets dat je zou willen delen over SiMa?

Tijdens de vroege ontwikkeling van het MLSoC-platform verlegden we de grenzen van technologie en architectuur. We gingen all-in op een softwarecentrisch platform, wat een geheel nieuwe benadering was, die indruiste tegen alle conventionele wijsheid. De reis om het uit te zoeken en vervolgens te implementeren was moeilijk.

Een recente monumentale overwinning bevestigt de kracht en het unieke karakter van de technologie die we hebben gebouwd. SiMa.ai bereikte in april 2023 een belangrijke mijlpaal door beter te presteren dan de zittende leider in onze debuut MLPerf Benchmark-prestaties in de categorie Closed Edge Power. We zijn er trots op dat we de eerste start-up zijn die deelneemt aan en winnende resultaten behaalt in de populairste en meest erkende MLPerf-benchmark van Resnet-50 in de branche voor onze prestaties en kracht.

We begonnen met hoge ambities en tot op de dag van vandaag kan ik met trots zeggen dat die visie onveranderd is gebleven. Onze MLSoC is speciaal gebouwd om tegen de industrienormen in te gaan voor het leveren van een revolutionaire ML-oplossing voor de embedded edge-markt.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken SiMa.ai.