Krishna Rangasayee, Oprichter & CEO van SiMa.ai – Interview Serie

Krishna Rangasayee is Oprichter en CEO van SiMa.ai. Voordat hij bij SiMa.ai kwam, was Krishna COO van Groq en werkte hij 18 jaar voor Xilinx, waar hij verschillende senior leiderschapsrollen bekleedde, waaronder Senior Vice President en GM van het totale bedrijf, en Executive Vice President van wereldwijde verkoop. Tijdens zijn verblijf bij Xilinx groeide het bedrijf naar een omzet van $2,5 miljard met een brutowinstmarge van 70% en creëerde hij de basis voor 10+ kwartalen van duurzame opeenvolgende groei en marktaandeeluitbreiding. Voordat hij bij Xilinx kwam, bekleedde hij verschillende technische en commerciële rollen bij Altera Corporation en Cypress Semiconductor. Hij heeft meer dan 25 internationale octrooien op zijn naam staan en heeft in het verleden in de raden van bestuur van beursgenoteerde en particuliere bedrijven gezeten.

Wat trok je aanvankelijk aan naar machine learning?

Ik ben de afgelopen 20 jaar student van de ingebedde rand en cloudmarkten. Ik heb veel innovatie in de cloud gezien, maar heel weinig om machine learning mogelijk te maken op de rand. Het is een enorm onderbediende markt van $40 miljard+ die al decennialang overleeft met verouderde technologie.

We zijn iets gaan doen wat nog nooit iemand had gedaan – het mogelijk maken van Effortless ML voor de ingebedde rand.

Kun je het verhaal achter SiMa delen?

In mijn carrière van 20+ jaar had ik nog nooit innovatie in de architectuur van de ingebedde randmarkt gezien. Toch neemt de behoefte aan ML op de rand toe in de cloud en elementen van IoT. Dit bewijst dat bedrijven ML op de rand eisen, maar de technologie om dit te realiseren is te stug om te werken.

Voordat SiMa.ai zelfs maar was begonnen met het ontwerp, was het belangrijk om de grootste uitdagingen van onze klanten te begrijpen. Maar het was een uitdaging om hen ertoe te krijgen tijd te besteden aan een start-up om waardevolle en openhartige feedback te geven. Gelukkig konden het team en ik ons netwerk uit het verleden gebruiken om de visie van SiMa.ai te verankeren met de juiste gerichte bedrijven.

We hebben meer dan 30 klanten ontmoet en twee basisvragen gesteld: “Wat zijn de grootste uitdagingen om ML naar de ingebedde rand te schalen?” en “Hoe kunnen we helpen?” Na veel discussies over hoe ze de industrie wilden herschikken en naar hun uitdagingen luisterden om dit te bereiken, kregen we een diep inzicht in hun pijnlijke punten en ontwikkelden we ideeën over hoe we deze konden oplossen. Deze omvatten:

• De voordelen van ML zonder een steile leercurve.
• Het behoud van legacy-toepassingen naast toekomstbestendige ML-implementaties.
• Het werken met een high-performance, laagvermogenoplossing in een gebruikersvriendelijke omgeving.

Snel realiseerden we ons dat we een risicobeperkte gefaseerde aanpak moesten leveren om onze klanten te helpen. Als start-up moesten we iets zo overtuigends en onderscheidends bieden dat iedereen bereid was om het risico te nemen, zelfs als we een start-up waren. Geen enkel ander bedrijf adresseerde deze duidelijke behoefte, dus dit was de weg die we kozen.

SiMa.ai heeft dit zeldzame prestatie bereikt door vanaf de grond af de eerste software-georiënteerde, purpose-built Machine Learning System-on-Chip (MLSoC) platform te ontwerpen. Met zijn combinatie van silicium en software kan machine learning nu aan ingebedde randtoepassingen worden toegevoegd met één knop.

Kun je je visie delen over hoe machine learning alles op de rand zal herschikken?

De meeste ML-bedrijven richten zich op hoge groeimarkten zoals de cloud en autonome rijden. Toch zijn het robotics, drones, wrijvingsloze retail, slimme steden en industriële automatisering die de nieuwste ML-technologie nodig hebben om efficiëntie te verbeteren en kosten te verlagen.

Deze groeiende sectoren, samen met de huidige frustraties bij het implementeren van ML op de ingebedde rand, zijn de reden waarom we denken dat de tijd rijp is met kansen. SiMa.ai benadert dit probleem op een compleet andere manier; we willen brede adoptie een realiteit maken.

Wat heeft tot nu toe het schalen van machine learning op de rand verhinderd?

Machine learning moet gemakkelijk integreren met legacy-systemen. Fortune 500-bedrijven en start-ups hebben zwaar geïnvesteerd in hun huidige technologieplatforms, maar de meeste van hen zullen hun code niet herschrijven of hun onderliggende infrastructuur volledig herschikken om ML te integreren. Om risico’s te mitigeren en tegelijkertijd de voordelen van ML te plukken, moet er technologie zijn die een naadloze integratie van legacy-code en ML in hun systemen mogelijk maakt. Dit creëert een gemakkelijke weg om deze systemen te ontwikkelen en te implementeren om aan de toepassingsbehoeften te voldoen en tegelijkertijd de voordelen van de intelligentie die machine learning biedt.

Er zijn geen grote sockets, er is geen enkele grote klant die de naald zal verplaatsen, dus we hadden geen keuze dan om meer dan duizend klanten te ondersteunen om echt machine learning te schalen en de ervaring bij hen te brengen. We ontdekten dat deze klanten de wens hebben om ML te implementeren, maar ze hebben niet de capaciteit om de leerervaring te krijgen omdat ze de interne capaciteit missen om op te bouwen en ze hebben niet de interne fundamenten om te begrijpen. Dus ze willen de ML-ervaring implementeren, maar zonder de ingebedde randleercurve en wat het echt snel kwam neer op was dat we de ML-ervaring voor klanten heel moeiteloos moesten maken.

Hoe kan SiMA de stroomverbruik zo drastisch verlagen in vergelijking met concurrenten?

Ons MLSoC is de onderliggende motor die echt alles mogelijk maakt, het is belangrijk om te onderscheiden dat we geen ML-versneller aan het bouwen zijn. Voor de 2 miljard dollar die is geïnvesteerd in edge ML SoC-start-ups, is ieders industrieantwoord op innovatie een ML-versnellerblok als een core of chip. Wat mensen niet erkennen, is dat om mensen van een klassieke SoC naar een ML-omgeving te migreren, je een MLSoC-omgeving nodig hebt zodat mensen legacy-code vanaf de eerste dag kunnen uitvoeren en geleidelijk aan een gefaseerde, risicobeperkte manier hun capaciteit kunnen implementeren in een ML-component of op een dag doen ze semantische segmentatie met een klassieke computerbenadering en de volgende dag kunnen ze het doen met een ML-benadering, maar op de een of andere manier laten we onze klanten de kans om hun probleem te partitioneren zoals ze het zelf willen, met klassieke computerbenaderingen, klassieke ARM-verwerking van systemen of heterogene ML-rekenkracht. Voor ons is ML geen eindproduct en daarom zal een ML-versneller nooit succesvol zijn op zichzelf, ML is een capaciteit en een toolkit naast de andere tools die we onze klanten bieden, zodat ze met een push-button-methode hun ontwerp van voorverwerking, na-verwerking, analyse en ML-versnelling op één platform kunnen itereren en tegelijkertijd de hoogste systeembrede prestaties leveren bij het laagste vermogen.

Wat zijn enkele van de belangrijkste marktprioriteiten voor SiMa?

We hebben verschillende sleutelmarkten geïdentificeerd, waarvan sommige sneller inkomsten genereren dan andere. De snelste tijd naar inkomsten is slimme visie, robotica, industrie 4.0 en drones. De markten die wat langer duren vanwege kwalificaties en standaardvereisten zijn automotive en gezondheidszorgtoepassingen. We hebben in al deze gebieden een doorbraak gemaakt en werken samen met de topspelers in elke categorie.

Beeldopname is meestal op de rand, met analytics in de cloud. Wat zijn de voordelen van het verschuiven van deze implementatiestrategie?

Randtoepassingen hebben verwerking nodig die lokaal wordt uitgevoerd, voor veel toepassingen is er niet genoeg tijd voor de gegevens om naar de cloud en terug te gaan. ML-mogelijkheden zijn essentieel in randtoepassingen omdat beslissingen in real-time moeten worden genomen, bijvoorbeeld in automotive-toepassingen en robotica waar beslissingen snel en efficiënt moeten worden verwerkt.

Waarom zouden bedrijven SiMa-oplossingen moeten overwegen in plaats van die van uw concurrenten?

Onze unieke methode van een software-georiënteerde aanpak, verpakt met een complete hardware-oplossing. We hebben ons gericht op een complete oplossing die het Any, 10x en Pushbutton-adres van de kern van de klantproblemen. De oorspronkelijke these voor het bedrijf is dat je op een knop drukt en WOW! krijgt. De ervaring moet echt geabstraheerd worden tot een punt waarop je duizenden ontwikkelaars wilt laten gebruiken, maar je wilt niet dat ze allemaal ML-genieën zijn, je wilt niet dat ze allemaal laag per laag handmatig coderen om de gewenste prestaties te krijgen, je wilt dat ze op het hoogste niveau van abstractie blijven en ML moeiteloos implementeren. Dus de these achter waarom we ons hierop richtten, was een sterke correlatie met schalen, het moet echt een moeiteloze ML-ervaring zijn en niet veel handen en diensten in de weg zitten die de schaal in de weg zitten.

Ons eerste jaar brachten we door met het bezoeken van 50+ klanten wereldwijd om te begrijpen waarom ze ML niet implementeren. Wat komt er in de weg van het implementeren van ML en wat is er nodig om ML echt te schalen en op de ingebedde rand te brengen? Het komt neer op drie belangrijke pijlers van begrip, de eerste is ANY. Als bedrijf moeten we problemen oplossen gegeven de breedte van de klanten, de breedte van de gebruiksmodellen en de dispariteit tussen de ML-netwerken, de sensoren, de framefrequentie, de resolutie. Het is een zeer disparate wereld waar elke markt een compleet andere front-endontwerp heeft en als we alleen een smalle slice nemen, kunnen we geen economisch bedrijf opbouwen, we moeten echt een trechter creëren die in staat is om een zeer breed bereik van toepassingsgebieden te verwerken, bijna alsof je aan de Ellis Island van alles computerzicht denkt. Mensen kunnen in TensorFlow zitten, ze kunnen Python gebruiken, ze kunnen een camerasensor met 1080-resolutie gebruiken of het kan een 4K-resolutiesensor zijn, het maakt niet uit als we alles kunnen homogeniseren en brengen, en als je dit niet hebt, heb je geen schaalbaar bedrijf.

De tweede pijler is 10x, wat betekent dat er ook een probleem is waarom klanten niet in staat zijn om te implementeren en afgeleide platforms te creëren omdat alles een terugkeer naar scratch is om een nieuw model of pipeline te bouwen. De tweede uitdaging is zonder twijfel dat we als start-up iets heel spannends en compellers moeten brengen waar iedereen bereid is om het risico te nemen, zelfs als we een start-up zijn, op basis van een 10x-prestatiekenmerk. Het ene belangrijke technische verdienste dat we ons richten op het oplossen van computerzichtproblemen is het frames per seconde per watt-metriek. We moeten illogisch beter zijn dan iedereen anders, zodat we een generatie of twee voorop kunnen blijven. We namen dit als onderdeel van onze software-georiënteerde aanpak. Deze aanpak creëerde een heterogeen rekenplatform, zodat mensen de hele computerzichtpipeline op één chip kunnen oplossen en 10x beter presteren dan andere oplossingen. De derde pijler van Pushbutton wordt gedreven door de noodzaak om ML op de ingebedde rand op een betekenisvolle manier te schalen. ML-hulpmiddelenketens zijn zeer pril, vaak kapot, geen enkel bedrijf heeft echt een wereldklasse ML-software-ervaring gebouwd. We erkenden verder dat voor de ingebedde markt het belangrijk is om de complexiteit van de ingebedde code te maskeren en tegelijkertijd een iteratief proces te geven om snel terug te komen en te optimaliseren. Klanten hebben echt een pushbutton-ervaring nodig die een antwoord of oplossing in minuten geeft in plaats van in maanden om moeiteloze ML te bereiken. ANY, 10x en Pushbutton zijn de belangrijkste waardeproposities die echt duidelijk werden voor ons dat als we een geweldige job doen op deze drie dingen, we absoluut de naald zullen verplaatsen op moeiteloze ML en ML schalen op de ingebedde rand.

Is er nog iets dat je over SiMa wilt delen?

In de vroege ontwikkeling van het MLSoC-platform, duwden we de grenzen van de technologie en architectuur. We gingen all-in op een software-georiënteerd platform, wat een geheel nieuwe aanpak was, die tegen de grain van alle conventionele wijsheid inging. De reis om het uit te figureren en vervolgens te implementeren was moeilijk.

Onlangs behaalden we een monumentale overwinning die de kracht en uniekheid van de technologie die we hebben gebouwd, valideert. SiMa.ai behaalde in april 2023 een belangrijke mijlpaal door de gevestigde leider te overtreffen in onze debuut MLPerf Benchmark-prestatie in de Closed Edge Power-categorie. We zijn trots om de eerste start-up te zijn die deelneemt en winnende resultaten behaalt in de meest populaire en erkende MLPerf-benchmark van Resnet-50 voor onze prestaties en vermogen.

We begonnen met hoge aspiraties en tot op de dag van vandaag ben ik trots om te zeggen dat onze visie onveranderd is gebleven. Ons MLSoC is speciaal ontworpen om tegen de industrienormen in te gaan voor het leveren van een revolutionaire ML-oplossing voor de ingebedde randmarkt.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen SiMa.ai bezoeken SiMa.ai.