Krishna Rangasayee, zakladatel a generální ředitel SiMa.ai – rozhovor

Krishna Rangasayee je zakladatel a generální ředitel SiMa.ai. Předtím byl Krishna provozním ředitelem Groq a v Xilinxu pracoval 18 let, kde zastával několik seniorních vedoucích pozic, včetně senior viceprezidenta a generálního manažera celého podniku a výkonného viceprezidenta globálních prodejů. Zatímco v Xilinxu, Krishna zvýšil tržby na 2,5 miliardy dolarů s hrubou marží 70 %, zatímco vytvářel základ pro 10 a více čtvrtletí udržitelného sekvenčního růstu a expanze trhu. Předtím, než vstoupil do Xilinxu, zastával různé inženýrské a obchodní role v Altera Corporation a Cypress Semiconductor. Drží více než 25 mezinárodních patentů a působil v představenstvu veřejných a soukromých společností.

Co vás původně přitáhlo k strojovému učení?

Jsem student trhů embedded edge a cloud již 20 let. Viděl jsem spoustu inovací v cloudu, ale velmi málo inovací směřujících k umožnění strojového učení na okraji. Je to obrovský nedostatečně obsloužený trh s hodnotou přes 40 miliard dolarů, který přežívá desetiletími starou technologií.

Pustili jsme se tedy do něčeho, co nikdo předtím neudělal – umožnit bezproblémové strojové učení pro embedded edge.

Můžete sdílet příběh o vzniku SiMa?

Během své 20leté kariéry jsem ještě neviděl inovace architektury v trhu embedded edge. Přestože potřeba strojového učení na okraji rostla v cloudu a v prvcích IoT, prokázalo se, že zatímco společnosti požadují strojové učení na okraji, technologie, která by to umožnila, je příliš zastaralá, aby fungovala.

Proto, než SiMa.ai začalo s návrhem, bylo důležité pochopit největší výzvy našich zákazníků. Avšak získat od nich čas na získání smysluplné a upřímné zpětné vazby bylo samo o sobě výzvou. Naštěstí mohl tým a já využít naše kontakty z předchozích vztahů, abychom upevnili vizi SiMa.ai s cílenými společnostmi.

Setkali jsme se s více než 30 zákazníky a položili dvě základní otázky: „Jaké jsou největší výzvy při škálování strojového učení na embedded edge?“ a „Jak vám můžeme pomoci?“ Po mnoha diskusích o tom, jak chtějí změnit průmysl a poslouchání jejich výzev, abychom to dokázali, získali jsme hluboké pochopení jejich bolestivých míst a vyvinuli nápady, jak je vyřešit. Tyto zahrnují:

• Získání výhod strojového učení bez strmé křivky učení.
• Zachování stávajících aplikací a současně příprava implementací strojového učení na budoucí potřeby.
• Práce s vysokovýkonným, nízkopříkonovým řešením v uživatelsky přívětivém prostředí.

Rychle jsme si uvědomili, že musíme dodat rizikově zmírněný fázovaný přístup, abychom pomohli našim zákazníkům. Jako startup jsme museli přinést něco tak přesvědčivého a odlišného od všech ostatních. Žádná jiná společnost se nezabývala touto jasnou potřebou, takže jsme se rozhodli jít touto cestou.

SiMa.ai dosáhlo tohoto vzácného výkonu navrhnout ze základu první softwarově orientovanou, účelově postavenou platformu Machine Learning System-on-Chip (MLSoC). Díky kombinaci křemíku a softwaru lze nyní strojové učení přidat do aplikací embedded edge stisknutím tlačítka.

Můžete sdílet svou vizi, jak strojové učení změní vše na okraji?

Většina společností pro strojové učení se zaměřuje na rychle rostoucí trhy, jako je cloud a autonomní řízení. Přesto je to robotika, drony, bezproblémový maloobchod, chytrá města a průmyslová automatizace, která vyžaduje nejnovější technologii strojového učení, aby zlepšila efektivitu a snížila náklady.

Tyto rostoucí sektory spolu se současnými frustracemi při nasazování strojového učení na embedded edge jsou důvodem, proč věříme, že je čas plný příležitostí. SiMa.ai se této výzvy zhostí zcela jiným způsobem; chceme udělat širokou adopci realitou.

Co dosud bránilo škálování strojového učení na okraji?

Strojové učení se musí snadno integrovat se stávajícími systémy. Společnosti Fortune 500 a startupy dohromady investovaly značné prostředky do svých současných technologických platforem, ale většina z nich nebude přepisovat veškerý svůj kód nebo kompletně přestavovat svou základní infrastrukturu, aby integrovala strojové učení. Aby se minimalizovalo riziko a současně využily výhody strojového učení, musí existovat technologie, která umožňuje bezproblémovou integraci stávajícího kódu spolu se strojovým učením do jejich systémů. To vytváří snadnou cestu k vývoji a nasazení těchto systémů, aby splnily potřeby aplikací a současně poskytly výhody, které přináší inteligence strojového učení.

Neexistují zde jednotlivé obrovské zakázky na čipy ani jeden velký zákazník, který by sám přinesl zásadní posun, takže jsme neměli na výběr a museli jsme být schopni podpořit více než tisíc zákazníků, abychom skutečně škálovali strojové učení a skutečně přinesli tuto zkušenost jim. Zjistili jsme, že tito zákazníci mají touhu po strojovém učení, ale nemají kapacitu získat zkušenost s učením, protože jim chybí vnitřní kapacita k budování a nemají vnitřní znalostní základnu. Chtějí tedy implementovat zkušenost se strojovým učením, ale chtějí to udělat bez křivky učení na okraji a co to rychle vedlo k tomu, že musíme udělat tuto zkušenost se strojovým učením velmi bezproblémovou pro zákazníky.

Jak je SiMA schopna tak dramaticky snížit spotřebu energie ve srovnání se svými konkurenty?

Náš MLSoC je základní motor, který skutečně umožňuje vše, je důležité rozlišit, že nemáme na mysli akcelerátor strojového učení. Pro 2 miliardy dolarů investovaných do startupů edge ML SoC, každá průmyslová odpověď na inovace byla blokem akcelerátoru ML jako jádra nebo čipu. Co lidé nerozpoznávají, je to, že k přechodu lidí z klasického SoC na prostředí ML je potřeba prostředí MLSoC, aby lidé mohli běžet stávající kód od prvního dne a postupně v rizikově zmírněném způsobem nasadit svou kapacitu do komponenty ML nebo jednoho dne dělají sémantickou segmentaci pomocí klasického počítačového vidění a další den mohli dělat to pomocí přístupu ML, ale jedním způsobem nebo druhým umožňujeme našim zákazníkům příležitost nasadit a rozdělit jejich problém, jak uznají za vhodné, pomocí klasického počítačového vidění, klasického zpracování ARM systémů nebo heterogenního výpočtu ML. Pro nás není strojové učení konečným produktem a proto akcelerátor ML nebude sám o sobě úspěšný, strojové učení je schopností a nástrojem, který umožňujeme našim zákazníkům, aby mohli pomocí metodiky stisknutí tlačítka iterovat návrh předzpracování, následného zpracování, analýz a urychlení ML na jediné platformě, zatímco dodáváme nejvyšší systémový výkon aplikace při nejnižší spotřebě energie.

Jaké jsou některé z hlavních priorit trhu pro SiMa?

Identifikovali jsme několik klíčových trhů, z nichž některé jsou rychlejší na výnosy než ostatní. Nejrychlejší doba na výnosy je chytré vidění, robotika, průmysl 4.0 a drony. Trhy, které vyžadují více času kvůli kvalifikačním procesům a požadavkům norem, jsou automobilový a zdravotnický průmysl. Prosadili jsme se ve všech výše uvedených oblastech, pracujeme s nejlepšími hráči v každé kategorii.

Obecně je zachycení obrazu na okraji, zatímco analýza je v cloudu. Jaké jsou výhody posunutí této strategie nasazení?

Aplikace na okraji vyžadují, aby zpracování probíhalo lokálně, pro mnoho aplikací není dostatek času na to, aby data šla do cloudu a zpět. Schopnosti strojového učení jsou zásadní pro aplikace na okraji, protože rozhodnutí musí být učiněna v reálném čase, například v aplikacích autonomního řízení a robotice, kde musí být rozhodnutí zpracována rychle a efektivně.

Proč by měly podniky zvážit řešení SiMa oproti vašim konkurentům?

Náš jedinečný přístup softwarově orientovaného řešení baleného s kompletním hardwarovým řešením. Soustředili jsme se na kompletní řešení, které řeší to, co nazýváme Any, 10x a Pushbutton jako jádro zákaznických problémů. Původní teze pro společnost spočívá v tom, že stisknete tlačítko a dostanete WOW! Zkušenost se skutečně musí abstrahovat do bodu, kde chcete, aby tisíce vývojářů používali, ale nechcete, aby všichni byli génii strojového učení, nechcete, aby všichni ručně nastavovali vrstvu po vrstvě, aby získali požadovaný výkon, chcete, aby zůstali na nejvyšší úrovni abstrakce a rychle nasadili bezproblémové strojové učení. Teze, proč jsme se této věci chytili, spočívá v silné korelaci se škálováním, které skutečně potřebuje být bezproblémovou zkušeností se strojovým učením a nevyžaduje mnoho individuálního vedení a poskytování služeb, které by stály v cestě škálování.

První rok jsme navštívili více než 50 zákazníků po celém světě a snažili se pochopit: pokud všichni chcete ML, proč je nenasazujete? Co vám brání ve smysluplném nasazení a co je potřeba pro jeho skutečně rozsáhlé zavedení? Došli jsme ke třem hlavním pilířům. Prvním je ANY, tedy podpora nejrůznějších možností. Musíme řešit problémy velmi širokého okruhu zákazníků a způsobů použití i rozdíly mezi sítěmi ML, senzory, snímkovými frekvencemi a rozlišením. Jde o velmi různorodý svět, v němž má každý trh zcela jiné vstupní části systému. Kdybychom pokryli jen úzký výsek, nemohli bychom vybudovat ekonomicky životaschopnou společnost. Musíme vytvořit vstupní cestu pro velmi širokou škálu aplikací, obrazně řečeno jakýsi Ellis Island pro vše, co souvisí s počítačovým viděním. Zákazníci mohou používat TensorFlow, Python, obrazový senzor s rozlišením 1080 nebo 4K. Na tom nezáleží, pokud tyto různé vstupy dokážeme sjednotit a všechny přijmout. Bez takto široce použitelné vstupní části nemáte škálovatelnou společnost.

Druhým pilířem je 10x. Zákazníkům brání v nasazování a vytváření odvozených platforem také to, že při tvorbě nového modelu nebo zpracovatelského řetězce musejí začínat znovu od nuly. Jako startup navíc musíme nabídnout něco natolik zajímavého a přesvědčivého, aby lidé byli ochotni podstoupit riziko spolupráce se začínající firmou díky desetinásobnému výkonu. Hlavním technickým ukazatelem, na který se u počítačového vidění soustředíme, je počet snímků za sekundu na watt. Musíme být nesrovnatelně lepší než ostatní, abychom si udrželi náskok jedné či dvou generací. To jsme začlenili do našeho softwarově orientovaného přístupu. Vznikla tak heterogenní výpočetní platforma, která umožňuje zpracovat celý řetězec počítačového vidění na jediném čipu a dosáhnout desetinásobného výkonu oproti jiným řešením. Třetí pilíř, Pushbutton neboli ovládání stiskem tlačítka, vychází z potřeby skutečně škálovat ML ve vestavěných okrajových zařízeních. Nástrojové řetězce ML jsou stále v počátcích a často nefungují správně; žádná společnost dosud nevytvořila skutečně špičkové softwarové prostředí pro ML. U vestavěných systémů je důležité skrýt složitost jejich kódu a zároveň nabídnout iterativní proces pro rychlé úpravy, aktualizace a optimalizaci platforem. Zákazníci potřebují ovládání stiskem tlačítka, které jim poskytne odpověď či řešení během minut místo měsíců. Any, 10x a Pushbutton se tak staly hlavními přínosy naší nabídky. Uvědomili jsme si, že pokud tyto tři věci zvládneme výborně, přineseme zásadní pokrok ve snadném používání ML i jeho škálování ve vestavěných okrajových zařízeních.

Je něco jiného, co byste chtěli sdílet o SiMa?

V raném vývoji platformy MLSoC jsme tlačili hranice technologie a architektury. Šli jsme proti všem konvenčním moudrům se softwarově orientovanou platformou, která byla zcela novým přístupem. Cesta, kterou jsme museli projít, abychom to vyřešili a poté implementovali, byla obtížná.

Nedávné monumentální vítězství potvrzuje sílu a originalitu technologie, kterou jsme postavili. SiMa.ai dosáhla významného milníku v dubnu 2023, když překonala stávajícího lídra v našem debutu MLPerf Benchmark výkonu v kategorii Closed Edge Power. Jsme hrdí být první startup, který se zúčastnil a dosáhl vítězných výsledků v nejoblíbenějším a nejlépe uznávaném MLPerf benchmarku Resnet-50 v oblasti výkonu a spotřeby energie.

Začali jsme s velkými ambicemi a dodnes jsem hrdý říci, že naše vize zůstala nezměněna. Náš MLSoC byl účelově navržen, aby šel proti průmyslovým normám pro poskytování revolučního řešení strojového učení pro trh embedded edge.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit SiMa.ai.