Krishna Rangasayee, Założyciel i Dyrektor Generalny SiMa.ai – Seria wywiadów

Krishna Rangasayee jest założycielem i dyrektorem generalnym SiMa.ai. Wcześniej Krishna pełnił funkcję dyrektora operacyjnego w Groq i przez 18 lat pracował w Xilinx, gdzie zajmował różne stanowiska kierownicze, w tym wiceprezesa i dyrektora generalnego całego biznesu oraz wiceprezesa ds. sprzedaży na całym świecie. Podczas pracy w Xilinx, Krishna doprowadził do wzrostu biznesu do 2,5 miliarda dolarów przy marży brutto wynoszącej 70%, tworząc podstawy dla 10+ kwartałów zwiększonego wzrostu sekwencyjnego i ekspansji udziału w rynku. Przed dołączeniem do Xilinx, pełnił różne role inżynierskie i biznesowe w Altera Corporation i Cypress Semiconductor. Posiada ponad 25 międzynarodowych patentów i zasiadał w radach dyrektorów spółek publicznych i prywatnych.

Czym było to, co początkowo przyciągnęło Cię do machine learning?

Przez ostatnie 20 lat poznawałem rynki systemów wbudowanych przetwarzających dane na brzegu sieci oraz chmury. Zobaczyłem wiele innowacji w chmurze, ale bardzo niewiele w kierunku umożliwienia machine learning na edge. Jest to ogromnie zaniedbany rynek o wartości 40+ miliardów dolarów, który przetrwał przez dekady dzięki starej technologii.

Podjęliśmy się więc czegoś, czego nikt wcześniej nie zrobił – umożliwienie Effortless ML dla embedded edge.

Czy mógłbyś podzielić się historią powstania SiMa?

W mojej 20-letniej karierze nie widziałem jeszcze innowacji architektonicznej w rynku embedded edge. Jednak potrzeba machine learning na edge rosła w chmurze i elementach IoT. To dowodzi, że podczas gdy firmy żądają machine learning na edge, technologia, aby to uczynić rzeczywistością, jest zbyt stara, aby działać.

Dlatego przed rozpoczęciem pracy nad naszą platformą, było dla nas ważne, aby zrozumieć największe wyzwania naszych klientów. Jednak uzyskanie od nich czasu na spotkanie z wczesnym startupem, aby uzyskać wartościowe i szczere informacje zwrotne, było wyzwaniem samym w sobie. Na szczęście, nasz zespół i ja mogliśmy wykorzystać naszą sieć z poprzednich relacji, aby umocnić wizję SiMa.ai z odpowiednimi, ukierunkowanymi firmami.

Spotkaliśmy się z ponad 30 klientami i zadaliśmy dwa podstawowe pytania: “Jakie są największe wyzwania związane ze skalowaniem machine learning do embedded edge?” i “Jak możemy pomóc?” Po wielu dyskusjach na temat, jak chcieli zmienić branżę i słuchając ich wyzwań, aby to osiągnąć, uzyskaliśmy głębokie zrozumienie ich problemów i opracowaliśmy pomysły na ich rozwiązanie. Obejmowały one:

• Uzyskanie korzyści z machine learning bez konieczności przechodzenia wymagającego procesu nauki.
• Zachowanie dotychczasowych aplikacji przy jednoczesnym przygotowaniu wdrożeń ML na przyszłe potrzeby.
• Korzystanie z wydajnego, energooszczędnego rozwiązania w środowisku przyjaznym użytkownikowi.

Szybko zrozumieliśmy, że musimy dostarczyć podejście etapowe ograniczające ryzyko, aby pomóc naszym klientom. Jako startup musieliśmy przynieść coś tak przekonywującego i różniącego się od innych. Żadna inna firma nie rozwiązywała tego wyraźnego zapotrzebowania, więc wybraliśmy tę ścieżkę.

SiMa.ai osiągnęło to rzadkie osiągnięcie, projektując od podstaw pierwszą na świecie platformę Machine Learning System-on-Chip (MLSoC), która jest software-centric i purpose-built. Dzięki połączeniu układu scalonego i oprogramowania, machine learning może teraz być dodany do aplikacji embedded edge za pomocą jednego przycisku.

Czy mógłbyś podzielić się swoją wizją, jak machine learning zmieni wszystko, aby być na edge?

Większość firm machine learning koncentruje się na rynkach o wysokim wzroście, takich jak chmura i samochody autonomiczne. Jednak to robotyka, drony, handel detaliczny bez zbędnych utrudnień dla klienta, inteligentne miasta i automatyzacja przemysłowa wymagają najnowszej technologii machine learning, aby poprawić wydajność i obniżyć koszty.

Te rosnące sektory w połączeniu z bieżącymi frustracjami związanymi z wdrożeniem machine learning na edge są powodem, dla którego uważamy, że czas jest odpowiedni do wykorzystania tej okazji. SiMa.ai podejmuje to wyzwanie w zupełnie inny sposób; chcemy uczynić powszechne przyjęcie rzeczywistością.

Co dotąd uniemożliwiało skalowanie machine learning na edge?

Machine learning musi łatwo integrować się z systemami legacy. Firmy z listy Fortune 500 i startupy mają duże inwestycje w swoje bieżące platformy technologiczne, ale większość z nich nie przebuduje całkowicie swojego kodu ani nie zmieni całej swojej infrastruktury, aby zintegrować machine learning. Aby złagodzić ryzyko i wykorzystać korzyści machine learning, musi istnieć technologia, która umożliwia bezproblemową integrację kodu legacy oraz machine learning w ich systemach. To tworzy łatwą ścieżkę do opracowania i wdrożenia tych systemów, aby spełnić potrzeby aplikacji i zapewnić korzyści wynikające z inteligencji machine learning.

Nie ma pojedynczych ogromnych wdrożeń układów ani jednego dużego klienta, który sam zasadniczo zmieniłby skalę działalności, więc nie mieliśmy wyboru, musieliśmy być w stanie wspierać ponad 1000 klientów, aby naprawdę skalować machine learning i udostępnić im te możliwości. Odkryliśmy, że ci klienci mają pragnienie machine learning, ale nie mają zdolności do uzyskania doświadczenia uczenia się, ponieważ brakuje im wewnętrznej zdolności do budowy i nie mają wewnętrznej bazy wiedzy. Chcą wdrożyć doświadczenie machine learning, ale bez krzywej uczenia się na edge i to, co szybko wynika, to, że musimy uczynić to doświadczenie machine learning bardzo łatwym dla klientów.

Jak SiMA jest w stanie tak dramatycznie zmniejszyć zużycie energii w porównaniu z konkurentami?

Nasza platforma MLSoC jest podstawowym silnikiem, który naprawdę umożliwia wszystko, ważne jest, aby odróżnić, że nie budujemy akceleratora machine learning. Dla 2 miliardów dolarów zainwestowanych w startupy edge ML SoC, każda branżowa odpowiedź na innowację była blokiem akceleratora machine learning jako rdzenia lub chipu. Co ludzie nie rozpoznają, to to, że aby przenieść ludzi z klasycznego SoC do środowiska machine learning, potrzebują platformy MLSoC, aby ludzie mogli uruchamiać kod legacy od pierwszego dnia i stopniowo, w sposób ograniczony ryzykiem, wdrożyć swoją zdolność do komponentu machine learning lub jednego dnia wykonywać segmentację semantyczną klasycznymi metodami widzenia komputerowego, a następnego robić to metodami ML, ale jeden czy drugi sposób, umożliwiamy naszym klientom wdrażanie i podział problemu według ich uznania, używając klasycznej wizji komputerowej, klasycznego przetwarzania ARM lub heterogenicznego obliczania machine learning. Dla nas machine learning nie jest produktem końcowym, a zatem akcelerator machine learning nie będzie sam w sobie udany, machine learning jest zdolnością i narzędziem dodatkowym do innych narzędzi, które umożliwiamy naszym klientom, aby używając metody push-button, mogli oni iterować swój projekt wstępnego przetwarzania, post-przetwarzania, analizy i przyspieszania machine learning na jednej platformie, dostarczając najwyższą wydajność systemu przy najniższym zużyciu energii.

Jakie są niektóre z głównych priorytetów rynkowych dla SiMa?

Wytypowaliśmy kilka kluczowych rynków, z których niektóre są szybsze w dochodzeniu do przychodu niż inne. Najkrótszy czas do osiągnięcia przychodu to inteligentna wizja, robotyka, przemysł 4.0 i drony. Rynki, które zajmują nieco więcej czasu ze względu na kwalifikacje i wymagania standardowe, to aplikacje samochodowe i opieki zdrowotnej. Rozpoczęliśmy pracę we wszystkich tych obszarach, współpracując z najlepszymi graczami w każdej kategorii.

Przechwytywanie obrazu było zwykle na edge, a analiza na chmurze. Jakie są korzyści ze zmiany tej strategii wdrożeniowej?

Aplikacje edge wymagają, aby przetwarzanie było wykonywane lokalnie, dla wielu aplikacji nie ma wystarczająco dużo czasu, aby dane mogły zostać wysłane do chmury i z powrotem. Możliwości machine learning są fundamentalne w aplikacjach edge, ponieważ decyzje muszą być podejmowane w czasie rzeczywistym, na przykład w aplikacjach samochodowych i robotyce, gdzie decyzje muszą być podejmowane szybko i efektywnie.

Dlaczego przedsiębiorstwa powinny rozważyć rozwiązania SiMa zamiast konkurentów?

Nasza unikalna metoda oparta na podejściu software-centric, zapakowana w kompletnym rozwiązaniu sprzętowym. Skoncentrowaliśmy się na kompletnym rozwiązaniu, które rozwiązuje to, co nazywamy Any, 10x i Pushbutton jako rdzeń problemów klientów. Oryginalna teza dla firmy brzmi: “naciśnij przycisk i uzyskaj WOW!”. Doświadczenie musi być uproszczone przez abstrakcję do punktu, w którym chcesz uzyskać tysiące deweloperów, aby je używać, ale nie chcesz, aby wszyscy byli geniuszami machine learning, nie chcesz, aby wszyscy musieli dostosowywać warstwy po warstwie, aby uzyskać pożądaną wydajność, chcesz, aby pozostali na najwyższym poziomie abstrakcji i szybko wdrożyli łatwe machine learning. Teza, dla której zdecydowaliśmy się na to, była bardzo silnie skorelowana ze skalowaniem, ponieważ naprawdę potrzebuje się łatwego doświadczenia machine learning i nie wymaga dużo wsparcia i zaangażowania usług, które mogą przeszkodzić w skalowaniu.

Przez pierwszy rok odwiedziliśmy ponad 50 klientów na świecie, starając się zrozumieć, dlaczego chcą ML, lecz go nie wdrażają, oraz czego potrzebują do wdrażania na dużą skalę. Wyłoniły się trzy filary. Pierwszy to ANY: musimy obsługiwać różnorodnych klientów i zastosowania, odmienne sieci ML, czujniki, liczby klatek na sekundę oraz rozdzielczości. Każdy rynek ma inne rozwiązania wejściowe; obsługa tylko wąskiego wycinka nie pozwoliłaby zbudować rentownej firmy. Potrzebny jest szeroki lejek przyjmujący niemal wszystkie zastosowania widzenia komputerowego — swoista Ellis Island dla tej dziedziny. Klient może używać TensorFlow, Pythona, kamery 1080 lub czujnika 4K. Musimy móc połączyć te różne wejścia w jednolite środowisko, aby firma mogła zwiększać skalę.

Drugi filar to 10x. Klienci mają trudności z wdrażaniem i tworzeniem kolejnych platform, ponieważ każdy nowy model lub potok wymaga zaczynania od zera. Jako startup musimy też zaoferować coś na tyle atrakcyjnego, by klienci podjęli ryzyko: dziesięciokrotną przewagę wydajności. W widzeniu komputerowym skupiamy się na liczbie klatek na sekundę na wat. Chcemy być zdecydowanie lepsi, aby utrzymywać przewagę jednej lub dwóch generacji. Nasze podejście skoncentrowane na oprogramowaniu doprowadziło do stworzenia heterogenicznej platformy obliczeniowej, która obsługuje cały potok widzenia komputerowego na jednym układzie i zapewnia dziesięciokrotną przewagę nad innymi rozwiązaniami.

Trzeci filar, Pushbutton, wynika z potrzeby rzeczywistego skalowania ML w systemach wbudowanych na brzegu sieci. Łańcuchy narzędzi ML są jeszcze niedojrzałe i często zawodzą; według nas żadna firma nie stworzyła dotąd światowej klasy środowiska oprogramowania ML. Na rynku systemów wbudowanych trzeba ukryć złożoność kodu, a równocześnie zapewnić iteracyjny proces szybkiej aktualizacji i optymalizacji platform. Klienci potrzebują obsługi jednym przyciskiem, która przynosi odpowiedź lub rozwiązanie w ciągu minut zamiast miesięcy. ANY, 10x i Pushbutton stały się naszymi kluczowymi propozycjami wartości: doskonała realizacja tych trzech elementów istotnie ułatwi ML i jego skalowanie na brzegu sieci.

Czy chciałbyś jeszcze czymś się podzielić na temat SiMa?

Na początku prac nad platformą MLSoC przesuwaliśmy granice technologii i architektury. Postawiliśmy wszystko na platformę skoncentrowaną na oprogramowaniu — zupełnie nowe podejście, sprzeczne z utartymi przekonaniami. Podróż w odkrywaniu i wdrażaniu tego była trudna.

Niedawne monumentalne zwycięstwo potwierdza siłę i wyjątkowość technologii, którą zbudowaliśmy. SiMa.ai osiągnęło kamień milowy w kwietniu 2023 roku, pokonując lidera w naszym debiutanckim MLPerf Benchmark wyniku w kategorii Closed Edge Power. Jesteśmy dumni, że jako pierwszy startup wzięliśmy udział i osiągnęliśmy zwycięskie wyniki w najpopularniejszym i najlepiej rozpoznanym MLPerf benchmarku Resnet-50 dla naszej wydajności i mocy.

Rozpoczęliśmy z ambitnymi aspiracjami i do dziś, jestem dumny, że mogę powiedzieć, że wizja pozostała niezmieniona. Nasza platforma MLSoC została zaprojektowana, aby iść przeciwko normom branżowym, aby dostarczyć rewolucyjne rozwiązanie machine learning do rynku embedded edge.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić SiMa.ai.