Nick Romano, medgrundare och VD för Deeplite – Intervjuserie

Nick Romano är medgrundare och VD för Deeplite, en AI-driven optimeringslösning som gör djupa neuronnät snabbare, mindre och energisnålare från molnet till edge-computing.

Nick är en serieentreprenör och en framgångsrik VD som har levererat framgångsrika resultat i över 20 år. Nyligen var han med och grundade och skalfade ett företags-SaaS-plattform med multi-miljon-dollar-återkommande intäkter och över 100 anställda. Han har hedrats av McMaster University Engineering som en av de 150 bästa alumner.

Vad var det som initialt drog dig till AI?

Jag har varit i teknikbranschen i över 25 år och har sett många cykler och trender, några hype och några riktiga. AI är ett dynamiskt och växande område, och det jag älskar med det är hur tekniken kan användas på så många olika sätt för att förbättra hur människor lever och arbetar. Jag ville vara en del av den här rörelsen. Men det finns utmaningar med att ta AI till verkliga världen. Det kräver mycket beräkningskapacitet och energi för att AI ska fungera ordentligt – det är beräkningsintensivt. Det är okej i ett labb, men om det är för stort eller för långsamt eller tar för mycket ström, är det svårt att ta AI till verkliga världen. Det är vår mission och den riktiga attraktionen för mig – att möjliggöra AI för vardagslivet.

Kan du berätta om bakgrunden till Deeplite?

Idén till Deeplite började i TandemLaunch-incubatorn i Montreal. Davis Sawyer, som nu är vår chief product officer och en AI-domänexpert, och Ehsan Saboori, som nu är vår CTO och är hjärnan bakom vår IP, började utveckla tekniken där. Jag gick med i företaget 2019, med mina många års erfarenhet av teknikledning och skalning av företag, och vi lanserade officiellt Deeplite som ett företag i mitten av 2019. Nu har vi över 20 anställda med kontor i Montreal och Toronto, och vi meddelade en 6-miljoner-dollar-serie-seed i april 2021.

Varför är det viktigt att integrera AI-behandling direkt i hårdvaran istället för i molnet i vissa användningsfall som autonoma fordon och drönare?

Det finns många skäl till varför du vill köra din inferens, AI-beslutsprocessen, vid datapunkten istället för i molnet. Det största skälet i kritiska tillämpningar som autonoma fordon är vad som kallas latens, som i princip betyder hur lång tid AI tar på sig att fatta ett beslut. Om du behöver samla in data, skicka dem till molnet för inferens och sedan returnera resultaten, kommer det att ta mycket längre tid än att göra det lokalt i realtid. I autonom körning är millisekunder viktiga.

Andra skäl inkluderar sekretess, att hålla känsliga data lokalt istället för att skicka dem till molnet, och naturligtvis anslutning, som i avsaknad av molninferens. De komplexa djupa neurala nätverken som driver AI kräver mycket beräkningskraft för att köra, de använder mycket minne och de förbrukar mycket ström, så AI-lösningar tvingades använda molnet. Så för att komma ut ur molnet och göra AI köra lokalt på kanten i ett fordon eller en drönare, till exempel, måste du hitta ett sätt att minska den totala storleken och effektförbrukningen på modellen, så att den kan köras direkt på hårdvaran – enheten – med mycket färre resurser. Det är viktigt att bryta igenom den här barriären för att ta AI till många fler enheter som tjänar människor varje dag. Det är där Deeplite kommer in.

Kan du berätta om vad Deeplite Neutrino är specifikt?

Vår Neutrino-plattform transformerar AI, specifikt djupa neurala nätverk eller DNN, till en ny formfaktor som är mindre, snabbare och mindre energikrävande än dess ursprungliga form. Med Deeplite Neutrino kan AI-team fokusera på att träna sina modeller för noggrannhet, hur ofta beslutet är korrekt, och använda vår plattform för att optimera AI-modellen så att den kan distribueras till begränsad hårdvara på kanten. Deeplite Neutrino gör detta utan att kompromissa med den ursprungliga noggrannheten hos AI. I princip tar vi stora AI-modeller och gör dem mindre, snabbare och mer energisnåla. Det slutliga målet är att ta AI ut ur labbet och in i den verkliga världen i de saker vi använder varje dag.

Hur kan Deeplite Neutrino göra AI som är mer effektiv, snabbare, mindre och mer kraftfull utan att kompromissa med noggrannheten i den ursprungliga modellen?

Vi använder en ny, multi-objekt-utformningsutrymme-explorationsmetod. Vi använder den ursprungliga modellen som en sorts “lärar”-modell och sedan utforskar vi modellens arkitektur för att hitta den bästa “elev”-modellen som uppfyller de designbegränsningar som specificeras av Deeplite-användaren för att automatiskt optimera DNN-modeller och göra dem betydligt snabbare, mindre och mer energisnål utan att offra prestanda.

Vilka är några av de främsta användningsfallen för att använda den här typen av AI?

Medan vi inte är begränsade till detta, ligger vårt nuvarande fokus på datorseende och perception-baserad AI. Vår AI-teknik används i autonoma fordon, drönare, kameror, mobiltelefoner, sensorer och andra IoT-enheter. Vi ser också nya tillämpningar för det nyligen, inklusive en smart tandborste och en smart kaffebryggare. Vi arbetar även med ett ledande internationellt leksaksföretag som använder det för spelutveckling. Det som är otroligt spännande och belönande med det vi gör är mångfalden av tillämpningar vi ser komma till marknaden där vi kan hjälpa det att komma till liv.

Vad är din syn på federerat lärande och hur kommer det att påverka framtiden för maskinlärande?

Att träna modeller kräver mycket data och mycket beräkningskraft. Ju större mångfalden av användningsfall, desto mer data som krävs, och desto mer beräkningskraft som behövs för att träna modellen till en tillfredsställande noggrannhetsnivå. Med federerat lärande sker träningen på kanten i varje enhet baserat på lokala dataförhållanden. Detta kan göra träningen mer effektiv (varför träna för en känguru som korsar vägen i Alaska) och är också en stor vinst för sekretess, eftersom träningsdata – till exempel någons ansikte – inte skickas till en central server.

Med tanke på att vår optimeringsprocess innefattar vad vi kallar en “träningsloop” för att bevara noggrannheten i den optimerade modellen, är vårt slutliga mål att ha det vi gör som en del av den initiala träningsprocessen, snarare än som en andra passage. Just nu är detta aspirerande, men det är en del av vårt långsiktiga mål.

Hur lockar du till dig talanger och hjärnkraft som behövs som startup?

Det är en stor utmaning att locka till sig rätt AI-talang idag – det finns för få människor där ute och konkurrensen om att rekrytera är hög. Vårt team är otroligt. De är en magnet för talang i sig. Vi har potentiella rekryter som talar och intervjuar med vårt team. När de ser kalibern på människor på Deeplite, vill de vara här. Som startup erbjuder vi en bra kultur och möjligheten att arbeta med något nytt och framväxande som kan vara en spelväxlare för många olika industrier och produkter. Jag tror att den möjligheten, tillsammans med teamet, är nyckeln till att vi lockar till oss topp-talang. Vi är också strategiskt belägna i två stora nordamerikanska AI-hubbar, Montreal och Toronto, vilket hjälper. Som ett kanadensiskt företag utnyttjar vi regeringens Global Talent Stream-program. Vi kan rekrytera var som helst i världen, sponsra nya rekryter och snabbt spåra dem till Kanada.

Har du några råd till andra entreprenörer inom AI-området?

Detta går utöver AI, men som en återkommande entreprenör har jag lärt mig hur viktigt det är att ha familjestöd, eftersom beslutet att bli entreprenör inte är ett individuellt beslut – det påverkar alla – makar och barn inklusive. Alla är en del av resan med dig, och alla gör uppoffringar. Du måste erkänna och uppskatta det, och det är så familjer kan stanna tillsammans under resan.

Finns det något annat du vill dela om Deeplite?

En av de unika aspekterna av Deeplite är våra medgrundare. Davis är i mitten av 20-årsåldern och är extremt smart och energisk. Han är definitivt en domänexpert i vad vi gör. Ehsan är en iransk invandrare med en doktorsexamen, och som tidigare nämnts, är han hjärnan bakom vår IP. Och jag är en 50+-årig veteran som har byggt företag tidigare. De tre oss är en intressant kombination som bidrar med olika styrkor och erfarenheter till bordet. Jag är mycket tacksam för att jag har så bra partners och är omgiven av ett sådant bra team.

Tack för den underbara intervjun, jag ser fram emot att följa Deeplites framsteg och det är ett företag som kommer att vara på min radar. Läsare som vill lära sig mer kan besöka Deeplite.