Nick Romano, medgrundare och VD för Deeplite – Interview Series

Nick Romano är medgrundare och VD för Djupt en AI-driven optimeringslösning för att göra Deep Neural Networks snabbare, mindre och energisnåla från moln till edge computing.

Nick är en serieentreprenör och duktig VD som har levererat framgångsrika resultat i över 20 år. Nyligen var han med och grundade en SaaS-plattform för företag med återkommande intäkter på flera miljoner dollar och över 100 anställda. Han har hedrats av McMaster University Engineering som en Top 150 Alumni.

Vad lockade dig från början till AI?

Jag har varit i teknikområdet i över 25 år och har sett många cykler och trender, en del hype och några verkliga. AI är ett dynamiskt och växande område, och det jag älskar med det är hur tekniken verkligen kan användas på så många olika sätt för att förbättra hur människor lever och arbetar. Jag ville vara en del av den här rörelsen. Det finns dock utmaningar med att ta AI till verkliga miljöer. Det krävs mycket datorkapacitet och energi för att få AI att fungera korrekt – det är beräkningsintensivt. Det är bra i ett labb, men om det är för stort eller för långsamt eller tar för mycket kraft är det svårt att ta med AI till verkliga scenarier. Det är vårt uppdrag och den verkliga attraktionen för mig – att möjliggöra AI för vardagen.

Kan du dela med dig av historien bakom Deeplite?

Idén till Deeplite startade i TandemLaunch-inkubatorn i Montreal. Davis Sawyer, som nu är vår produktchef och en AI-domänexpert, och Ehsan Saboori, som nu är vår CTO och verkligen är hjärnan bakom vår IP, började utveckla tekniken där. Jag gick med dem under 2019, vilket gav mitt många år av teknikledarskap och skalning av företag till bordet, och vi lanserade officiellt Deeplite som ett företag i mitten av 2019. Nu har vi över 20 anställda med kontor i Montreal och Toronto, och vi tillkännagav en $6 miljoner Serie Seed i april 2021.

Varför är det så viktigt att bädda in AI-bearbetning direkt i hårdvara kontra molnet i vissa användningsfall som autonoma fordon och drönare?

Det finns många anledningar till varför du vill köra din slutsats, AI-beslutsprocessen, vid punkten för datafångst kontra molnet. Förmodligen den största anledningen i uppdragskritiska applikationer som autonoma fordon är vad som kallas latens, vilket i princip betyder hur lång tid det tar för AI att fatta ett beslut. Om du behöver fånga data, skicka den till molnet för slutledning och sedan returnera resultaten, vilket uppenbarligen kommer att ta mycket längre tid än att göra det lokalt i realtid. Vid autonom körning spelar millisekunder stor roll.

Andra orsaker inkluderar integritet, att hålla känslig data lokal kontra att skicka till molnet och, naturligtvis, anslutning som i sin frånvaro gör moln slutledning omtvistad. De komplexa djupneutrala nätverken som driver AI kräver mycket datorkraft för att köras, de använder mycket minne och de förbrukar mycket ström, så AI-lösningar tvingades använda molnet. Så för att komma ut ur molnet och få AI att köra lokalt vid kanten i exempelvis ett fordon eller en drönare, måste du hitta ett sätt att minska modellens totala storlek och kraftprofil, så att den kan köras direkt på hårdvaran – enheten – med mycket färre resurser. Det är viktigt att bryta igenom denna barriär för att få AI till mycket fler enheter som betjänar människor varje dag. Det är där Deeplite kommer in.

Kan du berätta för oss vad Deeplite Neutrino är specifikt?

Vår Neutrino-plattform förvandlar AI, speciellt djupa neurala nätverk eller DNN:er, till en ny formfaktor som är mindre, snabbare och mindre strömkonsumerande än sin ursprungliga form. Med Deeplite Neutrino kan AI-team fokusera på att träna sina modeller för noggrannhet, hur ofta beslutet är korrekt, och använda vår plattform för att optimera AI-modellen så att den kan distribueras i begränsad hårdvara vid kanten. Deeplite Neutrino gör detta utan att kompromissa med AI:s ursprungliga noggrannhet. I huvudsak tar vi stora AI-modeller och gör dem mindre, snabbare och mer energieffektiva. Slutmålet är att få ut AI från labbet och in i den verkliga världen i de saker vi använder varje dag.

Hur kan Deeplite Neutrino göra AI som är effektivare, snabbare, mindre och kraftfullare utan att kompromissa med originalmodellens noggrannhet?

Vi använder en ny multi-objektiv design för utforskning av rymden. Vi använder den ursprungliga modellen som en sorts "lärare"-modell och utforskar sedan arkitekturen för modellen och letar efter den bästa "student"-modellen som uppfyller designbegränsningarna som specificerats av Deeplite-användaren för att automatiskt optimera DNN-modeller och göra dem betydligt snabbare, mindre och mer strömsnål utan att offra prestanda.

Vilka är några av de vanligaste användningsfallen för att använda denna typ av AI?

Även om vi inte är begränsade till detta, är vårt nuvarande fokus på datorseende och perceptionsbaserad AI. Vår AI-teknik används i autonoma fordon, drönare, kameror, mobiltelefoner, sensorer och andra IoT-enheter. Vi ser också nya applikationer för det på sistone, inklusive en smart tandborste och en smart kaffebryggare. Vi arbetar till och med med ett ledande internationellt leksaksföretag som använder det för spelutveckling. Det som är otroligt spännande och givande med det vi gör är mångfalden av applikationer vi ser komma ut på marknaden där vi kan hjälpa dem att bli levande.

Vad är dina åsikter om federerat lärande och hur det kommer att påverka framtiden för maskininlärning?

Träningsmodeller kräver mycket data och mycket datorkraft. Ju större mångfalden av användningsfall är, desto mer data krävs och desto mer beräkningstid behövs för att träna modellen till en tillfredsställande noggrannhetsnivå. Med federerad inlärning orkestreras träning vid kanten i varje enhet baserat på lokala dataförhållanden. Detta kan göra träningen mer effektiv (varför träna efter en känguru som korsar vägen i Alaska) och är också en stor vinst för integriteten eftersom träningsdata – till exempel någons ansikte – inte skickas till en central server.

Med tanke på att vår optimeringsprocess involverar vad vi kallar en "träningsslinga" för att bevara noggrannheten hos den optimerade modellen, skulle vårt slutmål vara att ha det vi gör vara en del av den inledande träningsprocessen snarare än som ett andra pass. Just nu är detta ambitiöst, men det är en del av vårt långsiktiga mål.

Hur attraherar man som startup den talang och hjärnkraft som behövs?

Det är en stor utmaning att attrahera rätt AI-talanger idag – det finns för få människor där ute och konkurrensen att rekrytera är stor. Vårt team är fantastiskt. De är själva en magnet för talang. Vi har blivande anställda som talar och intervjuar vårt team. När de väl ser kalibern av människor på Deeplite vill de vara här. Som startup erbjuder vi en fantastisk kultur och möjlighet att arbeta med något nytt och framväxande som kan vara en game-changer för många olika branscher och produkter. Jag tror att den möjligheten, tillsammans med laget, är nyckeln till att vi kan attrahera topptalanger. Vi är också strategiskt placerade i två stora nordamerikanska AI-hubbar, Montreal och Toronto, vilket hjälper. Som ett kanadensiskt företag utnyttjar vi också regeringens Global Talent Stream-program. Vi kan rekrytera var som helst i världen, sponsra nyanställda och snabbspåra dem till Kanada.

Har du några råd till andra entreprenörer inom AI-området?

Detta går utöver AI, men som en återkommande entreprenör har jag lärt mig hur viktigt det är att ha familjestöd, eftersom beslutet att vara entreprenör inte är individuellt – det påverkar alla – makar och barn inklusive. Alla är en del av resan med dig, och alla gör uppoffringar. Det måste man inse och uppskatta, och det är så familjer kan hålla ihop under hela resan.

Finns det något mer du skulle vilja dela med dig av om Deeplite?

En av de unika aspekterna av Deeplite är våra medgrundare. Davis är i mitten av 20-årsåldern och är extremt smart och energisk. Han är definitivt en domänexpert på det vi gör. Ehsan är en iransk invandrare med en doktorsexamen och är som tidigare nämnt den verkliga hjärnan bakom vår IP. Och jag är en 50+-årig veteran som har byggt företag tidigare. Vi tre är en intressant kombination som ger olika styrkor och erfarenheter till bordet. Jag är väldigt tacksam för att jag har så fantastiska partners och är omgiven av ett så bra team.

Tack för den fantastiska intervjun, jag ser fram emot att följa utvecklingen av Deeplite och det är ett företag som kommer att finnas på min radar. Läsare som vill veta mer bör besöka Djupt.