Nick Romano, medstifter og administrerende direktør i Deeplite – Intervju-serie

Nick Romano er medstifter og administrerende direktør i Deeplite, en AI-dreven optimeringsløsning til at gøre dybe neurale netværk hurtigere, mindre og mere energivenlige fra cloud til edge-computing.

Nick er en serieiværksætter og en erfaren administrerende direktør, der har leveret succesfulde resultater i over 20 år. For nylig har han medstiftet og udvidet en virksomheds SaaS-platform med multimillion-dollar-rekurrerende indtægter og over 100 ansatte. Han er blevet hædret af McMaster University Engineering som en af de 150 bedste alumner.

Hvad var det, der oprindeligt tiltrak dig til AI?

Jeg har været i teknologibranchen i over 25 år og har set mange cykler og tendenser, nogle hype og nogle virkelige. AI er et dynamisk og voksende felt, og det, jeg elsker ved det, er, hvordan teknologien kan bruges på så mange forskellige måder til at forbedre, hvordan mennesker lever og arbejder. Jeg ville være en del af denne bevægelse. Men der er udfordringer ved at tage AI til virkelige verdensmiljøer. Det kræver en masse beregningskapacitet og energi for at få AI til at fungere ordentligt – det er beregningsintensivt. Det er fint i et laboratorium, men hvis det er for stort eller for langsomt eller bruger for meget strøm, er det svært at bringe AI til virkelige scenarier. Det er vores mission og den virkelige tiltrækning for mig – at aktivere AI til hverdagslivet.

Kan du fortælle os om baggrunden for Deeplite?

Idéen til Deeplite startede i TandemLaunch-inkubatoriet i Montreal. Davis Sawyer, der nu er vores chief product officer og en AI-domæneekspert, og Ehsan Saboori, der nu er vores CTO og er hjernen bag vores IP, startede med at udvikle teknologien der. Jeg sluttede mig til dem i 2019 og bragte mine mange års erfaring med teknologiledelse og virksomhedsudvikling til bordet, og vi lancerede officielt Deeplite som virksomhed i midten af 2019. Nu har vi over 20 ansatte med kontorer i Montreal og Toronto, og vi annoncerede en $6 millioner Series Seed i april 2021.

Hvorfor er det vigtigt at integrere AI-behandling direkte i hardware i stedet for i cloud i visse use cases som f.eks. autonome køretøjer og droner?

Der er mange grunde til, at du vil køre din inferens, AI-beslutningsprocessen, ved datapunktet i stedet for i cloud. Sandsynligvis den største grund i mission-kritiske anvendelser som autonome køretøjer er, hvad der kaldes latency, der grundlæggende betyder, hvor lang tid AI tager til at træffe en beslutning. Hvis du skal indsamle data, sende dem til cloud til inferens og derefter returnere resultaterne, vil det tage meget længere tid end at gøre det lokalt i realtid. I autonome køretøjer betyder millisekunder meget.

Andre grunde inkluderer privatliv, hvor du holder følsomme data lokalt i stedet for at sende dem til cloud, og selvfølgelig forbindelse, som i dens fravær gør cloud-inferens meningsløs. De komplekse dybe neurale netværk, der driver AI, kræver en masse beregningskraft for at køre, de bruger en masse hukommelse, og de forbruger en masse strøm, så AI-løsninger blev tvunget til at bruge cloud. Så for at komme ud af cloud og få AI til at køre lokalt på kanten i et køretøj eller en drone, f.eks., skal du finde en måde at reducere den samlede størrelse og strømforbrug af modellen på, så den kan køre direkte på enheden – enheden – med langt færre ressourcer. Det er vigtigt at bryde gennem denne barriere for at bringe AI til langt flere enheder, der betjener mennesker hver dag. Det er, hvor Deeplite kommer ind.

Kan du fortælle os, hvad Deeplite Neutrino specifikt er?

Vores Neutrino-platform transformerer AI, specifikt dybe neurale netværk eller DNN’er, til en ny formfaktor, der er mindre, hurtigere og mindre strømforbrugende end dens oprindelige form. Med Deeplite Neutrino kan AI-hold fokusere på at træne deres modeller til nøjagtighed, hvor ofte beslutningen er korrekt, og bruge vores platform til at optimere AI-modellen, så den kan deployes i begrænsede hardware på kanten. Deeplite Neutrino gør dette uden at gå på kompromis med den oprindelige nøjagtighed af AI’en. I virkeligheden tager vi store AI-modeller og gør dem mindre, hurtigere og mere energivenlige. Det endelige mål er at få AI ud af laboratoriet og ind i den virkelige verden i de ting, vi bruger hver dag.

Hvordan kan Deeplite Neutrino gøre AI, der er mere effektiv, hurtigere, mindre og mere kraftfuld uden at gå på kompromis med nøjagtigheden af den oprindelige model?

Vi bruger en ny multi-objekt-design-eksplorationsmetode. Vi bruger den oprindelige model som en slags “lærer”-model og derefter undersøger modellens arkitektur for at finde den bedste “elev”-model, der opfylder designbegrænsningerne, der er specificeret af Deeplite-brugeren, for automatisk at optimere DNN-modeller og gøre dem betydeligt hurtigere, mindre og mere strømvenlige uden at gå på kompromis med ydelsen.

Hvad er nogle af de bedste use cases for at bruge denne type AI?

Vi er ikke begrænset til dette, men vores nuværende fokus er på computer vision og perception-baseret AI. Vores AI-teknologi bruges i autonome køretøjer, droner, kameraer, mobiltelefoner, sensorer og andre IoT-enheder. Vi ser også nye anvendelser for det, herunder en intelligent tandbørste og en intelligent kaffemaskine. Vi arbejder endda med en førende international legetøjsvirksomhed, der bruger det til spiludvikling. Det, der er utrolig spændende og belønnende om, hvad vi gør, er diversiteten af anvendelser, vi ser komme på markedet, hvor vi kan hjælpe det til at komme til live.

Hvad er dine synspunkter på federeret læring og hvordan vil det påvirke fremtidens maskinlæring?

Træning af modeller kræver en masse data og en masse beregningskraft. Jo større diversitet af use cases, desto mere data, der kræves, og desto mere beregnings tid, der er nødvendig for at træne modellen til en tilfredsstillende nøjagtighed. Med federeret læring udføres træning på kanten i hver enhed baseret på lokale dataforhold. Dette kan gøre træning mere effektivt (hvorfor træne for en kænguru, der krydser vejen i Alaska) og er også en stor sejr for privatliv, da træningsdata – f.eks. en persons ansigt – ikke sendes til en central server.

Da vores optimeringsproces indebærer, hvad vi kalder en “træningsløkke” for at bevare nøjagtigheden af den optimerede model, vil vores endelige mål være at have, hvad vi gør, som en del af den oprindelige træningsproces i stedet for som en anden gang. Lige nu er dette aspirerende, men det er en del af vores langsigtede mål.

Som en startup, hvordan tiltrækker du det talent og den hjernekapacitet, der er nødvendig?

Det er en stor udfordring at tiltrække det rette AI-talent i dag – der er for få mennesker derude, og konkurrencen om at rekruttere er høj. Vores team er fantastisk. De er en magnet i sig selv for talent. Vi har potentielle ansøgere, der taler og interviewer med vores team. Når de ser kalibern af mennesker i Deeplite, vil de være her. Som en startup tilbyder vi en god kultur og muligheden for at arbejde på noget nyt og fremvoksende, der kan være en game-changer for mange forskellige industrier og produkter. Jeg tror, at denne mulighed, sammen med teamet, er nøglen til, at vi tiltrækker top-talent. Vi er også strategisk placeret i to af de største nordamerikanske AI-hub, Montreal og Toronto, hvilket hjælper. Som en canadisk virksomhed udnytter vi regeringens Global Talent Stream-program og kan rekruttere overalt i verden, sponsere nye ansættelser og hurtige dem ind i Canada.

Har du nogen råd til andre iværksættere i AI-branchen?

Dette går ud over AI, men som en gentagen iværksætter har jeg lært, hvor vigtigt det er at have familiestøtte, fordi beslutningen om at være iværksætter ikke er en individuel beslutning – den påvirker alle – ægtemænd og børn inklusive. Alle er en del af rejsen med dig, og alle ofrer noget. Du må erkende og værdsætte det og det er, hvordan familier kan blive sammen under rejsen.

Er der noget andet, du gerne vil dele om Deeplite?

En af de unikke aspekter af Deeplite er vores medstiftere. Davis er i midten af 20’erne og er ekstremt smart og energisk. Han er bestemt en domæneekspert i, hvad vi gør. Ehsan er en iransk immigrant med en ph.d. og er, som nævnt tidligere, hjernen bag vores IP. Og jeg er en 50+ år gammel veteran, der har bygget virksomheder før. De tre af os er en interessant kombination, der bringer forskellige styrker og erfaring til bordet. Jeg er meget taknemlig for, at jeg har så gode partnere og er omgivet af så et godt team.

Tak for det gode interview, jeg ser frem til at følge med i Deeplites fremgang, og det er en virksomhed, der vil være på min radar. Læsere, der ønsker at lære mere, kan besøge Deeplite.