Nick Romano, medgrunnlegger og CEO av Deeplite – Intervju-serie

Nick Romano er medgrunnlegger og CEO av Deeplite, en AI-drevet optimaliseringsløsning for å gjøre dype neurale nettverk raskere, mindre og mer energivennlige fra skyen til edge-computing.

Nick er en serial entrepreneur og en erfaren CEO som har levert suksessfulle resultater i over 20 år. Nylig var han med å grunnlegge og skala opp et enterprise SaaS-plattform med multimillion-dollar gjentakende inntekter og over 100 ansatte. Han har blitt hedret av McMaster University Engineering som en av de 150 beste alumner.

Hva var det som først tiltalte deg til AI?

Jeg har vært i teknologibransjen i over 25 år og har sett mange sykluser og trender, noen hype og noen virkelige. AI er et dynamisk og voksende felt, og det jeg elsker ved det er hvordan teknologien kan brukes på så mange forskjellige måter til å forbedre hvordan mennesker lever og arbeider. Jeg ville være en del av denne bevegelsen. Men det er utfordringer ved å ta AI til virkelige miljøer. Det krever mye beregningskapasitet og energi for å få AI til å fungere ordentlig – det er komputasjonsintensivt. Det er greit i et laboratorium, men hvis det er for stort eller for langsomt eller tar for mye strøm, er det vanskelig å bringe AI til virkelige scenarier. Det er vår misjon og den virkelige tiltrekningskraften for meg – å muliggjøre AI for hverdagslivet.

Kunne du dele historien bak Deeplite?

Idéen til Deeplite startet i TandemLaunch-inkubatoriet i Montreal. Davis Sawyer, som nå er vår chief product officer og en AI-domeneekspert, og Ehsan Saboori, som nå er vår CTO og er hjernen bak vårt IP, startet å utvikle teknologien der. Jeg sluttet meg til dem i 2019, og brakte med meg mange års teknologiledelse og skalering av selskaper, og vi lanserte offisielt Deeplite som selskap i midten av 2019. Nå har vi over 20 ansatte med kontorer i Montreal og Toronto, og vi annonserte en $6 millioner Series Seed i april 2021.

Hvorfor er det viktig å innbygge AI-behandling direkte i hardware i stedet for skyen i visse brukstilfeller som autonome kjøretøy og droner?

Det er mange grunner til hvorfor du ønsker å kjøre din inferens, AI-beslutningsprosessen, ved datapunktet i stedet for i skyen. Kanskje den største grunnen i kritiske applikasjoner som autonome kjøretøy er hva som kalles latency, som i realiteten betyr hvor lenge AI tar å fatte en beslutning. Hvis du må fange data, sende dem til skyen for inferens, og deretter returnere resultater, vil det åpenbart ta lang tid. I autonom kjøring er millisekunder veldig viktige.

Andre grunner inkluderer personvern, å holde sensitive data lokalt i stedet for å sende dem til skyen, og selvfølgelig tilkobling, som i fravær gjør sky-inferens meningsløs. De komplekse dype nøytrale nettverkene som driver AI krever mye beregningskraft for å kjøre, de bruker mye minne, og de forbruker mye strøm, så AI-løsninger ble tvunget til å bruke skyen. Så, for å komme ut av skyen og få AI til å kjøre lokalt på kanten i et kjøretøy eller en drone, for eksempel, må du finne en måte å redusere den totale størrelsen og strømprofilen til modellen, slik at den kan kjøres direkte på hardware – enheten – med langt færre ressurser. Det er viktig å bryte gjennom denne barrieren for å bringe AI til langt flere enheter som tjener mennesker hver dag. Det er der Deeplite kommer inn.

Kunne du fortelle oss hva Deeplite Neutrino er spesifikt?

Vår Neutrino-plattform transformerer AI, spesifikt dype neurale nettverk eller DNN’er, til en ny formfaktor som er mindre, raskere og mindre strømforbrukende enn den opprinnelige formen. Med Deeplite Neutrino kan AI-team fokusere på å trene sine modeller for nøyaktighet, hvor ofte beslutningen er korrekt, og bruke vår plattform til å optimere AI-modellen slik at den kan deployeres i begrensede hardware på kanten. Deeplite Neutrino gjør dette uten å kompromittere den opprinnelige nøyaktigheten til AI. I realiteten tar vi store AI-modeller og gjør dem mindre, raskere og mer energivennlige. Sluttresultatet er å få AI ut av laboratoriet og inn i den virkelige verden i tingene vi bruker hver dag.

Hvordan er Deeplite Neutrino i stand til å gjøre AI mer effektiv, raskere, mindre og mer kraftfull uten å kompromittere nøyaktigheten til den opprinnelige modellen?

Vi bruker en ny multi-objekt designrom-utforskningstilnærming. Vi bruker den opprinnelige modellen som en slags “lærer” modell og deretter utforsker vi arkitekturen til modellen for å finne den beste “elev” modellen som tilfredsstiller designbegrensningene spesifisert av Deeplite-brukeren for å automatisk optimalisere DNN-modeller og gjøre dem betydelig raskere, mindre og mer strømvennlige uten å ofre ytelse.

Hva er noen av de beste brukstilfellene for å bruke denne typen AI?

Selv om vi ikke er begrenset til dette, er vår nåværende fokus på datavisning og persepsjon-basert AI. Vår AI-teknologi brukes i autonome kjøretøy, droner, kameraer, mobiltelefoner, sensorer og andre IoT-enheter. Vi ser også nye applikasjoner for det nylig, inkludert en smart tannbørste og en smart kaffemaskin. Vi arbeider også med et ledende internasjonalt lekeelskapselskap som bruker det til spillutvikling. Det som er usedvanlig spennende og belønning ved det vi gjør er mangfoldet av applikasjoner vi ser komme til markedet hvor vi kan hjelpe det å komme til live.

Hva er dine synspunkter på føderert læring og hvordan vil det påvirke fremtiden for maskinlæring?

Trening av modeller krever mye data og mye beregningskraft. Jo større mangfold av brukstilfeller, jo mer data som kreves, og jo mer beregningskraft som trengs for å trene modellen til en tilfredsstillende nøyaktighetsnivå. Med føderert læring orkestreres trening på kanten i hver enhet basert på lokale dataforhold. Dette kan gjøre trening mer effektiv (hvorfor trene for en kenguru som krysser veien i Alaska) og også er en stor seier for personvern, da treningsdata – for eksempel noen persons ansikt – ikke sendes til en sentral server.

Gitt at vår optimaliseringsprosess innebærer hva vi kaller en “treningssyklus” for å bevare nøyaktigheten til den optimerte modellen, er vårt ultimate mål å ha hva vi gjør som en del av den opprinnelige treningen, i stedet for som en andre pass. For øyeblikket er dette aspirasjonelt, men det er en del av vårt langtidsmål.

Hvordan tiltrekker dere dere talent og hjernekraft som er nødvendig som et startup?

Det er en stor utfordring å tiltrekke seg riktig AI-talent i dag – det er for få mennesker der ute, og konkurransen om å rekruttere er høy. Vårt team er fantastisk. De er en magnet for talent selv. Vi har potensielle ansatte som snakker og intervjuer med vårt team. Når de ser kaliberet på folk i Deeplite, vil de være her. Som et startup tilbyr vi en flott kultur og muligheten til å arbeide på noe nytt og fremvoksende som kan være en spillendrer for mange ulike industrier og produkter. Jeg tror at muligheten, sammen med teamet, er nøkkelen til å tiltrekke oss topp-talent. Vi er også strategisk plassert i to store nordamerikanske AI-hub, Montreal og Toronto, som hjelper. Som et kanadisk selskap utnytter vi regjeringens Global Talent Stream-program også. Vi kan rekruttere hvor som helst i verden, sponsere nye ansatte og raske spore dem inn i Canada.

Har du noen råd for andre entreprenører i AI-rommet?

Dette går utenfor AI, men som en gjentakende entrepreneur, har jeg lært hvordan viktig det er å ha familiestøtte, fordi beslutningen om å være entrepreneur ikke er en individuell beslutning – det påvirker alle – ektefeller og barn inkludert. Alle er en del av reisen med deg, og alle gjør ofre. Du må erkjenne og verdsette det, og det er hvordan familier kan forbli sammen gjennom reisen.

Er det noe annet du ville dele om Deeplite?

En av de unike aspektene ved Deeplite er våre medgrunnleggere. Davis er i midten av 20-årene, og er ekstremt smart og energisk. Han er definitivt en domeneekspert i hva vi gjør. Ehsan er en iransk immigrant med en PhD, og som nevnt tidligere, er hjernen bak vårt IP. Og jeg er en 50+ år gammel veteran som har bygget selskaper før. De tre oss er en interessant kombinasjon som bringer ulike styrker og erfaring til bordet. Jeg er veldig takknemlig for at jeg har så flotte partnere og er omgitt av så et flott team.

Takk for det flotte intervjuet, jeg ser frem til å følge fremgangen til Deeplite og det er et selskap som vil være på min radar. Lesere som ønsker å lære mer bør besøke Deeplite.