Nick Romano, medgrunnlegger og CEO av Deeplite – Intervju-serie

Nick Romano er medgrunnlegger og CEO av Deeplite, en AI-drevet optimaliseringsløsning for å gjøre dype neurale nettverk raskere, mindre og mer energivennlige fra sky til edge-computing.

Nick er en serial entrepreneur og en erfaren CEO som har levert suksessfulle resultater i over 20 år. Nylig grunnla og skala han en enterprise SaaS-plattform med multimillion-dollar årlige inntekter og over 100 ansatte. Han har blitt hedret av McMaster University Engineering som en av de 150 beste alumner.

Hva var det som først tiltalte deg om AI?

Jeg har vært i teknologibransjen i over 25 år og har sett mange sykluser og trender, noen hype og noen virkelige. AI er et dynamisk og voksende felt, og det jeg elsker med det er hvordan teknologien kan brukes på så mange måter til å forbedre hvordan mennesker lever og arbeider. Jeg ville være en del av denne bevegelsen. Men det er utfordringer med å ta AI til virkelige miljøer. Det krever mye datakapasitet og energi for å få AI til å fungere ordentlig – det er komputasjonsintensivt. Det er greit i et laboratorium, men hvis det er for stort eller for langsomt eller tar for mye strøm, er det vanskelig å bringe AI til virkelige scenarioer. Det er vår misjon og det som tiltaler meg – å muliggjøre AI for hverdagslivet.

Kan du fortelle oss om opphavet til Deeplite?

Idéen til Deeplite startet i TandemLaunch-inkubatoriet i Montreal. Davis Sawyer, som nå er vår chief product officer og en AI-domenekspert, og Ehsan Saboori, som nå er vår CTO og er hjernen bak vårt IP, startet å utvikle teknologien der. Jeg sluttet meg til dem i 2019, og brakte mine mange års erfaring med teknologiledelse og skaleringsfirmaer til bordet, og vi lanserte offisielt Deeplite som et selskap i midten av 2019. Nå har vi over 20 ansatte med kontorer i Montreal og Toronto, og vi annonserte en 6 millioner dollar Series Seed i april 2021.

Hvorfor er det viktig å integrere AI-behandling direkte i hardware i stedet for i skyen i visse brukstilfeller som autonome kjøretøy og droner?

Det er mange grunner til at du ønsker å kjøre din inferens, AI-beslutningsprosessen, på datapunktet i stedet for i skyen. Kanskje den største grunnen i kritiske applikasjoner som autonome kjøretøy er det som kalles latens, som i hovedsak betyr hvor lenge AI tar å fatte en beslutning. Hvis du må fange data, sende dem til skyen for inferens, og deretter returnere resultatene tilbake, vil det åpenbart ta lengre tid enn å gjøre det lokalt i sanntid. I autonom kjøring er millisekunder veldig viktige.

Andre grunner inkluderer personvern, å holde sensitive data lokalt i stedet for å sende dem til skyen, og selvfølgelig tilkobling, som i sin fravær gjør sky-inferens meningsløs. De komplekse dype neurale nettverkene som driver AI krever mye datakapasitet for å kjøre, de bruker mye minne, og de forbruker mye strøm, så AI-løsninger ble tvunget til å bruke skyen. Så, for å komme ut av skyen og få AI til å kjøre lokalt på kanten i et kjøretøy eller en drone, for eksempel, må du finne en måte å redusere den totale størrelsen og strømforbruket til modellen, slik at den kan kjøres direkte på enheten – enheten – med langt færre ressurser. Det er viktig å bryte gjennom denne barrieren for å bringe AI til langt flere enheter som tjener mennesker hver dag. Det er der Deeplite kommer inn.

Kan du fortelle oss hva Deeplite Neutrino er?

Vår Neutrino-plattform transformerer AI, spesifikt dype neurale nettverk eller DNN-er, til en ny formfaktor som er mindre, raskere og mindre strømforbrukende enn dens opprinnelige form. Med Deeplite Neutrino kan AI-team fokusere på å trene sine modeller for nøyaktighet, hvor ofte beslutningen er korrekt, og bruke vår plattform til å optimere AI-modellen slik at den kan deployes i begrensede hardware på kanten. Deeplite Neutrino gjør dette uten å kompromittere den opprinnelige nøyaktigheten til AI. I essensen tar vi store AI-modeller og gjør dem mindre, raskere og mer energivennlige. Målet er å få AI ut av laboratoriet og inn i den virkelige verden i tingene vi bruker hver dag.

Hvordan er Deeplite Neutrino i stand til å gjøre AI mer effektiv, raskere, mindre og mer kraftfull uten å kompromittere nøyaktigheten til den opprinnelige modellen?

Vi bruker en ny, multi-objektiv designrom-utforskningsteknikk. Vi bruker den opprinnelige modellen som en slags “lærer”-modell og deretter utforsker vi arkitekturen til modellen for å finne den beste “elev”-modellen som tilfredsstiller designbegrensningene spesifisert av Deeplite-brukeren for å automatisk optimere DNN-modeller og gjøre dem betydelig raskere, mindre og mer strømvennlige uten å ofre ytelse.

Hva er noen av de beste brukstilfellene for å bruke denne typen AI?

Mens vi ikke er begrenset til dette, er vårt nåværende fokus på datavisning og persepsjonsbasert AI. Vår AI-teknologi brukes i autonome kjøretøy, droner, kameraer, mobiltelefoner, sensorer og andre IoT-enheter. Vi ser også nye applikasjoner for det, inkludert en smart tannbørste og en smart kaffemaskin. Vi arbeider også med en ledende internasjonal leketøyselskap som bruker det til spillutvikling. Det som er usedvanlig spennende og belønningssvært å gjøre er mangfoldet av applikasjoner vi ser kommer til markedet hvor vi kan hjelpe det til å bli levende.

Hva er dine synspunkter på distribuert læring og hvordan vil det påvirke fremtiden til maskinlæring?

Å trene modeller krever mye data og mye datakapasitet. Jo større variasjon av brukstilfeller, jo mer data som kreves, og jo mer datatid som trengs for å trene modellen til en tilfredsstillende nøyaktighetsnivå. Med distribuert læring orkestreres trening på kanten i hver enhet basert på lokale dataforhold. Dette kan gjøre trening mer effektivt (hvorfor trene for en kenguru som krysser veien i Alaska) og er også en stor seier for personvern, da treningsdata – for eksempel noenones ansikt – ikke sendes til en sentral server.

Ettersom vår optimaliseringsprosess innebærer hva vi kaller en “treningssyklus” for å bevare nøyaktigheten til den optimerte modellen, er vårt ultimate mål å ha det vi gjør som en del av den initielle treningsprosessen i stedet for som en andre pass. For øyeblikket er dette aspirasjonelt, men det er en del av vårt langtidsmål.

Som en startup, hvordan tiltrekker du deg talent og hjernekraft som er nødvendig?

Det er en stor utfordring å tiltrekke seg riktig AI-talent i dag – det er for få mennesker der ute, og konkurransen om å rekruttere er høy. Vårt team er fantastisk. De er en magnet selv for talent. Vi har potensielle ansatte som snakker og intervjuer med vårt team. Når de ser kvaliteten på menneskene i Deeplite, vil de være her. Som en startup tilbyr vi en god kultur og muligheten til å arbeide med noe nytt og fremvoksende som kan være en game-changer for mange ulike industrier og produkter. Jeg tror at muligheten, sammen med teamet, er nøkkel til å tiltrekke oss topp-talent. Vi er også strategisk plassert i to store nordamerikanske AI-hubber, Montreal og Toronto, som hjelper. Som et canadisk selskap utnytter vi også regjeringens Global Talent Stream-program, og vi kan rekruttere over hele verden, sponsor nye ansatte og raske spore dem inn i Canada.

Har du noen råd for andre entrepreneurs i AI-rommet?

Dette går ut over AI, men som en gjentakende entrepreneur, har jeg lært hvordan viktig det er å ha familiestøtte, fordi beslutningen om å være en entrepreneur ikke er en individuell beslutning – det påvirker alle – ektefeller og barn inkludert. Alle er en del av reisen med deg, og alle gjør ofre. Du må erkjenne og verdsette det, og det er hvordan familier kan forbli sammen gjennom reisen.

Er det noe annet du ønsker å dele om Deeplite?

En av de unike aspektene ved Deeplite er våre medgrunnleggere. Davis er i midten av 20-årene, og er ekstremt smart og energisk. Han er definitivt en domeneekspert i hva vi gjør. Ehsan er en iransk immigrant med en PhD, og som tidligere nevnt, er hjernen bak vårt IP. Og jeg er en 50+ år gammel veteran som har bygget selskaper før. De tre oss er en interessant kombinasjon som bringer ulike styrker og erfaring til bordet. Jeg er veldig takknemlig for at jeg har så flotte partnere og er omgitt av et så fantastisk team.

Takk for det flotte intervjuet, jeg ser frem til å følge fremgangen til Deeplite og det er et selskap som vil være på min radar. Lesere som ønsker å lære mer, bør besøke Deeplite.