Nick Romano, mede-oprichter en CEO van Deeplite – Interviewreeks

Nick Romano is de mede-oprichter en CEO van Deeplite, een AI-gedreven optimalisatieoplossing om diepe neurale netwerken sneller, kleiner en energie-efficiënter te maken, van cloud tot edge computing.

Nick is een serie-ondernemer en een ervaren CEO die succesvolle resultaten levert voor meer dan 20 jaar. Onlangs heeft hij een enterprise SaaS-platform mede-opgericht en geschaald met meerdere miljoenen dollars aan jaarlijkse omzet en meer dan 100 medewerkers. Hij is door de McMaster University Engineering gehonoreerd als een van de top 150 alumni.

Wat trok je aanvankelijk aan naar AI?

Ik ben al meer dan 25 jaar actief in de technologiebranche en heb veel cycli en trends gezien, sommige hype en sommige echt. AI is een dynamisch en groeiend veld, en wat ik leuk vind aan AI is hoe de technologie echt op veel verschillende manieren gebruikt kan worden om het leven en werken van mensen te verbeteren. Ik wilde deel uitmaken van deze beweging. Echter, er zijn uitdagingen om AI naar de echte wereld te brengen. Het vergt veel rekenkracht en energie om AI goed te laten werken – het is rekenintensief. Dat is prima in een laboratorium, maar als het te groot, te langzaam of te veel stroom verbruikt, is het moeilijk om AI naar de echte wereld te brengen. Dat is onze missie en de echte aantrekkingskracht voor mij – AI mogelijk maken voor het dagelijks leven.

Kunt u het verhaal achter Deeplite delen?

Het idee voor Deeplite begon in de TandemLaunch-incubator in Montreal. Davis Sawyer, die nu onze chief product officer is en een AI-domeinexpert, en Ehsan Saboori, die nu onze CTO is en echt de hersenen achter onze IP, begonnen daar met de ontwikkeling van de technologie. Ik sloot me in 2019 bij hen aan en bracht mijn jarenlange ervaring in technologie-leiderschap en het opschalen van bedrijven mee, en we lanceerden Deeplite officieel als bedrijf in de zomer van 2019. Nu hebben we meer dan 20 medewerkers met kantoren in Montreal en Toronto, en we kondigden in april 2021 een serie-seed van 6 miljoen dollar aan.

Waarom is het zo belangrijk om AI-verwerking rechtstreeks in hardware te integreren in plaats van in de cloud, vooral in use cases zoals autonome voertuigen en drones?

Er zijn veel redenen waarom je je inferentie, het AI-beslissingsproces, op de plek van gegevensverzameling wilt uitvoeren in plaats van in de cloud. De belangrijkste reden in missie-kritische toepassingen zoals autonome voertuigen is wat latency wordt genoemd, wat eigenlijk betekent hoe lang het duurt voordat de AI een beslissing neemt. Als je de gegevens moet verzamelen, naar de cloud moet sturen voor inferentie en dan de resultaten terug moet sturen, duurt dat natuurlijk veel langer dan wanneer je het lokaal in real-time doet. In autonome rijden tellen milliseconden enorm.

Andere redenen zijn privacy, waarbij gevoelige gegevens lokaal worden gehouden in plaats van naar de cloud te worden gestuurd, en connectiviteit, die in afwezigheid de cloud-inferentie nutteloos maakt. De complexe diepe neurale netwerken die AI aandrijven, vereisen veel rekenkracht om te draaien, gebruiken veel geheugen en verbruiken veel stroom, dus AI-oplossingen werden gedwongen om de cloud te gebruiken. Om dus uit de cloud te komen en AI lokaal op de edge in een voertuig of een drone te laten draaien, moet je een manier vinden om de algehele grootte en stroomprofiel van het model te verkleinen, zodat het rechtstreeks op het apparaat kan draaien met veel minder resources. Het is belangrijk om deze barrière te doorbreken om AI naar veel meer apparaten te brengen die elke dag mensen dienen. Daar komt Deeplite om de hoek kijken.

Kunt u ons vertellen wat Deeplite Neutrino specifiek is?

Ons Neutrino-platform transformeert AI, specifiek diepe neurale netwerken of DNN’s, in een nieuwe vorm die kleiner, sneller en minder stroomverbruikend is dan de oorspronkelijke vorm. Met Deeplite Neutrino kunnen AI-teams zich richten op het trainen van hun modellen voor nauwkeurigheid, hoe vaak de beslissing correct is, en onze platform gebruiken om het AI-model te optimaliseren zodat het kan worden geïmplementeerd in beperkte hardware op de edge. Deeplite Neutrino doet dit zonder de oorspronkelijke nauwkeurigheid van de AI te compromitteren. In wezen nemen we grote AI-modellen en maken we ze kleiner, sneller en energie-efficiënter. Het einddoel is om AI uit het laboratorium en in de echte wereld te brengen in de dingen die we elke dag gebruiken.

Hoe kan Deeplite Neutrino AI maken die efficiënter, sneller, kleiner en krachtiger is zonder de nauwkeurigheid van het oorspronkelijke model te compromitteren?

We gebruiken een novatele multi-objective ontwerp-ruimte-exploratiebenadering. We gebruiken het oorspronkelijke model als een soort “leraarmodel” en onderzoeken dan de architectuur van het model om de beste “leerlingmodel” te vinden die voldoet aan de ontwerpbeperkingen die zijn opgegeven door de Deeplite-gebruiker om DNN-modellen automatisch te optimaliseren en ze aanzienlijk sneller, kleiner en energie-efficiënter te maken zonder prestaties te offeren.

Wat zijn enkele van de belangrijkste use cases voor het gebruik van dit type AI?

Hoewel we niet beperkt zijn tot dit, ligt onze huidige focus op computer vision en perceptie-gebaseerde AI. Onze AI-technologie wordt gebruikt in autonome voertuigen, drones, camera’s, mobiele telefoons, sensoren en andere IoT-apparaten. We zien ook nieuwe toepassingen ervan, zoals een slimme tandenborstel en een slimme koffiemachine. We werken zelfs met een toonaangevende internationale speelgoedfabrikant die het gebruikt voor game-ontwikkeling. Wat echt spannend en belonend is aan wat we doen, is de diversiteit aan toepassingen die we zien op de markt komen waar we mee kunnen helpen.

Wat zijn uw mening over gefedereerd leren en hoe het de toekomst van machine learning zal beïnvloeden?

Het trainen van modellen vereist veel gegevens en veel rekenkracht. Hoe groter de diversiteit aan use cases, hoe meer gegevens er nodig zijn en hoe meer rekenkracht nodig is om het model te trainen tot een bevredigend nauwkeurigheidsniveau. Met gefedereerd leren wordt het trainen gecoördineerd op de edge in elk apparaat op basis van lokale gegevensvoorwaarden. Dit kan het trainen efficiënter maken (waarom trainen voor een kangoeroe die een weg oversteekt in Alaska) en ook een grote overwinning zijn voor privacy, omdat trainingsgegevens – bijvoorbeeld iemands gezicht – niet naar een centrale server worden gestuurd.

Gezien het feit dat ons optimalisatieproces een zogenaamde “trainingslus” omvat om de nauwkeurigheid van het geoptimaliseerde model te behouden, is ons uiteindelijke doel om wat we doen onderdeel te maken van het initiële trainingsproces in plaats van een tweede pas. Op dit moment is dit aspiratie, maar dat is onderdeel van ons langetermijndoel.

Hoe trekt u als startup het nodige talent en brein aan?

Het is een grote uitdaging om het juiste AI-talent aan te trekken – er zijn te weinig mensen en de concurrentie om te werven is hoog. Ons team is geweldig. Ze zijn een magneet voor talent. We laten potentiële kandidaten spreken en interviewen met ons team. Zodra ze de kwaliteit van de mensen bij Deeplite zien, willen ze hier zijn. Als startup bieden we een geweldige cultuur en de kans om te werken aan iets nieuws en opkomend dat een game-changer kan zijn voor veel verschillende industrieën en producten. Ik denk dat die kans, samen met het team, de sleutel is tot het aantrekken van top-talent. We zijn ook strategisch gevestigd in twee grote Noord-Amerikaanse AI-hubs, Montreal en Toronto, wat helpt. Als Canadees bedrijf maken we gebruik van het Global Talent Stream-programma van de overheid. We kunnen overal ter wereld werven, nieuwe medewerkers sponsoren en ze snel naar Canada halen.

Heeft u advies voor andere ondernemers in de AI-ruimte?

Dit gaat verder dan AI, maar als herhaalde ondernemer heb ik geleerd hoe belangrijk het is om familieondersteuning te hebben, omdat de beslissing om ondernemer te worden niet individueel is – het heeft invloed op iedereen – echtgenoten en kinderen inbegrepen. Iedereen maakt deel uit van de reis met je, en iedereen maakt offers. Je moet dat erkennen en waarderen, en dat is hoe families samen kunnen blijven tijdens de reis.

Is er nog iets anders dat u over Deeplite wilt delen?

Een van de unieke aspecten van Deeplite is onze mede-oprichters. Davis is in zijn mid-twenties, en is extreem slim en energiek. Hij is absoluut een domeinexpert in wat we doen. Ehsan is een Iraanse immigrant met een PhD, en zoals eerder vermeld, is hij de echte hersenen achter onze IP. En ik ben een 50+ jaar oude veteran die eerder bedrijven heeft opgebouwd. De drie van ons vormen een interessante combinatie die verschillende sterke punten en ervaring naar de tafel brengt. Ik ben erg dankbaar dat ik zulke geweldige partners heb en omringd word door zo’n geweldig team.

Bedankt voor het geweldige interview, ik kijk uit naar het volgen van de voortgang van Deeplite en het is een bedrijf dat op mijn radar zal staan. Lezers die meer willen leren, moeten Deeplite bezoeken.