Nick Romano, Mitbegründer und CEO von Deeplite – Interview Series

Nick Romano ist Mitbegründer und CEO von Deeplite eine KI-gesteuerte Optimierungslösung, um Deep Neural Networks vom Cloud- bis zum Edge-Computing schneller, kleiner und energieeffizienter zu machen.

Nick ist ein Multiunternehmer und versierter CEO, der seit über 20 Jahren erfolgreiche Ergebnisse liefert. Kürzlich war er Mitbegründer und Skalierer einer SaaS-Unternehmensplattform mit wiederkehrenden Umsätzen in Höhe von mehreren Millionen Dollar und über 100 Mitarbeitern. Er wurde von der McMaster University Engineering als einer der Top 150 Alumni ausgezeichnet.

Was hat Sie ursprünglich an KI interessiert?

Ich bin seit über 25 Jahren im Technologiebereich tätig und habe viele Zyklen und Trends gesehen, einige davon sind Hypes, andere sind real. KI ist ein dynamisches und wachsendes Feld, und was ich daran liebe, ist, wie die Technologie tatsächlich auf so viele verschiedene Arten eingesetzt werden kann, um die Lebens- und Arbeitsweise der Menschen zu verbessern. Ich wollte Teil dieser Bewegung sein. Es gibt jedoch Herausforderungen bei der Einführung von KI in realen Umgebungen. Es erfordert viel Rechenkapazität und Energie, damit KI richtig funktioniert – sie ist rechenintensiv. In einem Labor ist das in Ordnung, aber wenn es zu groß oder zu langsam ist oder zu viel Strom verbraucht, ist es schwierig, KI in reale Szenarien zu übertragen. Das ist unsere Mission und der eigentliche Reiz für mich: KI für den Alltag zu ermöglichen.

Können Sie uns die Entstehungsgeschichte von Deeplite erzählen?

Die Idee zu Deeplite entstand im TandemLaunch-Inkubator in Montreal. Davis Sawyer, der jetzt unser Chief Product Officer und KI-Experte ist, und Ehsan Saboori, der jetzt unser CTO ist und eigentlich der Kopf hinter unserem geistigen Eigentum ist, haben dort mit der Entwicklung der Technologie begonnen. Ich bin ihnen im Jahr 2019 beigetreten und habe meine langjährige Erfahrung als Technologieführer und Skalierer von Unternehmen eingebracht, und wir haben Deeplite Mitte 2019 offiziell als Unternehmen gegründet. Jetzt haben wir über 20 Mitarbeiter mit Büros in Montreal und Toronto, und wir haben dies bekannt gegeben ein 6-Millionen-Dollar-Serien-Seed im April 2021.

Warum ist die Einbettung der KI-Verarbeitung direkt in die Hardware statt in die Cloud in bestimmten Anwendungsfällen wie autonomen Fahrzeugen und Drohnen so wichtig?

Es gibt viele Gründe, warum Sie Ihre Inferenz, den KI-Entscheidungsprozess, am Punkt der Datenerfassung im Vergleich zur Cloud ausführen möchten. Der wahrscheinlich wichtigste Grund bei geschäftskritischen Anwendungen wie autonomen Fahrzeugen ist die sogenannte Latenz, die im Grunde bedeutet, wie lange die KI braucht, um eine Entscheidung zu treffen. Wenn Sie die Daten erfassen, sie zur Inferenz an die Cloud senden und dann die Ergebnisse zurücksenden müssen, wird das natürlich viel länger dauern, als dies lokal in Echtzeit zu tun. Beim autonomen Fahren kommt es auf Millisekunden an.

Weitere Gründe sind der Datenschutz, die lokale Speicherung sensibler Daten im Vergleich zum Senden an die Cloud und natürlich die Konnektivität, die bei Fehlen einer Cloud-Schlussfolgerung fraglich ist. Die komplexen, tiefen neutralen Netzwerke, die die KI vorantreiben, benötigen zum Betrieb viel Rechenleistung, verbrauchen viel Speicher und verbrauchen viel Strom, sodass KI-Lösungen gezwungen waren, die Cloud zu nutzen. Um also aus der Cloud herauszukommen und die KI beispielsweise lokal am Edge in einem Fahrzeug oder einer Drohne laufen zu lassen, müssen Sie einen Weg finden, die Gesamtgröße und das Leistungsprofil des Modells zu reduzieren, damit es direkt laufen kann auf der Hardware – dem Gerät – mit weitaus weniger Ressourcen. Es ist wichtig, diese Barriere zu durchbrechen, um KI auf weit mehr Geräten zu übertragen, die den Menschen jeden Tag dienen. Hier kommt Deeplite ins Spiel.

Können Sie uns sagen, was Deeplite Neutrino konkret ist?

Unsere Neutrino-Plattform wandelt KI, insbesondere tiefe neuronale Netze oder DNNs, in einen neuen Formfaktor um, der kleiner, schneller und weniger Strom verbraucht als seine ursprüngliche Form. Mit Deeplite Neutrino können sich KI-Teams darauf konzentrieren, ihre Modelle auf Genauigkeit zu trainieren und wie oft die Entscheidung richtig ist, und unsere Plattform nutzen, um das KI-Modell zu optimieren, damit es auf eingeschränkter Hardware am Edge bereitgestellt werden kann. Deeplite Neutrino tut dies, ohne die ursprüngliche Genauigkeit der KI zu beeinträchtigen. Im Wesentlichen nehmen wir große KI-Modelle und machen sie kleiner, schneller und energieeffizienter. Das Endziel besteht darin, KI aus dem Labor in die reale Welt in den Dingen zu bringen, die wir täglich verwenden.

Wie ist Deeplite Neutrino in der Lage, KI effizienter, schneller, kleiner und leistungsfähiger zu machen, ohne die Genauigkeit des Originalmodells zu beeinträchtigen?

Wir verwenden einen neuartigen Multi-Objective-Design-Space-Exploration-Ansatz. Wir verwenden das Originalmodell als eine Art „Lehrer“-Modell und erkunden dann die Architektur des Modells auf der Suche nach dem besten „Schüler“-Modell, das die vom Deeplite-Benutzer angegebenen Designbeschränkungen erfüllt, um DNN-Modelle automatisch zu optimieren und deutlich schneller zu machen. kleiner und energieeffizienter ohne Einbußen bei der Leistung.

Was sind einige der häufigsten Anwendungsfälle für den Einsatz dieser Art von KI?

Obwohl wir nicht darauf beschränkt sind, liegt unser aktueller Fokus auf Computer Vision und wahrnehmungsbasierter KI. Unsere KI-Technologie wird in autonomen Fahrzeugen, Drohnen, Kameras, Mobiltelefonen, Sensoren und anderen IoT-Geräten eingesetzt. In letzter Zeit sehen wir auch neue Anwendungen dafür, darunter eine intelligente Zahnbürste und eine intelligente Kaffeemaschine. Wir arbeiten sogar mit einem führenden internationalen Spielzeugunternehmen zusammen, das es für die Spieleentwicklung nutzt. Was an dem, was wir tun, unglaublich spannend und lohnend ist, ist die Vielfalt der Anwendungen, die wir auf den Markt kommen sehen und bei denen wir dabei helfen können, sie zum Leben zu erwecken.

Was halten Sie von föderiertem Lernen und wie wird es sich auf die Zukunft des maschinellen Lernens auswirken?

Das Trainieren von Modellen erfordert große Datenmengen und hohe Rechenleistung. Je vielfältiger die Anwendungsfälle, desto mehr Daten werden benötigt und desto mehr Rechenzeit wird benötigt, um das Modell auf ein zufriedenstellendes Genauigkeitsniveau zu trainieren. Beim föderierten Lernen wird das Training am Netzwerkrand jedes Geräts basierend auf den lokalen Datenbedingungen orchestriert. Dies kann das Training effizienter machen (warum sollte man für ein Känguru trainieren, das in Alaska die Straße überquert) und ist zudem ein großer Gewinn für den Datenschutz, da Trainingsdaten – beispielsweise das Gesicht einer Person – nicht an einen zentralen Server gesendet werden.

Da unser Optimierungsprozess eine so genannte „Trainingsschleife“ umfasst, um die Genauigkeit des optimierten Modells zu bewahren, besteht unser ultimatives Ziel darin, dass das, was wir tun, Teil des anfänglichen Trainingsprozesses und nicht eines zweiten Durchgangs ist. Im Moment ist dies ein Wunsch, aber das ist Teil unseres langfristigen Ziels.

Wie gewinnen Sie als Startup die benötigten Talente und die nötige Intelligenz?

Heutzutage ist es eine große Herausforderung, die richtigen KI-Talente anzuziehen – es gibt zu wenige Leute und die Konkurrenz bei der Rekrutierung ist groß. Unser Team ist großartig. Sie sind selbst ein Magnet für Talente. Wir lassen potenzielle Neueinstellungen mit unserem Team sprechen und Vorstellungsgespräche führen. Sobald sie die Qualität der Leute bei Deeplite sehen, wollen sie hier sein. Als Startup bieten wir eine großartige Kultur und die Möglichkeit, an etwas Neuem und Aufstrebendem zu arbeiten, das für viele verschiedene Branchen und Produkte bahnbrechend sein kann. Ich denke, dass diese Chance zusammen mit dem Team der Schlüssel dazu ist, Top-Talente anzuziehen. Wir sind außerdem strategisch günstig in zwei großen nordamerikanischen KI-Zentren, Montreal und Toronto, ansässig, was hilfreich ist. Als kanadisches Unternehmen nutzen wir auch das Global Talent Stream-Programm der Regierung. Wir können überall auf der Welt rekrutieren, Neueinstellungen sponsern und sie schnell nach Kanada bringen.

Haben Sie einen Rat für andere Unternehmer im KI-Bereich?

Das geht über KI hinaus, aber als Wiederholungstäter habe ich gelernt, wie wichtig es ist, die Unterstützung der Familie zu haben, denn die Entscheidung, Unternehmer zu werden, ist keine individuelle Entscheidung – sie wirkt sich auf alle aus – Ehepartner und Kinder eingeschlossen. Jeder ist Teil der Reise mit dir und jeder bringt Opfer. Das muss man erkennen und wertschätzen, und so können Familien während der gesamten Reise zusammenbleiben.

Gibt es noch etwas, das Sie über Deeplite mitteilen möchten?

Einer der einzigartigen Aspekte von Deeplite sind unsere Mitbegründer. Davis ist Mitte 20 und äußerst klug und energisch. Er ist definitiv ein Fachexperte in dem, was wir tun. Ehsan ist ein iranischer Einwanderer mit einem Doktortitel und, wie bereits erwähnt, der wahre Kopf hinter unserem geistigen Eigentum. Und ich bin ein über 50-jähriger Veteran, der bereits Unternehmen aufgebaut hat. Wir drei sind eine interessante Kombination, die unterschiedliche Stärken und Erfahrungen mitbringt. Ich bin sehr dankbar, dass ich so tolle Partner habe und von einem so tollen Team umgeben bin.

Vielen Dank für das tolle Interview. Ich freue mich darauf, die Entwicklung von Deeplite zu verfolgen. Ich werde das Unternehmen auf meinem Radar behalten. Leser, die mehr erfahren möchten, besuchen bitte Deeplite.