Nick Romano, Co-Founder & CEO von Deeplite – Interview-Serie

Nick Romano ist der Co-Founder und CEO von Deeplite, einer künstlicher Intelligenz-getriebenen Optimierungslösung, um Deep Neural Networks schneller, kleiner und energieeffizienter von der Cloud bis zum Edge-Computing zu machen.

Nick ist ein serieller Unternehmer und ein erfahrener CEO, der in über 20 Jahren erfolgreiche Ergebnisse erzielt hat. Kürzlich hat er ein Unternehmen für eine Enterprise-SaaS-Plattform mit mehreren Millionen Dollar an wiederkehrenden Umsätzen und über 100 Mitarbeitern gegründet und geleitet. Er wurde von der McMaster University Engineering als einer der Top 150 Alumni ausgezeichnet.

Was hat Sie ursprünglich zur künstlichen Intelligenz hingezogen?

Ich bin seit über 25 Jahren im Technologiebereich tätig und habe viele Zyklen und Trends gesehen, einige Hype und einige echte Entwicklungen. KI ist ein dynamisches und wachsendes Feld, und was ich an ihr liebe, ist, wie die Technologie wirklich auf so viele verschiedene Weise eingesetzt werden kann, um das Leben und die Arbeit der Menschen zu verbessern. Ich wollte Teil dieser Bewegung sein. Es gibt jedoch Herausforderungen, KI in reale Umgebungen zu bringen. Es erfordert eine Menge Rechenleistung und Energie, um KI richtig zu nutzen – es ist rechenintensiv. Das ist in einem Labor in Ordnung, aber wenn es zu groß oder zu langsam ist oder zu viel Leistung verbraucht, ist es schwierig, KI in reale Szenarien zu bringen. Das ist unsere Mission und die wahre Anziehungskraft für mich – KI für den Alltag ermöglichen.

Können Sie die Entstehungsgeschichte hinter Deeplite teilen?

Die Idee für Deeplite entstand im TandemLaunch-Inkubator in Montreal. Davis Sawyer, der jetzt unser Chief Product Officer und ein KI-Experte ist, und Ehsan Saboori, der jetzt unser CTO ist und wirklich der Kopf hinter unserem geistigen Eigentum ist, begannen dort mit der Entwicklung der Technologie. Ich schloss mich ihnen 2019 an und brachte meine vielen Jahre Erfahrung im Technologiebereich und im Aufbau von Unternehmen mit. Wir gründeten Deeplite offiziell als Unternehmen im Sommer 2019. Jetzt haben wir über 20 Mitarbeiter mit Büros in Montreal und Toronto, und wir haben im April 2021 eine Serie-Seed-Finanzierung von 6 Millionen Dollar angekündigt.

Warum ist es wichtig, KI-Verarbeitung direkt in Hardware anstelle von Cloud-Computing in bestimmten Anwendungsfällen wie autonomen Fahrzeugen und Drohnen zu verwenden?

Es gibt viele Gründe, warum Sie Ihre Inferenz, den KI-Entscheidungsprozess, am Ort der Datenerfassung und nicht in der Cloud durchführen möchten. Der größte Grund in mission-kritischen Anwendungen wie autonomen Fahrzeugen ist die Latenz, also die Zeit, die die KI benötigt, um eine Entscheidung zu treffen. Wenn Sie die Daten erfassen, in die Cloud senden und dann die Ergebnisse zurücksenden müssen, dauert das viel länger als die lokale Verarbeitung in Echtzeit. Bei autonomen Fahrzeugen zählen Millisekunden.

Andere Gründe sind die Privatsphäre, da sensible Daten lokal und nicht in der Cloud gespeichert werden, und die Konnektivität, die in ihrer Abwesenheit die Cloud-Inferenz unmöglich macht. Die komplexen Deep-Neural-Netzwerke, die KI antreiben, erfordern eine Menge Rechenleistung, um zu funktionieren, sie verbrauchen viel Speicher und viel Leistung, so dass KI-Lösungen gezwungen waren, die Cloud zu verwenden. Um also aus der Cloud auszubrechen und KI lokal am Rand in einem Fahrzeug oder einer Drohne zu ermöglichen, müssen Sie einen Weg finden, die Gesamtkapazität und den Leistungsverbrauch des Modells zu reduzieren, damit es direkt auf dem Gerät mit viel weniger Ressourcen laufen kann. Es ist wichtig, diese Barriere zu durchbrechen, um KI auf viele mehr Geräte zu bringen, die den Menschen jeden Tag dienen. Das ist, wo Deeplite ins Spiel kommt.

Können Sie uns sagen, was Deeplite Neutrino speziell ist?

Unsere Neutrino-Plattform verwandelt KI, insbesondere Deep-Neural-Netzwerke oder DNNs, in eine neue Form, die kleiner, schneller und weniger leistungshungrig ist als ihre ursprüngliche Form. Mit Deeplite Neutrino können KI-Teams sich auf die Schulung ihrer Modelle für Genauigkeit konzentrieren, also wie oft die Entscheidung richtig ist, und unsere Plattform nutzen, um das KI-Modell so zu optimieren, dass es in hardwarebeschränkte Umgebungen am Rand bereitgestellt werden kann. Deeplite Neutrino tut dies, ohne die ursprüngliche Genauigkeit der KI zu beeinträchtigen. Im Wesentlichen nehmen wir große KI-Modelle und machen sie kleiner, schneller und energieeffizienter. Das Endziel ist es, KI aus dem Labor und in die reale Welt in die Dinge, die wir jeden Tag verwenden, zu bringen.

Wie kann Deeplite Neutrino KI-Modelle effizienter, schneller, kleiner und leistungsfähiger machen, ohne die Genauigkeit des ursprünglichen Modells zu beeinträchtigen?

Wir verwenden einen neuartigen, mehrzielorientierten Ansatz zur Erforschung des Designraums. Wir verwenden das ursprüngliche Modell als eine Art “Lehrer”-Modell und erkunden dann die Architektur des Modells, um das beste “Schüler”-Modell zu finden, das die von Deeplite spezifizierten Designbeschränkungen erfüllt, um KI-Modelle automatisch zu optimieren und sie erheblich schneller, kleiner und leistungsfähiger zu machen, ohne die Leistung zu beeinträchtigen.

Was sind einige der wichtigsten Anwendungsfälle für die Verwendung dieser Art von KI?

Wir konzentrieren uns derzeit auf Computer-Vision- und Wahrnehmungs-KI. Unsere KI-Technologie wird in autonomen Fahrzeugen, Drohnen, Kameras, Mobiltelefonen, Sensoren und anderen IoT-Geräten eingesetzt. Wir sehen auch neue Anwendungen, wie zum Beispiel eine intelligente Zahnbürste und eine intelligente Kaffeemaschine. Wir arbeiten sogar mit einem führenden internationalen Spielzeugunternehmen zusammen, das unsere Technologie für die Spielentwicklung nutzt. Was unglaublich aufregend und lohnend ist, ist die Vielfalt der Anwendungen, die wir auf den Markt bringen, um sie zum Leben zu erwecken.

Was sind Ihre Ansichten zu federated Learning und wie wird es die Zukunft des maschinellen Lernens beeinflussen?

Das Training von Modellen erfordert eine Menge Daten und Rechenleistung. Je vielfältiger die Anwendungsfälle, desto mehr Daten sind erforderlich und desto mehr Rechenzeit ist erforderlich, um das Modell auf ein zufriedenstellendes Genauigkeitsniveau zu trainieren. Mit federated Learning wird das Training am Rand in jedem Gerät basierend auf lokalen Datenbedingungen durchgeführt. Dies kann das Training effizienter machen (warum trainieren Sie für ein Känguru, das die Straße überquert, in Alaska) und ist auch ein großer Gewinn für die Privatsphäre, da Trainingsdaten – zum Beispiel das Gesicht einer Person – nicht an einen zentralen Server gesendet werden.

Da unser Optimierungsprozess, den wir “Trainingsloop” nennen, die Genauigkeit des optimierten Modells beibehält, ist unser ultimatives Ziel, Teil des ursprünglichen Trainingsprozesses zu sein und nicht nur ein zweiter Schritt. Derzeit ist dies aspirativ, aber das ist Teil unseres langfristigen Ziels.

Wie lockt ein Startup wie Deeplite die benötigten Talente und das Gehirn an?

Es ist eine große Herausforderung, die richtigen KI-Talente heute anzulocken – es gibt einfach zu wenige Menschen da draußen und der Wettbewerb um die Rekrutierung ist hoch. Unser Team ist großartig. Sie sind selbst ein Magnet für Talente. Wir lassen potenzielle Bewerber mit unserem Team sprechen und interviewen. Sobald sie die Qualität der Menschen bei Deeplite sehen, wollen sie hier sein. Als Startup bieten wir eine großartige Kultur und die Möglichkeit, an etwas Neuem und Aufstrebendem zu arbeiten, das ein Game-Changer für viele verschiedene Branchen und Produkte sein kann. Ich denke, dass diese Möglichkeit, zusammen mit dem Team, der Schlüssel zu unserem Erfolg bei der Anziehung von Top-Talenten ist. Wir sind auch strategisch in zwei großen nordamerikanischen KI-Hubs, Montreal und Toronto, angesiedelt, was hilft. Als kanadisches Unternehmen nutzen wir auch das Global Talent Stream-Programm der Regierung. Wir können Talente aus der ganzen Welt rekrutieren, neue Mitarbeiter sponsern und sie schnell nach Kanada bringen.

Haben Sie Ratschläge für andere Unternehmer im KI-Bereich?

Dies geht über KI hinaus, aber als wiederholter Unternehmer habe ich gelernt, wie wichtig es ist, die Unterstützung der Familie zu haben, da die Entscheidung, Unternehmer zu werden, nicht nur eine individuelle Entscheidung ist – sie betrifft jeden – Ehepartner und Kinder eingeschlossen. Jeder ist Teil der Reise mit Ihnen, und jeder macht Opfer. Sie müssen dies erkennen und schätzen, und das ist, wie Familien während der Reise zusammenbleiben können.

Gibt es noch etwas, das Sie über Deeplite teilen möchten?

Einer der einzigartigen Aspekte von Deeplite ist unsere Mitgründer. Davis ist Mitte 20 und extrem intelligent und energiegeladen. Er ist definitiv ein Experte in dem, was wir tun. Ehsan ist ein iranischer Immigrant mit einem PhD und, wie bereits erwähnt, der wahre Kopf hinter unserem geistigen Eigentum. Und ich bin ein 50-jähriger Veteran, der Unternehmen aufgebaut hat. Die drei von uns sind eine interessante Kombination, die unterschiedliche Stärken und Erfahrungen in den Tisch bringen. Ich bin sehr dankbar, dass ich solche großartigen Partner habe und von einem so großartigen Team umgeben bin.

Vielen Dank für das großartige Interview, ich freue mich darauf, die Fortschritte von Deeplite zu verfolgen, und es ist ein Unternehmen, das auf meinem Radar sein wird. Leser, die mehr erfahren möchten, sollten Deeplite besuchen.