Orr Danon, CEO & Co-Founder von Hailo – Interview-Serie

Orr Danon ist der CEO & Co-Founder von Hailo, einem Unternehmen mit der Mission, intelligente Edge-Technologien zu ermöglichen, um ihr volles Potenzial zu entfalten. Die von Hailo präsentierte Lösung überbrückt die Lücke zwischen bestehenden und zukünftigen KI-Technologien und der Rechenleistung, die benötigt wird, um diese Anwendungen zu betreiben. Das Unternehmen konzentriert sich auf den Bau von KI-Prozessoren, die effizient und kompakt genug sind, um große Mengen an Daten in Echtzeit zu berechnen und zu interpretieren.

Können Sie die Entstehungsgeschichte hinter Hailo teilen?

Ich gründete Hailo 2017 zusammen mit Kollegen, die ich zuvor in der Elite-Einheit der israelischen Verteidigungsstreitkräfte (IDF) kennengelernt hatte. Während meiner Arbeit mit meinen Mitgründern Rami Feig und Avi Baum an IoT-Lösungen (Internet der Dinge) tauchte immer wieder ein weniger bekannter Begriff – “Deep Learning” – in unseren Forschungen auf. Schließlich brachten wir Experten auf diesem Gebiet zusammen, um eine neue Deep-Learning-Lösung zu entwickeln, die darauf abzielte, die Mängel der veralteten Computerarchitektur zu überwinden, um intelligente Geräte an der Edge effektiver und effizienter betreiben zu können. Nach Rami’s bedauerlichem Tod setzte das Hailo-Team seine Vision um und schuf Hailos bahnbrechenden KI-Prozessor.

Können Sie kurz erklären, warum Edge-Computing oft eine überlegene Lösung gegenüber Cloud-Computing ist?

Als wir Hailo gründeten, waren innovative KI-Technologien größtenteils auf die Cloud oder große Rechenzentren beschränkt, da sie teuer sind, eine hohe Rechenleistung und umfangreiche Hardware erfordern, um zu laufen, und einen erheblichen Energieverbrauch haben. Wir glauben, dass KI dabei hilft, eine bessere, sicherere, produktivere und spannendere Welt zu schaffen, aber dafür muss KI auch an der Edge verfügbar sein. Für die Implementierung von Echtzeit- und Low-Latency-Anwendungen auf Geräten wie netzwerkverbundenen Kameras, Fahrzeugen und IoT-Geräten ist die Verarbeitung an der Quelle für einen effektiven Betrieb unerlässlich. Mit Edge-KI können wir eine Vielzahl von Schlüsselanwendungen voll ausschöpfen, die die Zukunft intelligenter Städte, intelligenter Verkehrssysteme, autonomer Fahrzeuge, Video-Management-Systeme (VMS), Industrie 4.0 und mehr antreiben.

Was sind einige der Herausforderungen bei der Verarbeitung von visuellen Daten an der Edge?

Das Ziel ist es, so viel Leistung und so viele Funktionen wie möglich in Edge-Geräte zu packen, damit sie große Mengen an visuellen Daten schnell und mit geringer Latenz verarbeiten können; doch eine der wichtigsten Einschränkungen ist der Energieverbrauch – sowohl in Bezug auf die Menge an Energie, die an das Gerät geliefert werden kann, als auch die von dem Prozessor erzeugte Wärme.

Bei intelligenten Kameras beispielsweise benötigen Hersteller einen KI-Prozessor, der in ein 2-3-W-Enveloppe passt, da die Kamera keine Lüfterkühlung verwenden kann und in der Regel eine begrenzte Stromversorgung hat. Diese sind akute Schmerzpunkte, da die Leistung bei so geringer Leistung extrem begrenzt ist, wenn man die meisten auf dem Markt verfügbaren Prozessoren verwendet.

Wie hat Hailo die Architektur von KI-Prozessoren neu konzipiert?

Wir haben dies getan, indem wir speziell einen KI-Prozessor entwarfen, der für den Einsatz in Edge-Geräten konzipiert ist, wobei die Größe- und Leistungsbeschränkungen berücksichtigt werden. Durch diese Maßnahme ermöglichen wir eine beispiellose Rechenleistung auf Edge-Geräten, sodass diese KI effizienter und effektiver ausführen und anspruchsvolle Deep-Learning-Anwendungen wie Objekterkennung, Objekterkennung, Segmentierung und andere mit Leistungsstufen durchführen können, die zuvor nur in der Cloud möglich waren. Diese einzigartige Architektur ermöglicht die Verarbeitung von Multi-Stream- und Multi-Anwendungen, wodurch die Leistung und Kosteneffizienz von Edge-Geräten verbessert werden.

Ein Beispiel für die Verwendung dieser Architektur sind Video-Management-Systeme (VMS). Diese Systeme werden in Bereichen mit zahlreichen Kameras wie Bürogebäuden, Stadien, intelligenten Stadtanwendungen und Autobahnen eingesetzt, um Sicherheit und Sicherheit zu verbessern, einschließlich der Überwachung von Notfällen und Unfällen, verdächtigen Aktivitäten, Verkehrsmanagement, Zugangskontrolle, Mauterhebung und mehr. Viele Jahre lang verließen sich Unternehmen vollständig auf manuelle Prozesse, wenn es um die Erfassung, Analyse und Speicherung von Videodaten ging. Jetzt kann Hailos einzigartige neuronale Netzwerkarchitektur mehrere Aufgaben parallel in Echtzeit ausführen, wodurch die Verarbeitung von mehr Kanälen und mehr Anwendungen gleichzeitig ermöglicht wird. Anwendungen umfassen erweiterte Kennzeichenerkennung (LPR), Verkehrsüberwachung, Verhaltenserkennung und mehr.

Können Sie die neuronale Netzwerkverarbeitungskern und Ihren Ansatz zur parallelen Berechnung von neuronalen Netzen im Vergleich zur sequenziellen Berechnung erläutern?

Unser KI-Prozessor kombiniert mehrere Innovationen, die die grundlegenden Eigenschaften von neuronalen Netzen ansprechen. Wir haben ein innovatives Steuersystem angewendet, das auf einer Kombination von Hardware und Software basiert, um sehr geringe Joule pro Operation mit einem hohen Grad an Flexibilität zu erreichen.

Unsere einzigartige dataflow-orientierte Architektur passt sich der Struktur des neuronalen Netzes an und ermöglicht eine hohe Ressourcenausnutzung. Der Hailo-Dataflow-Compiler besteht aus einer vollständigen Software, die gemeinsam mit unserer Hardware entwickelt wurde, um eine effiziente Bereitstellung von neuronalen Netzen zu ermöglichen. Der Dataflow-Compiler erhält das Benutzermodell als Eingabe. Im Rahmen des Build-Flows zerlegt der Dataflow-Compiler jede der Netzwerkschichten in die erforderlichen Rechenelemente und generiert eine Ressourcengrafik, die eine Darstellung des Zielnetzwerks ist. Der Dataflow-Compiler ordnet dann die Ressourcengrafik des Zielnetzwerks den verfügbaren physischen Ressourcen des Prozessors zu und generiert eine benutzerdefinierte Datenpipeline für das Zielnetzwerk. Wenn dies auf diese Weise durchgeführt wird, ist die Ausführung eines Modells auf einem Gerät sehr effizient und verwendet minimaler Rechenressourcen zu jedem Zeitpunkt.

Was sind einige der aktuellen Hailo-basierten Plattformen, die für Unternehmen verfügbar sind?

Der Hailo-8-Prozessor und die KI-Module können in eine Vielzahl von Edge-Geräten eingebaut werden, um mehrere Branchen mit überlegenen KI-Fähigkeiten zu unterstützen – einschließlich Automotive, intelligenter Städte, intelligenter Einzelhandel und Industrie 4.0.

Hailo hat sich mit führenden VMS- und ISV-Spielern wie Innovatrics, Network Optix, GeoVision und Art of Logic zusammengetan, um Spitzenleistungen bei der Videoanalyse im großen Maßstab zu ermöglichen.

Wie viel Zeit können diese Lösungen Kunden, die KI-Lösungen integrieren, sparen?

Die Integration von Lösungen, die auf etablierten VMS-Plattformen laufen, kann zeitaufwändig sein, aber das ist nicht der Hauptvorteil des Systems. Die Hailo-basierten VMS-Lösungen ermöglichen es, mehr Streams parallel laufen zu lassen und mehr Anwendungen pro Stream zu verarbeiten.

Die Fähigkeit, KI zu nutzen, um mehrere Video-Streams zu verarbeiten, bedeutet auch, dass nur bestimmte Ereignisse in die Cloud für die Speicherung gestreamt werden müssen, was zu erheblichen Einsparungen bei Bandbreite und Speicherkapazität führt.

Was sind einige Lektionen, die Sie aus der Implementierung von Deep-Learning-Anwendungen in Edge-Geräten gelernt haben?

Wir haben gesehen, wie KI an der Edge eine wichtige Rolle bei der Treibung von Innovationen in einer Vielzahl von Branchen in den kommenden Jahren spielen wird. Wenn Unternehmen Lösungen suchen, die sicherstellen, dass ihre Geräte leistungsfähiger, vielseitiger, reaktionsfähiger und sicherer sind, wird die Cloud weiterhin von Edge-Geräten und Hybrid-Modellen abgelöst. Diejenigen, die es schaffen, KI an der Edge zu implementieren, werden einen Vorteil in allen Bereichen erlangen.

Was ist Ihre Vision für die Zukunft von Edge-Computing?

Edge-Computing – insbesondere KI an der Edge – hat die Fähigkeit, die Welt um uns herum vollständig zu verändern, indem es Geräte wie intelligente Kameras, intelligente Fahrzeuge, autonome Roboter, fortschrittliche Verkehrsmanagement-Tools, intelligente Bauwesen, intelligente Fabriken und mehr ermöglicht. KI an der Edge hat die Macht, alles und jedes zu verändern, indem sie neue Anwendungen ermöglicht, um unsere Welt intelligenter und sicherer zu machen. Hailos KI-Verarbeitungstechnologie ist ein wichtiger Treiber all dieser Anwendungsfälle. Wir werden weiterhin mit Herstellern und Innovatoren auf der ganzen Welt zusammenarbeiten, um diese Lösungen zugänglicher zu machen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Hailo besuchen.