Orr Danon, CEO & Co-Founder von Hailo – Interview-Serie

Orr Danon, ist der CEO & Co-Founder von Hailo, einem Unternehmen mit der Mission, smarte Edge-Technologien zu ermöglichen, um ihr volles Potenzial zu erreichen. Die Lösung, die Hailo präsentiert, überbrückt die Lücke zwischen bestehenden und zukünftigen KI-Technologien und der Rechenleistung, die benötigt wird, um diese Anwendungen zu betreiben. Das Unternehmen konzentriert sich auf den Bau von KI-Prozessoren, die effizient und kompakt genug sind, um große Mengen an Daten in Echtzeit zu berechnen und zu interpretieren.

Könnten Sie die Genesis-Geschichte hinter Hailo teilen?

Ich habe Hailo 2017 zusammen mit Kollegen gegründet, die ich zuvor in der Elite-Technologie-Einheit der israelischen Verteidigungskräfte (IDF) kennengelernt hatte. Während ich mit meinen Mitgründern Rami Feig und Avi Baum an IoT-Lösungen (Internet der Dinge) arbeitete, tauchte ein weniger bekanntes Konstrukt – “Deep Learning” – immer wieder in unserer Forschung auf. Schließlich brachten wir Experten auf diesem Gebiet zusammen, um eine neue Deep-Learning-Lösung zu entwickeln, die darauf abzielte, die Mängel der veralteten Computerarchitektur zu überwinden, um es intelligenten Geräten zu ermöglichen, effektiver und effizienter am Rand zu operieren. Nach dem leider viel zu frühen Tod von Rami sah das Hailo-Team seine Vision durch – die Schaffung des bahnbrechenden KI-Prozessors von Hailo.

Könnten Sie kurz erklären, warum Edge-Computing oft eine überlegene Lösung zu Cloud-Computing ist?

Als wir Hailo gründeten, waren disruptive KI-Technologien größtenteils auf die Cloud oder große Rechenzentren beschränkt, da sie teuer sind, eine hohe Rechenleistung und umfangreiche Hardware erfordern, um zu laufen, und einen erheblichen Energieverbrauch haben. Wir glauben, dass KI dabei hilft, eine bessere, sicherere, produktivere und spannendere Welt zu schaffen, aber damit dies geschehen kann, muss KI auch am Rand verfügbar sein. Für die Implementierung von Echtzeit- und Low-Latency-Anwendungen auf Geräten wie netzwerkverbundenen Kameras, Fahrzeugen und IoT-Geräten ist die Verarbeitung am Ursprung für einen effektiven Betrieb unerlässlich. Mit Edge-KI können wir eine Vielzahl von Schlüsselanwendungsfällen nutzen, die die Zukunft von Smart Cities, intelligenter Verkehr, autonomem Fahren, Video-Management-Systemen (VMS), Industry 4.0 und mehr antreiben.

Was sind einige der Herausforderungen bei der Verarbeitung von visuellen Daten am Rand?

Das Ziel ist es, so viel Leistung und so viele Funktionen wie möglich in Edge-Geräte zu packen, damit sie eine enorme Menge an visuellen Daten schnell und mit wenig Latenz verarbeiten können; doch eine der wichtigsten Einschränkungen ist der Energieverbrauch – sowohl in Bezug auf die Menge an Energie, die an das Gerät geliefert werden kann, als auch die von dem Prozessor erzeugte Wärme.

Bei intelligenten Kameras beispielsweise benötigen Hersteller einen KI-Prozessor, der in ein 2-3-W-Enveloppe passt, da die Kamera keine Lüfterkühlung verwenden kann und in der Regel eine begrenzte Stromversorgung hat. Diese sind akute Schmerzpunkte, da die Leistung bei so geringer Leistung extrem begrenzt ist, wenn man die meisten auf dem Markt erhältlichen Prozessoren verwendet.

Wie hat Hailo die Architektur des KI-Prozessors neu konzipiert?

Wir haben dies getan, indem wir einen KI-Prozessor speziell für Edge-Geräte entwarfen, wobei wir die Größe- und Leistungsbeschränkungen berücksichtigten. Indem wir dies tun, ermöglichen wir eine beispiellose Rechenleistung auf Edge-Geräten, sodass diese KI effizienter und effektiver ausführen und anspruchsvolle Deep-Learning-Anwendungen wie Objekterkennung, Objektverfolgung, Segmentierung und andere mit Leistungspegeln durchführen können, die zuvor nur in der Cloud möglich waren. Diese einzigartige Architektur ermöglicht die Verarbeitung von Multi-Stream- und Multi-Anwendungen, wodurch die Leistung und Kosteneffizienz von Edge-Geräten verbessert werden.

Ein Beispiel für die Verwendung dieser Architektur sind Video-Management-Systeme (VMS). Diese Systeme werden in Bereichen mit zahlreichen Kameras wie Bürogebäuden, Stadien, Smart-City-Anwendungen und Autobahnen eingesetzt, um Sicherheit und Sicherheitsüberwachung zu verbessern, einschließlich der Überwachung von Notfällen und Unfällen, verdächtigen Aktivitäten, Verkehrsmanagement, Zugangskontrolle, Mauterhebung und mehr. Seit vielen Jahren verließen sich Unternehmen bei der Erfassung, Analyse und Speicherung von Videodaten vollständig auf manuelle Prozesse. Jetzt kann VMS mit der einzigartigen neuronalen Netzwerkarchitektur von Hailo mehrere Aufgaben parallel in Echtzeit ausführen, wodurch die Verarbeitung von mehr Kanälen und mehr Anwendungen gleichzeitig ermöglicht wird. Anwendungen umfassen erweiterte Kennzeichenerkennung (LPR), Verkehrsüberwachung, Verhaltenserkennung und mehr.

Könnten Sie die neuronale Netzwerkverarbeitungskern und Ihren Ansatz zur parallelen Berechnung von neuronalen Netzen im Vergleich zur sequenziellen Berechnung erläutern?

Unser KI-Prozessor kombiniert mehrere Innovationen, die die grundlegenden Eigenschaften von neuronalen Netzen ansprechen. Wir haben ein innovatives Steuerschema angewendet, das auf einer Kombination von Hardware und Software basiert, um sehr niedrige Joule pro Operation mit einem hohen Grad an Flexibilität zu erreichen.

Unsere einzigartige dataflow-orientierte Architektur passt sich der Struktur des neuronalen Netzes an und ermöglicht eine hohe Ausnutzung der Ressourcen. Der Hailo-Dataflow-Compiler besteht aus einer vollständigen Software-Stack, die gemeinsam mit unserer Hardware entwickelt wurde, um eine effiziente Bereitstellung von neuronalen Netzen zu ermöglichen. Der Dataflow-Compiler erhält das Benutzermodell als Eingabe. Im Rahmen des Build-Flows zerlegt der Dataflow-Compiler jede der Netzwerkschichten in die erforderlichen Rechenelemente und generiert einen Ressourcengraph, der eine Darstellung des Zielnetzwerks ist. Der Dataflow-Compiler ordnet dann den Ressourcengraph des Zielnetzwerks den verfügbaren physischen Ressourcen auf dem Prozessor zu und generiert eine benutzerdefinierte Datenpipeline für das Zielnetzwerk. Wenn dies auf diese Weise durchgeführt wird, ist das Ausführen eines Modells auf einem Gerät sehr effizient und verwendet minimalen Rechenaufwand zu jedem Zeitpunkt.

Was sind einige der aktuellen Hailo-basierten Plattformen, die für Unternehmen verfügbar sind?

Der Hailo-8-Prozessor und die KI-Module können in eine Vielzahl von Edge-Geräten eingesteckt werden, um mehrere Branchen mit überlegenen KI-Fähigkeiten zu unterstützen – einschließlich Automotive, Smart Cities, Smart Retail und Industry 4.0.

Hailo hat sich mit führenden VMS- und ISV-Spielern wie Innovatrics, Network Optix, GeoVision und Art of Logic zusammengetan, um Spitzenleistungen bei der Videoanalyse im großen Maßstab zu ermöglichen.

Wie viel Zeit können diese Lösungen Kunden, die KI-Lösungen integrieren, sparen?

Die Suche nach integrierten Lösungen, die auf etablierten VMS-Plattformen laufen, spart Zeit, aber das ist nicht der Hauptvorteil des Systems. Die Hailo-basierten VMS-Lösungen ermöglichen es, mehr Streams parallel auszuführen und mehr Anwendungen für jeden Stream zu verarbeiten.

Die Fähigkeit, KI zu nutzen, um mehrere Video-Streams zu verarbeiten, bedeutet auch, dass nur bestimmte Ereignisse in die Cloud für die Speicherung gestreamt werden müssen, was zu erheblichen Einsparungen bei Bandbreite und Speicherkapazität führt.

Was sind einige der Lektionen, die Sie aus der Bereitstellung von Deep-Learning-Anwendungen auf Edge-Geräten gelernt haben?

Wir haben selbst gesehen, wie KI am Rand in den kommenden Jahren eine wichtige Rolle bei der Förderung von Innovationen in einer Vielzahl von Branchen spielen wird. Wenn Unternehmen nach Lösungen suchen, die sicherstellen, dass ihre Geräte leistungsfähiger, vielseitiger, reaktionsfähiger und sicherer sind, wird die Cloud weiterhin von Edge-Geräten und Hybrid-Modellen abgelöst. Diejenigen, die es schaffen, KI am Rand umzusetzen, werden überall einen Vorteil haben.

Was ist Ihre Vision für die Zukunft des Edge-Computing?

Edge-Computing – insbesondere KI am Rand – hat die Fähigkeit, vollständig zu verändern, wie die Welt um uns herum funktioniert, und ermöglicht es Geräten wie intelligenten Kameras, intelligenten Fahrzeugen, autonomen Robotern, fortschrittlichen Verkehrsmanagement-Tools, Smart Construction, Smart Factories und mehr. KI am Rand hat die Macht, alles und jedes zu verändern, und ermöglicht es, neue Anwendungen zu schaffen, die unsere Welt intelligenter und sicherer machen. Die KI-Verarbeitungstechnologie von Hailo ist ein wichtiger Enabler für all diese Anwendungsfälle. Wir werden weiterhin mit Herstellern und Innovatoren auf der ganzen Welt zusammenarbeiten, um diese Lösungen zugänglicher zu machen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Hailo besuchen.