Orr Danon, CEO und Mitbegründer von Hailo – Interview Series

Orr Danon ist CEO und Mitbegründer von Hallo, ein Unternehmen mit der Mission, Smart-Edge-Technologien zu ermöglichen, ihr volles Potenzial auszuschöpfen. Die von Hailo vorgestellte Lösung schließt die Lücke zwischen bestehenden und zukünftigen KI-Technologien und der für den Betrieb dieser Anwendungen erforderlichen Rechenkapazität. Das Unternehmen konzentriert sich auf die Entwicklung von KI-Prozessoren, die effizient und kompakt genug sind, um große Datenmengen in Echtzeit zu berechnen und zu interpretieren.

Könnten Sie uns die Entstehungsgeschichte von Hailo erzählen?

Ich habe Hailo 2017 zusammen mit Kollegen gegründet, die ich zuvor in der Elite-Technologieeinheit der israelischen Streitkräfte (IDF) kennengelernt hatte. Während wir mit meinen Mitbegründern Rami Feig und Avi Baum an IoT-Lösungen (Internet der Dinge) arbeiteten, tauchte während unserer Recherche immer wieder ein weniger bekanntes Konstrukt auf – „Deep Learning“. Schließlich haben wir Experten auf diesem Gebiet zusammengebracht, um eine neue Deep-Learning-Lösung zu entwickeln, die darauf abzielt, die Mängel der veralteten Computerarchitektur zu beheben, um intelligenten Geräten einen effektiveren und effizienteren Betrieb am Netzwerkrand zu ermöglichen. Nach Ramis unglücklichem Tod verwirklichte das Hailo-Team seine Vision und entwickelte Hailos bahnbrechenden KI-Prozessor.

Könnten Sie kurz erklären, warum Edge Computing oft eine bessere Lösung als Cloud Computing ist?

Als wir Hailo gründeten, waren disruptive KI-Technologien größtenteils auf die Cloud oder große Rechenzentren beschränkt, da sie teuer sind, eine hohe Rechenleistung und umfangreiche Hardware für den Betrieb erfordern und eine erhebliche Menge Energie verbrauchen. Wir glauben, dass KI dazu beiträgt, eine bessere, sicherere, produktivere und aufregendere Welt zu schaffen, aber damit dies geschieht, muss KI auch am Rande verfügbar sein. Für die Implementierung von Echtzeitanwendungen und Anwendungen mit geringer Latenz auf Geräten wie netzwerkverbundenen Kameras, Fahrzeugen und IoT-Geräten ist die Verarbeitung an der Quelle für einen effektiven Betrieb von entscheidender Bedeutung. Mit Edge AI können wir eine Reihe wichtiger Anwendungsfälle vollständig nutzen, die die Zukunft von Smart Cities, intelligentem Transport, autonomem Fahren, Videomanagementsystemen (VMS), Industrie 4.0 und mehr vorantreiben.

Was sind einige der Herausforderungen bei der Verarbeitung visueller Daten am Edge?

Das Ziel besteht darin, so viel Leistung und Funktionen wie möglich in Edge-Geräte zu packen, damit diese eine enorme Menge an visuellen Daten schnell und mit geringer Latenz verarbeiten können; Eine der größten Einschränkungen ist jedoch der Stromverbrauch – sowohl im Hinblick darauf, wie viel Strom an das Gerät geliefert werden kann, als auch in Bezug auf die vom Prozessor erzeugte Wärme.

Mit der  Intelligente KamerasBeispielsweise benötigen Hersteller einen KI-Prozessor, der in ein 2-3-W-Gehäuse passt, da die Kamera keine Lüfterkühlung nutzen kann und im Allgemeinen über eine begrenzte Stromversorgung verfügt. Dies sind akute Schwachstellen, da bei derart geringer Leistung die Leistung bei Verwendung der meisten Prozessoren auf dem Markt äußerst eingeschränkt ist.

Wie hat Hailo die KI-Prozessorarchitektur neu konzipiert?

Dies haben wir erreicht, indem wir speziell einen KI-Prozessor entwickelt haben, der unter Berücksichtigung der Größen- und Leistungsbeschränkungen für den Betrieb auf Edge-Geräten ausgelegt ist. Auf diese Weise ermöglichen wir eine beispiellose Rechenleistung auf Edge-Geräten, die es ihnen ermöglichen, KI effizienter und effektiver auszuführen und anspruchsvolle Deep-Learning-Anwendungen wie Objekterkennung, Objekterkennung, Segmentierung und andere durchzuführen, mit Leistungsniveaus, die bisher nur im Internet möglich waren Wolke. Diese einzigartige Architektur ermöglicht die Verarbeitung mehrerer Streams und mehrerer Anwendungen und verbessert so die Leistung und Kosteneffizienz von Edge-Geräten.

Ein Beispiel für den Einsatz dieser Architektur sind Video Management Systeme (VMS). Diese Systeme werden in Bereichen mit zahlreichen Kameras wie Bürogebäuden, Stadien, Smart-City-Anwendungen und Autobahnen eingesetzt, um die Sicherheit besser zu verwalten, einschließlich der Überwachung von Notfällen und Unfällen, verdächtigen Aktivitäten, Verkehrsmanagement, Zugangskontrolle, Mauterhebung und mehr . Viele Jahre lang waren Unternehmen beim Sammeln, Analysieren und Speichern von Videodaten ausschließlich auf manuelle Prozesse angewiesen. Mit der einzigartigen neuronalen Netzwerkarchitektur von Hailo kann VMS nun mehrere Aufgaben parallel und in Echtzeit ausführen und so mehr Kanäle und mehr Anwendungen gleichzeitig verarbeiten. Zu den Anwendungen gehören erweiterte Nummernschilderkennung (LPR), Verkehrsüberwachung, Verhaltenserkennung und mehr.

Könnten Sie den Verarbeitungskern neuronaler Netze und Ihren Ansatz, neuronale Netze parallel oder sequentiell zu berechnen, erläutern?

Unser KI-Prozessor vereint mehrere Innovationen, die sich mit den grundlegenden Eigenschaften neuronaler Netze befassen. Wir haben ein innovatives Steuerungsschema angewendet, das auf einer Kombination aus Hardware und Software basiert, um sehr niedrige Joule pro Vorgang bei einem hohen Maß an Flexibilität zu erreichen.

Unsere einzigartige datenflussorientierte Architektur passt sich der Struktur des neuronalen Netzwerks an und ermöglicht eine hohe Ressourcenauslastung. Der Hailo-Datenfluss-Compiler besteht aus Full-Stack-Software, die gemeinsam mit unserer Hardware entwickelt wurde, um eine effiziente Bereitstellung neuronaler Netze zu ermöglichen. Der Datenfluss-Compiler erhält das Benutzermodell als Eingabe. Als Teil des Build-Ablaufs zerlegt der Datenfluss-Compiler jede Netzwerkschicht in die erforderlichen Rechenelemente und generiert so einen Ressourcengraphen, der das Zielnetzwerk darstellt. Der Datenfluss-Compiler gleicht dann den Ressourcengraphen des Zielnetzwerks mit den auf dem Prozessor verfügbaren physischen Ressourcen ab und generiert so eine angepasste Datenpipeline für das Zielnetzwerk. Wenn es auf diese Weise durchgeführt wird, ist die Ausführung eines Modells auf einem Gerät äußerst effizient und verbraucht jederzeit nur minimale Rechenressourcen.

Welche aktuellen Hailo-basierten Plattformen stehen Unternehmen zur Verfügung?

Der Hailo-8™-Prozessor und die KI-Module können an eine Vielzahl von Edge-Geräten angeschlossen werden und helfen dabei, mehrere Sektoren mit überlegenen KI-Fähigkeiten zu versorgen – darunter Automobil, Smart Cities, Smart Retail und Industrie 4.0.

Hailo hat mit führenden VMS- und ISV-Anbietern wie Innovatrics, Network Optix, GeoVision und Art of Logic zusammengearbeitet, um leistungsstarke Videoanalysen in großem Maßstab zu ermöglichen.

Wie viel Zeit können diese Lösungen Kunden sparen, die KI-Lösungen integrieren?

Die Beschaffung integrierter Lösungen, die auf etablierten VMS-Plattformen laufen, spart Zeit, ist aber nicht der Hauptvorteil des Systems. Die Hailo-basierten VMS-Lösungen ermöglichen die parallele Ausführung von mehr Streams und die Verarbeitung von mehr Anwendungen pro Stream.

Die Möglichkeit, KI für die Verarbeitung mehrerer Videostreams zu nutzen, bedeutet auch, dass nur bestimmte Ereignisse zur Speicherung in die Cloud gestreamt werden müssen, was erhebliche Einsparungen bei Bandbreite und Speicherkapazität ermöglicht.

Welche Lehren haben Sie aus der Bereitstellung von Deep-Learning-Anwendungen auf Edge-Geräten gezogen?

Wir haben aus erster Hand gesehen, dass KI am Rande in den kommenden Jahren eine Schlüsselrolle bei der Förderung von Innovationen in einer Vielzahl von Sektoren spielen wird. Während Unternehmen nach Lösungen suchen, die sicherstellen, dass ihre Geräte leistungsfähiger, vielseitiger, reaktionsschneller und sicherer sind, wird die Cloud weiterhin Edge-Geräten und Hybridmodellen weichen. Wer es schafft, KI an der Edge zu implementieren, wird sich auf ganzer Linie einen Vorsprung verschaffen.

Was ist Ihre Vision für die Zukunft des Edge Computing?

Edge Computing – insbesondere KI am Edge – hat die Fähigkeit, die Funktionsweise der Welt um uns herum völlig zu verändern und Geräte wie intelligente Kameras, intelligente Fahrzeuge, autonome Roboter, fortschrittliche Verkehrsmanagementtools, intelligentes Bauen, intelligente Fabriken und mehr zu ermöglichen. KI am Rande hat die Macht, alles und jeden zu verändern und neue Anwendungen zu ermöglichen, die unsere Welt intelligenter und sicherer machen. Die KI-Verarbeitungstechnologie von Hailo ist ein wichtiger Wegbereiter für all diese Anwendungsfälle. Wir werden weiterhin mit Herstellern und Innovatoren auf der ganzen Welt zusammenarbeiten, um diese Lösungen zugänglicher zu machen.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Hallo.