Avi Baum, CTO bei Hailo – Interview-Serie

Avi Baum, CTO bei Hailo, leitet die technologische Vision und Produktinnovation des Unternehmens. Zuvor war er als CTO für Wireless Connectivity bei Texas Instruments (TXN ) tätig, wo er Strategien für vernetzte MCUs in IoT- und IIoT-Märkten entwickelte und leitende Architektur- und Führungsrollen bei den israelischen Streitkräften innehatte.

Hailo ist ein israelisches AI-Chip-Unternehmen, das sich auf hochleistungsfähige, stromsparende Edge-AI-Prozessoren für Anwendungen wie autonome Fahrzeuge, intelligente Kameras und Robotik spezialisiert hat, unterstützt durch eine umfassende Software-Suite und ein globales Partner-Ökosystem.

Können Sie uns erzählen, was Sie ursprünglich zum Bereich Edge-AI gezogen hat und wie Ihre frühen Ingenieurserfahrungen Ihr Denken über Prozessordesign geprägt haben?

Mein Karriereweg hat mich in Bereiche geführt, die sich gerade entwickelten. Während meiner Zeit bei TI (Texas Instruments), einem Halbleiterführer mit langjähriger Tradition, hatte ich die Gelegenheit, systemweite Design- und Architektur zu leiten und später als CTO dieser Abteilung zu fungieren. Dies führte mich dazu, ständig aufstrebende Technologien zu erkunden, die die Zukunft prägen werden.

Als wir Hailo 2017 gründeten, war es klar, dass AI, das im Cloud-Bereich begonnen hatte zu gedeihen, auch das Potenzial hatte, eine Schlüsseltechnologie für Edge-Geräte zu werden. Also setzten wir uns auf diesen Kurs und begannen diese Reise.

Warum ist TOPS – Tera-Operationen pro Sekunde – kein ausreichendes Benchmark für die Bewertung der Prozessorleistung, wenn generative AI am Edge expandiert?

TOPS war lange Zeit der Standard für die Bewertung von AI-Hardware, aber in der Ära der generativen AI am Edge reicht dies nicht mehr aus. Die Natur klassischer Modelle besteht darin, große Datenmengen in sinnvolle Erkenntnisse zu übersetzen, sodass die benötigte Rechenleistung mit der Menge der zu verarbeitenden Daten steigt. Modelle für diese Aufgaben sind typischerweise kleiner als die Datenmenge, die sie verarbeiten, was den Overhead-Bandbreitenanteil, der dem Zugriff auf die Modellparameter zuzurechnen ist, vernachlässigbar macht.

Generative Modelle hingegen sind deutlich größer – im Bereich von Milliarden von Parametern – und in diesen Fällen wird die Speicherbandbreite zu einem nicht vernachlässigbaren Faktor.

Anstatt sich ausschließlich auf TOPS zu konzentrieren, ist es entscheidend, zu bewerten, wie gut ein Prozessor Rechenleistung und Speicher unter realen Bedingungen ausbalanciert. Es geht nicht darum, die höchste Zahl zu jagen, sondern darum, die Architektur an die zu bewältigenden Arbeitslasten anzupassen.

Warum wird die Speicherbandbreite nun zu einem kritischeren Engpass als die Rechenleistung bei Edge-AI-Arbeitslasten, insbesondere bei LLMs und VLMs?

Bei Edge-AI-Arbeitslasten, insbesondere solchen, die LLMs oder VLMs beinhalten, wird die Speicherbandbreite schnell zum primären Engpass. Diese Modelle sind typischerweise zwischen 0,5 und 8 Milliarden Parameter groß und überschreiten die Kapazität des On-Chip-Speichers, was den Zugriff auf Off-Chip-Speicher wie DRAM erfordert. Dies erhöht den Bedarf an Speicherbandbreite erheblich. Zum Beispiel kann ein 1-Milliarden-Parameter-Modell unter optimalen Bedingungen mit einer Standard-LPDDR4X-Schnittstelle bis zu 40 Token pro Sekunde liefern, aber um diese Rate mit einem 4-Milliarden-Parameter-Modell beizubehalten, wird über viermal so viel Bandbreite benötigt. Ohne diese Bandbreite leidet die Leistung, nicht wegen begrenzter Rechenleistung, sondern weil der Prozessor die Daten nicht schnell genug einlesen kann. Diese Ungleichgewicht zwischen Rechenleistung und Speicher ist eine der dringlichsten Herausforderungen bei der Bereitstellung generativer AI am Edge. Dies wird weiter verschärft durch Architekturen, die Schicht für Schicht berechnen, wobei Zwischenergebnisse auch den Speicherdatenverkehr erhöhen und die Bandbreite weiter belasten.

Wie sollten Produktteams ihre Benchmark-Strategie überdenken, wenn sie für reale Edge-Anwendungen entwerfen?

Produktteams sollten sich von der Abhängigkeit von einem einzigen Leistungsmerkmal wie TOPS lösen und stattdessen eine Benchmark-Strategie verfolgen, die die Realitäten der Edge-Bereitstellung widerspiegelt. Dies beginnt damit, die spezifische Anwendung, die tatsächliche Arbeitslast, die der Prozessor bewältigen muss, und den “Arbeitspunkt” zu verstehen: den Schnittpunkt von Leistungs-, Kosten- und Latenzbeschränkungen. Von dort aus geht es darum, zu bewerten, wie Rechenleistung und Speicher unter diesen Bedingungen interagieren. Ein Prozessor mit hoher TOPS-Zahl wird nicht liefern, wenn die Speicherbandbreite begrenzt ist, und mehr Speicher wird nicht helfen, wenn die Rechenleistung unzureichend ist.

Teams sollten bewerten, ob der Prozessor die Leistung über Aufgaben wie Wahrnehmung, Erhöhung und generative Arbeitslasten hinweg aufrechterhalten kann, bei denen jeder sehr unterschiedliche Anforderungen stellt. Das Ziel besteht nicht darin, Spitzenwerte zu optimieren, sondern sicherzustellen, dass die Leistung über den gesamten Bereich erwarteter Anwendungsfälle in realen Umgebungen ausbalanciert ist.

Dies ist ein natürlicher Übergang von “sterilen” Maßen zu anspruchsvolleren Ansätzen, die die Nutzung von Plattformen widerspiegeln und wie sie bewertet werden – ähnlich wie es bei anderen Architekturen der Fall war, die zum Mainstream wurden (z.B. SPEC, Coremark, 3DMark usw.).

Wie beeinflussen Leistungs- und Kosteneinschränkungen die Architekturentscheidungen hinter Hailo-Prozessoren, insbesondere für an Endverbraucher gerichtete Edge-Geräte?

Leistung und Kosten sind zwei der bestimmendsten Einschränkungen bei der Gestaltung von AI-Prozessoren für Edge-Geräte, insbesondere bei Verbraucherprodukten. In kompakten Geräten wie IoT-Sensoren oder intelligenten Assistenten sind die Leistungsbudgets knapp, und es gibt oft keine aktive Kühlung, sodass Energieeffizienz entscheidend wird. Jede zusätzliche Rechen- oder Speicherressource erhöht den Energieverbrauch und die Wärme, was direkt die Benutzbarkeit und die Batterielebensdauer beeinträchtigt.

Kosten sind ebenso einflussreich. Verbrauchergeräte müssen innerhalb wettbewerbsfähiger Preispunkte bleiben, was bedeutet, dass der Prozessor nur so viel TOPS und Speicher enthalten kann, bevor er wirtschaftlich unrentabel wird. Diese Einschränkungen erzwingen harte architektonische Kompromisse. Bei Hailo priorisieren wir Designs, die das richtige Gleichgewicht zwischen Rechenleistung und Speicher liefern, um reale Anwendungsfälle innerhalb eines engen Rahmens von Leistung und Kosten zu erfüllen, um Edge-AI in einer breiten Palette von Verbraucherprodukten machbar, effizient und skalierbar zu machen.

Könnten Sie uns durch den Prozess führen, wie Sie einen “Arbeitspunkt” für eine Anwendung definieren und warum dies in der Edge-AI-Bereitstellung so wichtig ist?

Die Definition des “Arbeitspunkts” ist einer der wichtigsten Schritte beim Systemdesign. Er bezieht sich auf den Schnittpunkt von Leistungs-, Kosten- und Latenzbeschränkungen, der bestimmt, was in einer bestimmten Bereitstellung realistisch erreichbar ist. Im Gegensatz zur Cloud, wo man mehr Rechenleistung oder Speicher auf ein Problem werfen kann, operieren Edge-Geräte innerhalb eines festen Rahmens. Das bedeutet, dass man absichtliche Kompromisse auf der Grundlage der tatsächlichen Anforderungen der Anwendung treffen muss. Zum Beispiel könnte ein IoT-Sensor Energieeffizienz über Rohleistung priorisieren, während ein autonomes System ultraniedrige Latenz unabhängig vom Energieverbrauch fordern könnte. Sobald der Arbeitspunkt festgelegt ist, kann man bewerten, ob der Prozessor das richtige Gleichgewicht zwischen Rechenleistung und Speicher aufweist, um diese Anforderung zu erfüllen. Es geht nicht darum, Werte in jede Richtung zu maximieren, sondern darum, eine aufrechterhaltene, zuverlässige Leistung in den realen Bedingungen zu gewährleisten, denen die Anwendung gegenübersteht.

Im Allgemeinen ist der Arbeitspunkt der Punkt, an dem man die wichtigsten Leistungsindikatoren auf ihrem Optimum haben möchte. Wenn man dies nicht tut, kann dies zu einer suboptimalen Operation unter den meisten typischen Nutzungsszenarien der Plattform führen.

Als einfaches Beispiel könnte man ein AI-Analyse-System extrem effizient machen, wenn die Eingabe in sehr hoher Auflösung ist, aber wenn dies in Systemen eingesetzt wird, die nie diese Auflösung erreichen, ist diese Optimierung sinnlos.

Wie gehen Sie bei der Optimierung über multimodale Modelle vor, bei denen Video, Audio und Sprache oft kombiniert werden?

Multimodale Modelle erfordern ein bewusstes Gleichgewicht zwischen Rechen- und Speicherressourcen. Jede Modalität belastet das System unterschiedlich: Video ist rechenintensiv aufgrund hoher Auflösung und Bildfrequenz, während Sprache und Audio kompakter sind, aber höhere Anforderungen an die Speicherbandbreite stellen. In Anwendungen wie der Bild-Sprach-Verarbeitung wird diese Aufteilung deutlich (obwohl dies keine Garantie, sondern ein typisches Szenario ist): Videoverarbeitung belastet die Rechenleistung, während das Sprachmodell schnell auf Speicherengpässe stoßen kann.

Wir gehen bei der Optimierung davon aus, wie diese Arbeitslasten über die Pipeline interagieren, und stellen sicher, dass der Prozessor so konzipiert ist, dass er diese gleichzeitig unterstützen kann, ohne dass eine Modalität die Leistung einer anderen beeinträchtigt.

Wie kompliziert die Latenz und den Energieverbrauch durch die zunehmende Modellgröße am Edge, und welche Rolle spielt die Systemarchitektur bei der Lösung dieses Problems?

Wenn die Modellgröße am Edge zunimmt, werden Latenz und Energieverbrauch schwieriger zu bewältigen. Größere Modelle verlassen sich stärker auf externen Speicher, was sowohl den Energieverbrauch als auch die Verzögerung erhöht, insbesondere wenn die Speicherbandbreite zum Engpass wird. Zum Beispiel würde das Skalieren von einem 1-Milliarden-Parameter-Modell auf ein 4-Milliarden-Parameter-Modell über viermal so viel Bandbreite erfordern, um die gleiche Leistung beizubehalten – aber in der Praxis skaliert die Leistung nicht linear aufgrund von Bandbreiten- und systembedingten Einschränkungen.

Es geht nicht nur darum, hohe TOPS oder großen Speicher zu haben; es geht darum, wie diese Komponenten interagieren. Ein ausgewogenes Design stellt sicher, dass Rechenleistung, Speicher und Bandbreite effizient zusammenarbeiten, ohne dass eine Ressource das gesamte System einschränkt.

Wie gestaltet Hailo die zukünftige Ausrichtung – angesichts der Tatsache, dass AI-Modelle, Arbeitslasten und Bereitstellungsanforderungen so schnell evolvieren?

Zukünftige Ausrichtung in Edge-AI bedeutet, Prozessoren zu entwerfen, die eine breite Palette von sich entwickelnden Arbeitslasten bewältigen können. Bei Hailo konzentrieren wir uns auf ausgewogene Architekturen, die nicht nur für eine Aufgabe konzipiert sind, sondern alles von perzeptiven Funktionen wie Objekterkennung bis hin zu generativen Modellen wie VLMs unterstützen können. Jede Art von Arbeitslast belastet Rechenleistung und Speicher unterschiedlich, daher entwerfen wir für Flexibilität, um Engpässe zu vermeiden, wenn zwischen ihnen gewechselt wird. Wir berücksichtigen auch die realen Grenzen von Leistung, Kosten und Latenz über Anwendungen hinweg. Durch die Priorisierung von Arbeitslastenvielfalt und Ressourcengleichgewicht zielen wir darauf ab, die nächste Generation von Edge-AI-Bereitstellungen in Verbraucher- und Industrieanwendungen zu unterstützen.

Dennoch kann eine Größe nicht alles abdecken, und das Portfolio zielt auf bestimmte angesprochene Anwendungen ab und versucht, innerhalb des verfügbaren Budgets von z.B. Leistung, Formfaktor und definiert einen “Arbeitspunkt” zu passen.

Welche Rolle spielt das Entwickler-Ökosystem bei der Maximierung des Nutzens eines Prozessors, und wie stellen Sie sicher, dass Teams die volle Nutzung von Hailos Fähigkeiten ermöglichen können?

Als programmierbares Gerät ist es entscheidend, einfache Werkzeuge für Entwickler bereitzustellen, um das Potenzial des Prozessors auszuschöpfen, den Weg zur Bereitstellung zu verkürzen und neue Anwendungsfälle zu ermöglichen. Durch die Bereitstellung einer gut unterstützten Umgebung um unsere Prozessoren herum helfen wir Teams, AI-Anwendungen über eine breite Palette von Anwendungsfällen zum Leben zu erwecken.

Was würden Sie Ingenieuren oder CTOs raten, die ihren ersten AI-Accelerator für ein Next-Gen-Produkt auswählen, das heute gebaut wird?

Bei den reifen Bedingungen glaube ich, dass es ein großes Innovationspotenzial gibt, das es uns ermöglicht, Vorstellungen in reale Produkte zu übersetzen. In einer sich schnell verändernden Umgebung ist es entscheidend, einen Accelerator auszuwählen, der einen schnellen Konzept-zur-Bereitstellungszyklus ermöglicht.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Hailo besuchen.