Yubei Chen, Co-Founder von Aizip Inc – Interviewreihe

Yubei Chen ist Co-Founder von Aizip Inc., einem Unternehmen, das die kleinsten und effizientesten KI-Modelle der Welt entwickelt. Er ist auch Assistant Professor im ECE-Department an der University of California, Davis. Chens Forschung liegt an der Schnittstelle zwischen computionaler Neurowissenschaft und tiefem unsupervisiertem (self-supervised) Lernen, wodurch unser Verständnis der computionalen Prinzipien, die das unsupervisierte Repräsentationslernen in Gehirnen und Maschinen bestimmen, verbessert wird und unsere Erkenntnisse über natürliche Signalstatistiken neu definiert.

Vor seinem Eintritt bei UC Davis absolvierte Chen sein Postdoc-Studium bei Prof. Yann LeCun am NYU Center for Data Science (CDS) und Meta Fundamental AI Research (FAIR). Er schloss seinen Ph.D. am Redwood Center for Theoretical Neuroscience und Berkeley AI Research (BAIR), UC Berkeley, bei Prof. Bruno Olshausen ab.

Aizip entwickelt ultraschnelle KI-Lösungen, die für Edge-Geräte optimiert sind und kompakten Modelle für Anwendungen wie Vision, Audio, Zeitreihen, Sprache und Sensor-Fusion bieten. Ihre Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Keyword-Spotting, ECG/EEG-Analyse und On-Device-Chatbots, alle angetrieben von TinyML. Durch seine AI-Nanofactory-Plattform, Aizipline, beschleunigt das Unternehmen die Modellentwicklung mithilfe von Grundmodellen und generativen Modellen, um eine vollständige KI-Designautomatisierung voranzutreiben. Aizips Gizmo-Serie von kleinen Sprachmodellen (300M–2B Parameter) unterstützt eine breite Palette von Geräten und bringt intelligente Fähigkeiten an den Rand.

Sie haben Ihr Postdoc-Studium bei Yann LeCun an der NYU und Meta FAIR absolviert. Wie hat die Arbeit mit ihm und Ihre Forschung an der UC Berkeley Ihre Herangehensweise an die Entwicklung von realen KI-Lösungen geprägt?

An der UC Berkeley war meine Arbeit tief in wissenschaftlicher Forschung und mathematischer Strenge verwurzelt. Meine PhD-Forschung, die Elektrotechnik, Informatik und computionale Neurowissenschaft kombinierte, konzentrierte sich auf das Verständnis von KI-Systemen aus einer “white-box”-Perspektive oder der Entwicklung von Methoden, um die zugrunde liegenden Strukturen von Daten und Lernmodellen aufzudecken. Ich arbeitete an der Entwicklung interpretierbarer, leistungsstarker KI-Modelle und Visualisierungstechniken, die halfen, schwarze KI-Systeme zu öffnen.

An der Meta FAIR lag der Fokus auf der Entwicklung von KI-Systemen, um Spitzenleistungen im großen Maßstab zu erzielen. Mit Zugang zu weltweit führenden Rechenressourcen erforschte ich die Grenzen des selbstüberwachten Lernens und trug zu dem bei, was wir jetzt “Weltmodelle” nennen — KI-Systeme, die aus Daten lernen und mögliche Umgebungen vorstellen. Diese doppelte Erfahrung — wissenschaftliches Verständnis an der UC Berkeley und ingenieurstechnisches Skalieren an der Meta — hat mir eine umfassende Perspektive auf die KI-Entwicklung gegeben. Es hat die Bedeutung hervorgehoben, die sowohl theoretische Einsicht als auch praktische Implementierung haben, wenn Sie KI-Lösungen für reale Anwendungen entwickeln.

Ihre Arbeit kombiniert computionale Neurowissenschaft mit KI. Wie beeinflussen Erkenntnisse aus der Neurowissenschaft die Art und Weise, wie Sie KI-Modelle entwickeln?

In der computionalen Neurowissenschaft studieren wir, wie das Gehirn Informationen verarbeitet, indem wir seine Reaktionen auf verschiedene Reize messen, ähnlich wie wir KI-Modelle untersuchen, um ihre internen Mechanismen zu verstehen. Früh in meiner Karriere entwickelte ich Visualisierungstechniken, um Wort-Einbettungen zu analysieren — Wörter wie “Apfel” in ihre konstitutiven semantischen Elemente wie “Frucht” und “Technologie” zu zerlegen. Später erweiterte sich dieser Ansatz auf komplexere KI-Modelle wie Transformer und große Sprachmodelle, die halfen, zu verstehen, wie sie Wissen verarbeiten und speichern.

Diese Methoden entsprechen tatsächlich Techniken in der Neurowissenschaft, wie der Verwendung von Elektroden oder fMRI, um die Gehirnaktivität zu studieren. Das Erforschen der internen Repräsentationen eines KI-Modells ermöglicht es uns, seine Argumentationsstrategien zu verstehen und emergente Eigenschaften wie Konzeptneuronen zu erkennen, die für spezifische Ideen aktiviert werden (wie das Feature der Golden Gate Bridge, das Anthropic bei der Kartierung von Claude gefunden hat). Diese Forschungsrichtung wird jetzt in der Branche weit verbreitet, weil sie sowohl Interpretierbarkeit als auch praktische Interventionen ermöglicht, um Vorurteile aus Modellen zu entfernen. Also helfen neurowissenschaftlich inspirierte Ansätze uns, KI erklärender, vertrauenswürdiger und effizienter zu machen.

Was hat Sie dazu inspiriert, Aizip mitzubegründen? Können Sie die Reise von der Konzeption bis zur Unternehmensgründung teilen?

Als grundlegender KI-Forscher war viel meiner Arbeit theoretisch, aber ich wollte die Lücke zwischen Forschung und realen Anwendungen schließen. Ich gründete Aizip, um bahnbrechende KI-Innovationen in praktische Anwendung umzusetzen, insbesondere in ressourcenbeschränkten Umgebungen. Anstatt große Grundmodelle zu entwickeln, konzentrierten wir uns auf die Entwicklung der kleinsten und effizientesten KI-Modelle, die für Edge-Geräte optimiert werden.

Die Reise begann im Wesentlichen mit einer Schlüsselbeobachtung: Während die KI-Fortschritte schnell skalierten, erforderten reale Anwendungen oft das Gegenteil — hohe Effizienz, geringen Stromverbrauch und minimale Latenz. Wir sahen eine Lücke im Markt für KI-Lösungen, die starke Leistung bei gleichzeitiger Einhaltung extremer Ressourcenbeschränkungen bieten konnten.

Wir erkannten, dass es nicht nur unnötig ist, jede KI-Anwendung auf großen Modellen zu basieren, sondern dass es auch nicht skalierbar wäre, auf Modelle dieser Größe für alles zu vertrauen. Stattdessen konzentrieren wir uns darauf, Algorithmen zu optimieren, um maximale Effizienz bei gleichzeitiger Beibehaltung der Genauigkeit zu erreichen. Durch die Entwicklung von KI-Modellen, die für Edge-Anwendungen — sei es in intelligenten Sensoren, Wearables oder industrieller Automatisierung — konzipiert sind, ermöglichen wir es der KI, an Orten zu laufen, an denen traditionelle Modelle unpraktikabel wären. Unser Ansatz macht KI zugänglicher, skalierbarer und energieeffizienter, was neue Möglichkeiten für KI-getriebene Innovationen jenseits der Cloud eröffnet.

Aizip hat sich auf die Entwicklung kleiner KI-Modelle für Edge-Geräte spezialisiert. Welche Lücke im Markt sahen Sie, die zu diesem Fokus führte?

Die KI-Branche hat sich größtenteils auf die Skalierung von Modellen konzentriert, aber reale Anwendungen erfordern oft das Gegenteil — hohe Effizienz, geringen Stromverbrauch und minimale Latenz. Viele KI-Modelle heute sind zu rechenintensiv für eine Bereitstellung auf kleinen, eingebetteten Geräten. Wir sahen eine Lücke im Markt für KI-Lösungen, die starke Leistung bei gleichzeitiger Einhaltung extremer Ressourcenbeschränkungen bieten konnten.

Wir erkannten, dass es nicht nur unnötig ist, jede KI-Anwendung auf großen Modellen zu basieren, sondern dass es auch nicht skalierbar wäre, auf Modelle dieser Größe für alles zu vertrauen. Stattdessen konzentrieren wir uns darauf, Algorithmen zu optimieren, um maximale Effizienz bei gleichzeitiger Beibehaltung der Genauigkeit zu erreichen. Durch die Entwicklung von KI-Modellen, die für Edge-Anwendungen — sei es in intelligenten Sensoren, Wearables oder industrieller Automatisierung — konzipiert sind, ermöglichen wir es der KI, an Orten zu laufen, an denen traditionelle Modelle unpraktikabel wären. Unser Ansatz macht KI zugänglicher, skalierbarer und energieeffizienter, was neue Möglichkeiten für KI-getriebene Innovationen jenseits der Cloud eröffnet.

Aizip ist an der Spitze der Entwicklung von Small Language Models (SLMs) für Edge-Geräte. Wie sehen Sie SLMs im Wettbewerb mit oder in Ergänzung zu größeren Modellen wie GPT-4?

SLMs und größere Modelle wie GPT-4 stehen nicht unbedingt in direktem Wettbewerb, da sie unterschiedliche Bedürfnisse erfüllen. Größere Modelle sind leistungsstark in Bezug auf Generalisierung und tiefes Verständnis, erfordern aber erhebliche Rechenressourcen. SLMs sind für Effizienz und Bereitstellung auf Edge-Geräten konzipiert. Sie ergänzen große Modelle, indem sie KI-Fähigkeiten in realen Anwendungen ermöglichen, bei denen Rechenleistung, Latenz und Kosten eine Rolle spielen — wie in IoT-Geräten, Wearables und industrieller Automatisierung. Mit der zunehmenden Adoption von KI sehen wir einen hybriden Ansatz entstehen, bei dem große, cloudbasierte Modelle komplexe Anfragen bearbeiten, während SLMs Echtzeit-Intelligenz am Rand bieten.

Welche sind die größten technischen Herausforderungen bei der Entwicklung von KI-Modellen, die effizient genug für Edge-Geräte mit geringer Leistung sind?

Eine der grundlegenden Herausforderungen ist das Fehlen eines umfassenden Verständnisses davon, wie KI-Modelle funktionieren. Ohne eine klare theoretische Grundlage sind Optimierungsanstrengungen oft empirisch, was die Effizienzgewinne begrenzt. Darüber hinaus geschieht menschliches Lernen auf vielfältige Weise, die von aktuellen maschinellen Lernparadigmen nicht vollständig erfasst werden, was es schwierig macht, Modelle zu entwerfen, die menschliche Effizienz nachahmen.

Aus ingenieurstechnischer Sicht erfordert die Entwicklung von KI-Modellen, die innerhalb extremer Einschränkungen funktionieren, innovative Lösungen in Modellkomprimierung, Quantisierung und Architekturdesign. Eine weitere Herausforderung besteht darin, KI-Modelle zu erstellen, die sich an eine Vielzahl von Geräten und Umgebungen anpassen können, während sie Robustheit aufrechterhalten. Da KI zunehmend mit der physischen Welt durch IoT- und Sensoren interagiert, wird die Notwendigkeit für natürliche und effiziente Schnittstellen — wie Sprache, Gesten und andere nicht-traditionelle Eingaben — kritisch. KI am Rand geht darum, die Art und Weise, wie Benutzer mit der digitalen Welt interagieren, neu zu definieren.

Können Sie einige Details über Aizips Arbeit mit Unternehmen wie Softbank teilen?

Wir haben kürzlich mit Softbank an einem Aquakulturprojekt zusammengearbeitet, das einen CES-Innovationspreis gewann — einen, auf den wir besonders stolz sind. Wir entwickelten ein effizientes, edgebasiertes KI-Modell für eine Fischzählanwendung, die von Aquakultur-Betreibern für Fischfarmen verwendet werden kann. Diese Lösung adressiert eine kritische Herausforderung in der Fischzucht, die zu Nachhaltigkeits-, Lebensmittelabfall- und Rentabilitätsproblemen führen kann. Die Branche war bisher langsam bei der Einführung von KI als Lösung, da zuverlässige Strom- und Netzwerkverbindungen auf See oft fehlen, was cloudbasierte KI-Lösungen unpraktikabel macht.

Um dies zu lösen, entwickelten wir eine Lösung, die auf dem Gerät basiert. Wir kombinierten Softbanks Computer-Graphik-Simulationen für Trainingsdaten mit unseren kompakten KI-Modellen und erstellten ein hochgenaues System, das auf Smartphones läuft. In Unterwasser-Feldtests erzielte es eine Erkennungsrate von 95 %, was die Genauigkeit der Fischzählung dramatisch verbesserte. Dies ermöglichte es den Farmern, die Lagerbedingungen zu optimieren, zu bestimmen, ob Fische lebend oder gefroren transportiert werden sollten, und potenzielle Krankheiten oder Gesundheitsprobleme bei den Fischen zu erkennen.

Dieser Durchbruch verbessert die Effizienz, senkt die Kosten und reduziert die Abhängigkeit von manueller Arbeit. Im weiteren Sinne zeigt es, wie KI einen greifbaren Einfluss auf reale Probleme haben kann.

Aizip hat das Konzept einer “KI-Nanofactory” eingeführt. Können Sie erklären, was das bedeutet und wie es die KI-Modellentwicklung automatisiert?

Die KI-Nanofactory ist unsere interne KI-Designautomatisierungspipeline, inspiriert von der Electronic Design Automation (EDA) in der Halbleiterherstellung. In der frühen Entwicklung jedes aufstrebenden Technologiefelds ist viel manuelle Arbeit erforderlich, sodass die Automatisierung der Schlüssel zum Beschleunigen des Fortschritts und zur Skalierung von Lösungen ist, wenn das Feld gereift ist.

Anstatt einfach KI zu verwenden, um andere Branchen zu beschleunigen, fragten wir uns, ob KI ihre eigene Entwicklung beschleunigen kann. Die KI-Nanofactory automatisiert jede Phase der KI-Modellentwicklung, von der Datenverarbeitung bis zum Architekturdesign, Modellauswahl, Training, Quantisierung, Bereitstellung und Fehlersuche. Durch die Nutzung von KI, um sich selbst zu optimieren, konnten wir die Entwicklungszeit für neue Modelle im Durchschnitt um den Faktor 10 reduzieren. In einigen Fällen um über 1.000 Mal. Das bedeutet, dass ein Modell, das früher über ein Jahr zur Entwicklung benötigte, jetzt in nur wenigen Stunden erstellt werden kann.

Ein weiterer Vorteil ist, dass diese Automatisierung auch sicherstellt, dass KI-Lösungen für eine breite Palette von Anwendungen wirtschaftlich tragbar sind, was die Bereitstellung von KI in der realen Welt zugänglicher und skalierbarer macht.

Wie sehen Sie die Rolle von Edge-KI in den nächsten fünf Jahren?

Edge-KI verspricht, die Art und Weise, wie wir mit Technologie interagieren, zu revolutionieren, ähnlich wie Smartphones den Internetzugang revolutionierten. Die meisten KI-Anwendungen heute sind cloudbasiert, aber dies beginnt sich zu ändern, da KI näher an die Sensoren und Geräte kommt, die mit der physischen Welt interagieren. Dieser Wandel betont die kritische Notwendigkeit für effiziente, Echtzeitverarbeitung am Rand.

In den nächsten fünf Jahren erwarten wir, dass Edge-KI natürlichere Mensch-Computer-Interaktionen ermöglicht, wie Sprach- und Gestenerkennung und andere intuitive Schnittstellen, die die Abhängigkeit von herkömmlichen Barrieren wie Tastaturen und Touchscreens beseitigen. KI wird auch immer mehr in alltägliche Umgebungen wie intelligente Häuser oder industrielle Automatisierung eingebettet, um Echtzeit-Entscheidungen mit minimaler Latenz zu ermöglichen.

Ein weiterer wichtiger Trend wird die zunehmende Autonomie von Edge-KI-Systemen sein. KI-Modelle werden selbstoptimierender und anpassungsfähiger dank Fortschritten in der Automatisierung im Stil der KI-Nanofactory, sodass sie den Bedarf an menschlicher Intervention bei der Bereitstellung und Wartung reduzieren. Das wird neue Chancen in Branchen wie Gesundheitswesen, Automotive und Landwirtschaft eröffnen.

Welche KI-gesteuerten Geräte von Aizip sind Sie am meisten gespannt darauf, in Zukunft zu sehen?

Wir arbeiten daran, den Einsatz unserer Modelle in neuen Branchen auszuweiten, und eine, die uns besonders begeistert, ist ein KI-Agent für die Automobilbranche. Es gibt wachsende Dynamik, insbesondere unter chinesischen Automobilherstellern, Sprachassistenten zu entwickeln, die wie ChatGPT im Fahrzeuginneren fühlen. Die Herausforderung besteht darin, dass die meisten aktuellen Assistenten immer noch auf die Cloud angewiesen sind, insbesondere für natürliche, flexible Dialoge. Nur grundlegende Befehls- und Kontrollaufgaben (wie “Klimaanlage einschalten” oder “Kofferraum öffnen”) werden typischerweise lokal auf dem Fahrzeug ausgeführt, und die starre Natur dieser Befehle kann für Fahrer zu einer Ablenkung werden, wenn sie sie nicht mit totaler Genauigkeit auswendig kennen.

Wir haben eine Reihe von ultraschnellen, SLM-gesteuerten KI-Agents namens Gizmo entwickelt, die derzeit in einer Reihe von Anwendungen für verschiedene Branchen eingesetzt werden, und wir arbeiten daran, sie als “Co-Piloten” in Fahrzeugen bereitzustellen. Gizmo ist trainiert, Intentionen auf eine nuanciertere Weise zu verstehen, und als KI-Agent in einem Fahrzeug könnte es Befehle durch konversationale, freie Sprache ausführen. Zum Beispiel könnte der Agent die Kabine-Temperatur anpassen, wenn der Fahrer einfach sagt, “Ich bin kalt”, oder auf eine Aufforderung wie “Ich fahre morgen nach Boston, was soll ich anziehen?” reagieren, indem er das Wetter überprüft und einen Vorschlag macht.

Da sie lokal laufen und nicht von der Cloud abhängig sind, funktionieren diese Agenten auch in Totzonen oder Gebieten mit schlechter Verbindung, wie Tunneln, Bergen oder ländlichen Straßen. Sie verbessern auch die Sicherheit, indem sie den Fahrern eine vollständige sprachgesteuerte Kontrolle bieten, ohne dass sie ihre Aufmerksamkeit von der Straße abwenden müssen. Und, auf einem separaten und leichteren Hinweis, erwähne ich, dass wir auch derzeit an der Fertigstellung eines KI-gesteuerten Karaoke-Modells für Fahrzeuge und Bluetooth-Lautsprecher arbeiten, das wie der Co-Pilot lokal läuft. Im Wesentlichen nimmt es jede Eingabe-Audio und entfernt menschliche Stimmen daraus, was es ermöglicht, eine Karaoke-Version eines beliebigen Liedes in Echtzeit zu erstellen. Also, neben der Unterstützung der Kunden bei der sichereren Bedienung der Steuerung im Auto, suchen wir auch nach Wegen, um das Erlebnis unterhaltsamer zu gestalten.

Diese Arten von Lösungen, die einen bedeutenden Unterschied im Alltag der Menschen machen, sind die, auf die wir am meisten stolz sind.

Aizip entwickelt ultraschnelle KI-Lösungen, die für Edge-Geräte optimiert sind und kompakten Modelle für Anwendungen wie Vision, Audio, Zeitreihen, Sprache und Sensor-Fusion bieten. Ihre Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Keyword-Spotting, ECG/EEG-Analyse und On-Device-Chatbots, alle angetrieben von TinyML. Durch seine AI-Nanofactory-Plattform, Aizipline, beschleunigt das Unternehmen die Modellentwicklung mithilfe von Grundmodellen und generativen Modellen, um eine vollständige KI-Designautomatisierung voranzutreiben. Aizips Gizmo-Serie von kleinen Sprachmodellen (300M–2B Parameter) unterstützt eine breite Palette von Geräten und bringt intelligente Fähigkeiten an den Rand.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Aizip besuchen.