Yubei Chen, Mitgründer von Aizip Inc – Interview-Serie

Yubei Chen ist Mitgründer von Aizip Inc., einem Unternehmen, das die weltweit kleinsten und effizientesten KI-Modelle entwickelt. Er ist auch Assistant Professor im ECE-Department an der University of California, Davis. Chens Forschung liegt an der Schnittstelle zwischen computationaler Neurobiologie und tiefem unsupervisiertem (selbstsupervisiertem) Lernen, wodurch unser Verständnis der computativen Prinzipien, die das unsupervisierte Repräsentationslernen in Gehirnen und Maschinen bestimmen, verbessert wird und unsere Erkenntnisse über natürliche Signalstatistiken neu definiert.

Vor seinem Eintritt in die UC Davis absolvierte Chen sein Postdoc-Studium bei Prof. Yann LeCun am NYU Center for Data Science (CDS) und Meta Fundamental AI Research (FAIR). Er schloss seinen Ph.D. am Redwood Center for Theoretical Neuroscience und Berkeley AI Research (BAIR) an der UC Berkeley ab, wo er von Prof. Bruno Olshausen betreut wurde.

Aizip entwickelt ultraschnelle KI-Lösungen, die für Edge-Geräte optimiert sind und kompakten Modelle für Anwendungen wie Vision, Audio, Zeitreihen, Sprache und Sensorfusion bieten. Ihre Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Schlüsselworterkennung, ECG/EEG-Analyse und Chatbots auf Geräten, alle angetrieben von TinyML. Durch ihre KI-Nanofactory-Plattform, Aizipline, beschleunigt das Unternehmen die Modellentwicklung mithilfe von Grundmodellen und generativen Modellen, um eine vollständige KI-Designautomatisierung voranzutreiben. Aizips Gizmo-Serie von kleinen Sprachmodellen (300M–2B Parameter) unterstützt eine breite Palette von Geräten und bringt intelligente Fähigkeiten an den Rand.

Sie haben Ihr Postdoc-Studium mit Yann LeCun am NYU und Meta FAIR absolviert. Wie hat die Arbeit mit ihm und Ihre Forschung an der UC Berkeley Ihre Herangehensweise an die Entwicklung realer KI-Lösungen geprägt?

An der UC Berkeley war meine Arbeit tief in der wissenschaftlichen Forschung und mathematischen Strenge verwurzelt. Meine Promotion, die Elektrotechnik, Informatik und computationale Neurobiologie kombinierte, konzentrierte sich auf das Verständnis von KI-Systemen aus einer “White-Box”-Perspektive oder der Entwicklung von Methoden, um die zugrunde liegenden Strukturen von Daten und Lernmodellen aufzudecken. Ich arbeitete an der Entwicklung interpretierbarer, leistungsstarker KI-Modelle und Visualisierungstechniken, die halfen, schwarze KI-Systeme zu öffnen.

Bei Meta FAIR lag der Fokus auf der Entwicklung von KI-Systemen, um Spitzenleistungen im großen Maßstab zu erzielen. Mit Zugang zu weltweit führenden Rechenressourcen erforschte ich die Grenzen des selbstsupervisierten Lernens und trug zu dem bei, was wir heute “Weltmodelle” nennen – KI-Systeme, die aus Daten lernen und mögliche Umgebungen vorstellen. Diese doppelte Erfahrung – wissenschaftliches Verständnis in Berkeley und ingenieurstechnisches Skalieren bei Meta – hat mir eine umfassende Perspektive auf die KI-Entwicklung gegeben. Sie hat die Bedeutung hervorgehoben, die sowohl theoretisches Verständnis als auch praktische Implementierung bei der Entwicklung von KI-Lösungen für reale Anwendungen haben.

Ihre Arbeit kombiniert computationale Neurobiologie mit KI. Wie beeinflussen Erkenntnisse aus der Neurobiologie die Art und Weise, wie Sie KI-Modelle entwickeln?

In der computativen Neurobiologie studieren wir, wie das Gehirn Informationen verarbeitet, indem wir seine Reaktionen auf verschiedene Reize messen, ähnlich wie wir KI-Modelle untersuchen, um ihre internen Mechanismen zu verstehen. Früh in meiner Karriere entwickelte ich Visualisierungstechniken, um Wortembeddings zu analysieren – Wörter wie “Apfel” in ihre semantischen Bestandteile wie “Frucht” und “Technologie” zu zerlegen. Später erweiterte sich dieser Ansatz auf komplexere KI-Modelle wie Transformer und große Sprachmodelle, die halfen, zu verstehen, wie sie Wissen verarbeiten und speichern.

Diese Methoden parallelisieren tatsächlich Techniken in der Neurobiologie, wie die Verwendung von Elektroden oder fMRI, um die Gehirnaktivität zu studieren. Das Eindringen in die internen Repräsentationen eines KI-Modells ermöglicht es uns, seine Argumentationsstrategien zu verstehen und emergente Eigenschaften wie Konzeptneuronen zu erkennen, die für spezifische Ideen (wie das Merkmal der Golden Gate Bridge) aktiviert werden. Diese Forschungsrichtung wird jetzt in der Branche weitgehend übernommen, da sie sowohl Interpretierbarkeit als auch praktische Eingriffe ermöglicht und Vorurteile aus Modellen entfernt. Neurobiologie-inspirierte Ansätze helfen uns also, KI erklärender, vertrauenswürdiger und effizienter zu machen.

Was hat Sie dazu inspiriert, Aizip mitzubegründen? Können Sie die Reise von der Konzeption zur Unternehmensgründung teilen?

Als grundlegender KI-Forscher war viel meiner Arbeit theoretisch, aber ich wollte die Lücke zwischen Forschung und realen Anwendungen überbrücken. Ich gründete Aizip, um bahnbrechende KI-Innovationen in praktische Anwendung umzusetzen, insbesondere in ressourcenbeschränkten Umgebungen. Anstatt große Grundmodell zu bauen, konzentrierten wir uns auf die Entwicklung der weltweit kleinsten und effizientesten KI-Modelle, die für Edge-Geräte optimiert sind.

Die Reise begann im Wesentlichen mit einer Schlussbeobachtung: Während die KI-Fortschritte schnell skalierten, erforderten reale Anwendungen oft leichte und sehr effiziente Modelle. Wir sahen eine Chance, eine neue Richtung zu bahnen, die wissenschaftliche Strenge mit praktischer Implementierung ausbalanciert. Durch die Nutzung von Erkenntnissen aus selbstsupervisiertem Lernen und kompakten Modellarchitekturen konnte Aizip KI-Lösungen liefern, die effizient am Rand arbeiten und neue Möglichkeiten für KI in eingebetteten Systemen, IoT und darüber hinaus eröffnen.

Aizip spezialisiert sich auf kleine KI-Modelle für Edge-Geräte. Welche Lücke im Markt sahen Sie, die zu dieser Konzentration führte?

Die KI-Branche hat sich größtenteils auf die Skalierung von Modellen konzentriert, aber reale Anwendungen erfordern oft das Gegenteil – hohe Effizienz, geringen Stromverbrauch und minimale Latenz. Viele KI-Modelle heute sind zu rechenintensiv für eine Bereitstellung auf kleinen, eingebetteten Geräten. Wir sahen eine Lücke im Markt für KI-Lösungen, die starke Leistung bei gleichzeitiger Effizienz und Genauigkeit bieten können.

Wir erkannten, dass es nicht nur unnötig ist, jedes KI-Anwendungsmodell auf massive Modelle zu setzen, sondern dass es auch nicht skalierbar wäre, auf Modelle dieser Größe für alles zu vertrauen. Stattdessen konzentrieren wir uns auf die Optimierung von Algorithmen, um maximale Effizienz bei gleichzeitiger Beibehaltung der Genauigkeit zu erreichen. Durch die Entwicklung von KI-Modellen, die für Edge-Anwendungen – sei es in intelligenten Sensoren, Wearables oder industrieller Automation – konzipiert sind, ermöglichen wir es, KI in Bereichen zu betreiben, in denen herkömmliche Modelle unpraktikabel wären. Unser Ansatz macht KI zugänglicher, skalierbarer und energieeffizienter, was neue Möglichkeiten für KI-getriebene Innovationen jenseits der Cloud eröffnet.

Aizip hat sich an der Spitze der Entwicklung von Small Language Models (SLMs) etabliert. Wie sehen Sie die Konkurrenz oder Ergänzung von SLMs zu größeren Modellen wie GPT-4?

SLMs und größere Modelle wie GPT-4 stehen nicht unbedingt in direkter Konkurrenz, da sie unterschiedliche Bedürfnisse bedienen. Größere Modelle sind leistungsstark in Bezug auf Generalisierung und tiefes Verständnis, erfordern jedoch erhebliche Rechenressourcen. SLMs sind für Effizienz und Bereitstellung auf Edge-Geräten konzipiert. Sie ergänzen große Modelle, indem sie KI-Fähigkeiten in realen Anwendungen ermöglichen, in denen Rechenleistung, Latenz und Kosten eine Rolle spielen – wie in IoT-Geräten, Wearables und industrieller Automation. Mit der zunehmenden Adoption von KI sehen wir einen hybriden Ansatz entstehen, bei dem große, cloudbasierte Modelle komplexe Anfragen bearbeiten, während SLMs Echtzeit-Intelligenz am Rand bieten.

Was sind die größten technischen Herausforderungen bei der Entwicklung von KI-Modellen, die effizient genug für Low-Power-Edge-Geräte sind?

Eine der grundlegenden Herausforderungen ist das Fehlen eines umfassenden theoretischen Verständnisses davon, wie KI-Modelle funktionieren. Ohne ein klares theoretisches Fundament sind Optimierungsanstrengungen oft empirisch, was die Effizienzgewinne begrenzt. Darüber hinaus geschieht menschliches Lernen auf vielfältige Weise, die die aktuellen maschinellen Lernparadigmen nicht vollständig erfassen, was es schwierig macht, Modelle zu entwerfen, die menschliche Effizienz nachahmen.

Von einem ingenieurstechnischen Standpunkt aus erfordert die Entwicklung von KI, die innerhalb extremer Einschränkungen arbeitet, innovative Lösungen in Modellkomprimierung, Quantisierung und Architekturdesign. Eine weitere Herausforderung besteht darin, KI-Modelle zu erstellen, die sich an eine Vielzahl von Geräten und Umgebungen anpassen können, während sie Robustheit bewahren. Da KI zunehmend mit der physischen Welt durch IoT und Sensoren interagiert, wird die Notwendigkeit natürlicher und effizienter Schnittstellen – wie Sprache, Gesten und andere nicht-traditionelle Eingaben – kritisch. KI am Rand ist es, wie man mit der digitalen Welt nahtlos interagiert.

Können Sie einige Details über Aizips Zusammenarbeit mit Unternehmen wie Softbank teilen?

Wir haben kürzlich mit SoftBank an einem Aquakulturprojekt zusammengearbeitet, das den CES-Innovationspreis gewann – einen, auf den wir besonders stolz sind. Wir entwickelten ein effizientes, edgebasiertes KI-Modell für eine Fischzählanwendung, die von Aquakultur-Betreibern für Fischfarmen genutzt werden kann. Diese Lösung adressiert eine kritische Herausforderung in der Fischzucht, die zu Nachhaltigkeits-, Lebensmittelabfall- und Rentabilitätsproblemen führen kann. Die Branche war bisher langsam bei der Einführung von KI als Lösung, da zuverlässige Strom- und Netzwerkverbindungen auf See oft nicht verfügbar sind, was cloudbasierte KI-Lösungen unpraktikabel macht.

Um dies zu lösen, entwickelten wir eine Lösung, die auf dem Gerät basiert. Wir kombinierten SoftBanks Computer-Graphik-Simulationen für Trainingsdaten mit unseren kompakten KI-Modellen und erstellten ein hochgenaues System, das auf Smartphones läuft. In Unterwasser-Feldtests erreichte es eine Erkennungsrate von 95 %, was die Genauigkeit der Fischzählung erheblich verbesserte. Dies ermöglichte es den Farmern, Lagerbedingungen zu optimieren, zu bestimmen, ob Fische lebend oder gefroren transportiert werden sollten, und potenzielle Krankheiten oder andere Gesundheitsprobleme bei den Fischen zu erkennen.

Dieser Durchbruch verbessert die Effizienz, senkt die Kosten und reduziert die Abhängigkeit von manueller Arbeit. Im weiteren Sinne zeigt es, wie KI einen greifbaren Einfluss auf reale Probleme haben kann.

Aizip hat das Konzept einer “KI-Nanofactory” eingeführt. Können Sie erklären, was das bedeutet und wie es die KI-Modellentwicklung automatisiert?

Die KI-Nanofactory ist unsere interne KI-Designautomatisierungspipeline, inspiriert von der Electronic Design Automation (EDA) in der Halbleiterfertigung. Frühe Entwicklungen in jedem aufstrebenden Technologiebereich erfordern viel manuelle Anstrengung, so dass Automatisierung der Schlüssel zum Beschleunigen des Fortschritts und Skalieren von Lösungen ist, wenn sich der Bereich entwickelt.

Statt einfach KI zu verwenden, um andere Branchen zu beschleunigen, fragten wir, ob KI ihre eigene Entwicklung beschleunigen kann? Die KI-Nanofactory automatisiert jede Phase der KI-Modellentwicklung, von der Datenverarbeitung bis zum Architekturdesign, Modellauswahl, Training, Quantisierung, Bereitstellung und Fehlersuche. Durch die Nutzung von KI, um sich selbst zu optimieren, konnten wir die Entwicklungszeit für neue Modelle im Durchschnitt um den Faktor 10 reduzieren. In einigen Fällen um über 1.000 Mal. Das bedeutet, dass ein Modell, das früher über ein Jahr zur Entwicklung benötigte, jetzt in nur wenigen Stunden erstellt werden kann.

Ein weiterer Vorteil ist, dass diese Automatisierung auch sicherstellt, dass KI-Lösungen für eine breite Palette von Anwendungen wirtschaftlich tragbar sind, was die reale KI-Bereitstellung zugänglicher und skalierbarer macht.

Wie sehen Sie die Rolle von Edge-KI in den nächsten fünf Jahren?

Edge-KI verspricht, die Art und Weise, wie wir mit Technologie interagieren, zu revolutionieren, ähnlich wie Smartphones den Internetzugang revolutionierten. Die meisten KI-Anwendungen heute sind cloudbasiert, aber dies beginnt sich zu ändern, da KI näher an die Sensoren und Geräte rückt, die mit der physischen Welt interagieren. Dieser Wandel betont die kritische Notwendigkeit effizienter, echtzeitfähiger Verarbeitung am Rand.

In den nächsten fünf Jahren erwarten wir, dass Edge-KI natürlichere Mensch-Computer-Interaktionen ermöglicht, wie z.B. Sprach- und Gestenerkennung und andere intuitive Schnittstellen, die die Abhängigkeit von herkömmlichen Barrieren wie Tastaturen und Touchscreens beseitigen. KI wird auch immer mehr in alltägliche Umgebungen wie intelligente Häuser oder industrielle Automation eingebettet, um Echtzeit-Entscheidungen mit minimaler Latenz zu ermöglichen.

Ein weiterer wichtiger Trend wird die zunehmende Autonomie von Edge-KI-Systemen sein. KI-Modelle werden aufgrund von Fortschritten in der KI-Nanofactory-Automatisierung selbstoptimierend und anpassungsfähig, so dass sie den Bedarf an menschlicher Intervention bei der Bereitstellung und Wartung reduzieren. Das wird neue Chancen in Branchen wie Gesundheitswesen, Automotive und Landwirtschaft eröffnen.

Welche kommenden KI-gesteuerten Geräte von Aizip sind Sie am meisten begeistert?

Wir arbeiten daran, die Anwendungsfälle für unsere Modelle in neuen Branchen zu erweitern, und eine, die uns besonders begeistert, ist ein KI-Agent für den Automotive-Sektor. Es gibt wachsende Dynamik, insbesondere unter chinesischen Automobilherstellern, um Sprachassistenten zu entwickeln, die wie ChatGPT im Fahrzeuginneren funktionieren. Die Herausforderung besteht darin, dass die meisten aktuellen Assistenten immer noch auf der Cloud angewiesen sind, insbesondere für natürliche, flexible Dialoge. Nur grundlegende Befehls- und Kontrollaufgaben (wie “Klimaanlage einschalten” oder “Kofferraum öffnen”) laufen normalerweise lokal auf dem Fahrzeug, und die starre Natur dieser Befehle kann für Fahrer zu einer Ablenkung werden, wenn sie sie nicht mit absoluter Genauigkeit auswendig kennen.

Wir haben eine Reihe von ultraschnellen, SLM-gesteuerten KI-Agents namens Gizmo entwickelt, die derzeit in einer Reihe von Anwendungen für verschiedene Branchen eingesetzt werden, und wir arbeiten daran, sie als Co-Piloten im Fahrzeug zu bereitstellen. Gizmo ist trainiert, Absicht in einer nuancierteren Weise zu verstehen und kann als Fahrzeug-KI-Agent Befehle durch konversationellen, freien Sprachgebrauch ausführen. Zum Beispiel könnte der Agent die Kabine-Temperatur anpassen, wenn der Fahrer einfach sagt, “Ich bin kalt”, oder auf einen Hinweis wie “Ich fahre morgen nach Boston, was soll ich anziehen?” reagieren, indem er das Wetter überprüft und einen Vorschlag macht.

Weil sie lokal laufen und nicht auf der Cloud angewiesen sind, funktionieren diese Agenten weiterhin in toten Zonen oder Gebieten mit schlechter Verbindung, wie Tunneln, Bergen oder ländlichen Straßen. Sie verbessern auch die Sicherheit, indem sie den Fahrern eine vollständige sprachgesteuerte Kontrolle geben, ohne dass sie ihre Aufmerksamkeit von der Straße abwenden müssen. Und, auf einem separaten und leichteren Hinweis, erwähne ich auch, dass wir derzeit an der Herstellung eines KI-gesteuerten Karaoke-Modells für Fahrzeuge und Bluetooth-Lautsprecher arbeiten, das lokal wie der Co-Pilot läuft. Im Wesentlichen nimmt es jedes Eingabaudio und entfernt menschliche Stimmen daraus, was es ermöglicht, eine Karaoke-Version eines beliebigen Liedes in Echtzeit zu erstellen. Neben der Sicherstellung, dass Kunden die Steuerung im Auto sicherer bedienen, suchen wir auch nach Wegen, um das Erlebnis angenehmer zu gestalten.

Diese Art von Lösungen, die einen bedeutenden Unterschied im Alltag der Menschen machen, sind die, auf die wir am meisten stolz sind.

Aizip entwickelt ultraschnelle KI-Lösungen, die für Edge-Geräte optimiert sind und kompakten Modelle für Anwendungen wie Vision, Audio, Zeitreihen, Sprache und Sensorfusion bieten. Ihre Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Schlüsselworterkennung, ECG/EEG-Analyse und Chatbots auf Geräten, alle angetrieben von TinyML. Durch ihre KI-Nanofactory-Plattform, Aizipline, beschleunigt das Unternehmen die Modellentwicklung mithilfe von Grundmodellen und generativen Modellen, um eine vollständige KI-Designautomatisierung voranzutreiben. Aizips Gizmo-Serie von kleinen Sprachmodellen (300M–2B Parameter) unterstützt eine breite Palette von Geräten und bringt intelligente Fähigkeiten an den Rand.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Aizip besuchen.