Yubei Chen, Mitbegründer von Aizip Inc – Interviewreihe

Yubei Chen ist Mitbegründer von Aizip Inc., einem Unternehmen, das die weltweit kleinsten und effizientesten KI-Modelle entwickelt. Er ist außerdem Assistenzprofessor im ECE-Department der University of California, Davis. Chens Forschung bewegt sich an der Schnittstelle von Computational Neuroscience und tiefem unüberwachtem (selbstüberwachtem) Lernen. Sie erweitert unser Verständnis der Rechenprinzipien des unüberwachten Repräsentationslernens in Gehirnen und Maschinen und verändert unsere Erkenntnisse zur natürlichen Signalstatistik.

Bevor Chen an die UC Davis kam, absolvierte er sein Postdoc-Studium bei Prof. Yann LeCun am NYU Center for Data Science (CDS) und Meta Fundamental AI Research (FAIR). Seine Promotion schloss er am Redwood Center for Theoretical Neuroscience and Berkeley AI Research (BAIR) der UC Berkeley unter der Leitung von Prof. Bruno Olshausen ab.

Aizip entwickelt hocheffiziente KI-Lösungen, optimiert für Edge-Geräte, und bietet kompakte Modelle für Anwendungen in den Bereichen Bildverarbeitung, Audio, Zeitreihen, Sprache und Sensorfusion. Die Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Keyword-Spotting, EKG/EEG-Analyse und On-Device-Chatbots, alles basierend auf TinyML. Mit seiner KI-Nanofabrik-Plattform Aizipline beschleunigt das Unternehmen die Modellentwicklung mithilfe von Basis- und generativen Modellen und strebt so eine vollständige Automatisierung des KI-Designs an. Die Gizmo-Reihe kleiner Sprachmodelle (300 Mio.–2 Mrd. Parameter) von Aizip unterstützt eine breite Gerätepalette und bringt intelligente Funktionen an den Rand.

Sie haben Ihren Postdoc bei Yann LeCun an der NYU und Meta FAIR absolviert. Wie haben die Zusammenarbeit mit ihm und Ihre Forschung an der UC Berkeley Ihren Ansatz zur Entwicklung praxistauglicher KI-Lösungen geprägt?

In Berkeley war meine Arbeit tief in wissenschaftlicher Forschung und mathematischer Genauigkeit verwurzelt. Meine Doktorarbeit, die Elektrotechnik, Informatik und Computational Neuroscience kombinierte, konzentrierte sich auf das Verständnis von KI-Systemen aus einer White-Box-Perspektive bzw. die Entwicklung von Methoden zur Aufdeckung der zugrunde liegenden Strukturen von Daten und Lernmodellen. Ich arbeitete an der Entwicklung interpretierbarer, leistungsstarker KI-Modelle und Visualisierungstechniken, die dazu beitrugen, Black-Box-KI-Systeme zu öffnen.

Bei Meta FAIR lag der Schwerpunkt auf der Entwicklung von KI-Systemen, um modernste Leistung im großen Maßstab zu erreichen. Mit Zugang zu erstklassigen Rechenressourcen erkundete ich die Grenzen des selbstüberwachten Lernens und trug zu dem bei, was wir heute „Weltmodelle“ nennen – KI-Systeme, die aus Daten lernen und sich mögliche Umgebungen vorstellen. Diese doppelte Erfahrung – wissenschaftliches Verständnis in Berkeley und ingenieursgetriebene Skalierung bei Meta – hat mir eine umfassende Perspektive auf die KI-Entwicklung eröffnet. Sie verdeutlichte, wie wichtig sowohl theoretische Erkenntnisse als auch die praktische Umsetzung bei der Entwicklung von KI-Lösungen für reale Anwendungen sind.

Ihre Arbeit verbindet Computational Neuroscience mit KI. Wie beeinflussen Erkenntnisse der Neurowissenschaft Ihre Entwicklung von KI-Modellen?

In der Computational Neuroscience untersuchen wir, wie das Gehirn Informationen verarbeitet, indem wir seine Reaktionen auf verschiedene Reize messen. Ähnlich wie wir KI-Modelle untersuchen, um ihre internen Mechanismen zu verstehen. Zu Beginn meiner Karriere entwickelte ich Visualisierungstechniken zur Analyse von Wort-Embeddings – ich zerlegte Wörter wie „Apfel“ in ihre semantischen Bestandteile wie „Obst“ und „Technologie“. Später wurde dieser Ansatz auf komplexere KI-Modelle wie Transformatoren und große Sprachmodelle ausgeweitet, die dazu beitrugen, aufzudecken, wie diese Modelle Wissen verarbeiten und speichern.

Diese Methoden ähneln Techniken der Neurowissenschaft, wie etwa dem Einsatz von Elektroden oder fMRT zur Untersuchung der Gehirnaktivität. Die Untersuchung der internen Repräsentationen eines KI-Modells ermöglicht es uns, seine Denkstrategien zu verstehen und emergente Eigenschaften zu erkennen, wie etwa Konzeptneuronen, die bei bestimmten Ideen aktiviert werden (wie etwa das Merkmal der Golden Gate Bridge). Anthropisch gefunden beim Kartieren von Claude). Diese Forschungsrichtung ist in der Branche mittlerweile weit verbreitet, da sie nachweislich sowohl Interpretierbarkeit als auch praktische Interventionen ermöglicht und Verzerrungen aus Modellen beseitigt. Neurowissenschaftlich inspirierte Ansätze helfen uns also im Wesentlichen dabei, KI erklärbarer, vertrauenswürdiger und effizienter zu machen.

Was hat Sie dazu inspiriert, Aizip mitzugründen? Können Sie uns den Weg von der Idee bis zur Firmengründung schildern?

Als KI-Grundlagenforscher war ein Großteil meiner Arbeit theoretisch, doch ich wollte die Lücke zwischen Forschung und realer Anwendung schließen. Ich war Mitbegründer von Aizip, um innovative KI-Innovationen in die Praxis umzusetzen, insbesondere in ressourcenbeschränkten Umgebungen. Anstatt große Basismodelle zu entwickeln, konzentrierten wir uns auf die Entwicklung der weltweit kleinsten und effizientesten KI-Modelle, die für Edge-Geräte optimiert sind.

Die Reise begann im Wesentlichen mit einer wichtigen Beobachtung: Während die KI-Entwicklung rasant zunahm, erforderten reale Anwendungen oft schlanke und hocheffiziente Modelle. Wir sahen die Chance, einen neuen Weg einzuschlagen, der wissenschaftliche Genauigkeit mit praktischer Anwendung verbindet. Durch die Nutzung von Erkenntnissen aus selbstüberwachtem Lernen und kompakten Modellarchitekturen konnte Aizip KI-Lösungen liefern, die effizient am Edge arbeiten und neue Möglichkeiten für KI in eingebetteten Systemen, im IoT und darüber hinaus eröffnen.

Aizip ist auf kleine KI-Modelle für Edge-Geräte spezialisiert. Welche Marktlücke haben Sie erkannt, die zu dieser Fokussierung geführt hat?

Die KI-Branche konzentriert sich weitgehend auf die Skalierung von Modellen, doch reale Anwendungen erfordern oft das Gegenteil: hohe Effizienz, geringen Stromverbrauch und minimale Latenz. Viele KI-Modelle sind heute zu rechenintensiv für den Einsatz auf kleinen, eingebetteten Geräten. Wir haben eine Marktlücke für KI-Lösungen entdeckt, die trotz extremer Ressourcenbeschränkungen eine hohe Leistung liefern.

Wir haben erkannt, dass es nicht nur unnötig ist, jede KI-Anwendung auf riesigen Modellen laufen zu lassen, sondern dass es auch nicht skalierbar wäre, sich für alles auf Modelle dieser Größe zu verlassen. Stattdessen konzentrieren wir uns auf die Optimierung von Algorithmen, um maximale Effizienz bei gleichbleibender Genauigkeit zu erreichen. Durch die Entwicklung maßgeschneiderter KI-Modelle für Edge-Anwendungen – ob in intelligenten Sensoren, Wearables oder der industriellen Automatisierung – ermöglichen wir KI dort, wo herkömmliche Modelle unpraktisch wären. Unser Ansatz macht KI zugänglicher, skalierbarer und energieeffizienter und eröffnet neue Möglichkeiten für KI-getriebene Innovationen jenseits der Cloud.

Aizip war führend bei der Entwicklung von Small Language Models (SLMs). Wie sehen Sie die Konkurrenz oder Ergänzung von SLMs zu größeren Modellen wie GPT-4?

SLMs und größere Modelle wie GPT-4 stehen nicht unbedingt in direkter Konkurrenz, da sie unterschiedliche Anforderungen erfüllen. Größere Modelle sind leistungsstark in Bezug auf Generalisierung und tiefgreifende Schlussfolgerungen, benötigen aber erhebliche Rechenressourcen. SLMs sind auf Effizienz und den Einsatz auf stromsparenden Edge-Geräten ausgelegt. Sie ergänzen große Modelle, indem sie KI-Funktionen in realen Anwendungen ermöglichen, bei denen Rechenleistung, Latenz und Kostenbeschränkungen eine Rolle spielen – beispielsweise bei IoT-Geräten, Wearables und der industriellen Automatisierung. Mit der zunehmenden Verbreitung von KI entsteht ein hybrider Ansatz, bei dem große, cloudbasierte Modelle komplexe Abfragen verarbeiten, während SLMs lokalisierte Echtzeit-Intelligenz am Edge bereitstellen.

Was sind die größten technischen Herausforderungen, um KI-Modelle effizient genug für Edge-Geräte mit geringem Stromverbrauch zu machen?

Eine der grundlegenden Herausforderungen ist das fehlende umfassende theoretische Verständnis der Funktionsweise von KI-Modellen. Ohne eine klare theoretische Grundlage sind Optimierungsbemühungen oft empirisch, was Effizienzgewinne begrenzt. Darüber hinaus erfolgt menschliches Lernen auf vielfältige Weise, die aktuelle Paradigmen des maschinellen Lernens nicht vollständig erfassen. Dies erschwert die Entwicklung von Modellen, die die menschliche Effizienz nachahmen.

Aus technischer Sicht erfordert es innovative Lösungen in den Bereichen Modellkomprimierung, Quantisierung und Architekturdesign, um KI unter extremen Bedingungen arbeiten zu lassen. Eine weitere Herausforderung besteht darin, KI-Modelle zu entwickeln, die sich an eine Vielzahl von Geräten und Umgebungen anpassen und gleichzeitig robust bleiben. Da KI zunehmend über IoT und Sensoren mit der physischen Welt interagiert, wird der Bedarf an natürlichen und effizienten Schnittstellen – wie Sprache, Gesten und anderen nicht-traditionellen Eingaben – immer wichtiger. KI am Edge definiert die nahtlose Interaktion von Nutzern mit der digitalen Welt neu.

Können Sie uns einige Einzelheiten zur Arbeit von Aizip mit Unternehmen wie Softbank mitteilen?

Wir haben kürzlich mit SoftBank an einem Aquakulturprojekt zusammengearbeitet, das mit einem CES Innovation Award ausgezeichnet wurde – worauf wir besonders stolz sind. Wir haben ein effizientes, Edge-basiertes KI-Modell für eine Fischzählanwendung entwickelt, die von Aquakulturbetreibern für Fischfarmen eingesetzt werden kann. Diese Lösung adressiert eine kritische Herausforderung in der Fischzucht, die letztlich zu Nachhaltigkeitsproblemen, Lebensmittelverschwendung und Rentabilitätsproblemen führen kann. Die Branche hat KI als Lösung aufgrund der unzuverlässigen Stromversorgung und Konnektivität auf See nur langsam eingeführt, was cloudbasierte KI-Lösungen unpraktisch macht.

Um dieses Problem zu lösen, entwickelten wir eine gerätebasierte Lösung. Wir kombinierten die Computergrafiksimulationen von SoftBank für Trainingsdaten mit unseren kompakten KI-Modellen und schufen so ein hochpräzises System, das auf Smartphones läuft. In Unterwasser-Feldtests erreichte es eine Erkennungsrate von 95 %, was die Genauigkeit der Fischzählung deutlich verbesserte. Dies ermöglichte es den Landwirten, die Lagerbedingungen zu optimieren, zu entscheiden, ob Fische lebend oder gefroren transportiert werden sollten, und potenzielle Krankheiten oder andere gesundheitliche Probleme bei den Fischen zu erkennen.

Dieser Durchbruch steigert die Effizienz, senkt die Kosten und reduziert die Abhängigkeit von manueller Arbeit. Im weiteren Sinne zeigt er, wie KI konkrete Auswirkungen auf reale Probleme haben kann.

Aizip hat das Konzept einer „KI-Nanofabrik“ vorgestellt. Können Sie erklären, was das bedeutet und wie es die Entwicklung von KI-Modellen automatisiert?

Die AI Nanofactory ist unsere interne KI-Design-Automatisierungspipeline, inspiriert von der Electronic Design Automation (EDA) in der Halbleiterfertigung. Die frühe Entwicklung in jedem aufstrebenden Technologiefeld erfordert viel manuellen Aufwand. Daher ist Automatisierung der Schlüssel zur Beschleunigung des Fortschritts und zur Skalierung von Lösungen mit zunehmender Reife des Feldes.

Anstatt KI einfach nur zur Beschleunigung anderer Branchen einzusetzen, fragten wir uns: Kann KI ihre eigene Entwicklung beschleunigen? Die AI Nanofactory automatisiert jede Phase der KI-Modellentwicklung – von der Datenverarbeitung über Architekturdesign, Modellauswahl, Training, Quantisierung, Bereitstellung bis hin zum Debugging. Durch die Nutzung der KI zur Selbstoptimierung konnten wir die Entwicklungszeit für neue Modelle durchschnittlich um den Faktor 10 reduzieren. In manchen Fällen sogar um mehr als das 1,000-Fache. Das bedeutet, dass ein Modell, dessen Entwicklung früher über ein Jahr dauerte, heute in nur wenigen Stunden erstellt werden kann.

Ein weiterer Vorteil besteht darin, dass diese Automatisierung auch sicherstellt, dass KI-Lösungen für eine breite Palette von Anwendungen wirtschaftlich rentabel sind, wodurch der KI-Einsatz in der realen Welt zugänglicher und skalierbarer wird.

Wie wird sich Ihrer Meinung nach die Rolle der Edge-KI in den nächsten fünf Jahren entwickeln?

Edge-KI verspricht, die Art und Weise, wie wir mit Technologie interagieren, zu verändern, ähnlich wie Smartphones den Internetzugang revolutioniert haben. Die meisten KI-Anwendungen sind heute Cloud-basiert, doch dieser Wandel beginnt sich zu vollziehen, da KI immer näher an die Sensoren und Geräte heranrückt, die mit der physischen Welt interagieren. Dieser Wandel unterstreicht den dringenden Bedarf an effizienter Echtzeitverarbeitung am Edge.

Wir erwarten, dass Edge-KI in den nächsten fünf Jahren natürlichere Mensch-Computer-Interaktionen ermöglichen wird, beispielsweise durch Sprach- und Gestenerkennung und andere intuitive Schnittstellen. Dadurch werden traditionelle Barrieren wie Tastaturen und Touchscreens überflüssig. KI wird voraussichtlich auch stärker in Alltagsumgebungen wie Smart Homes oder die industrielle Automatisierung integriert, um Echtzeit-Entscheidungen mit minimaler Latenz zu ermöglichen.

Ein weiterer wichtiger Trend wird die zunehmende Autonomie von Edge-KI-Systemen sein. KI-Modelle werden dank Fortschritten in der Automatisierung im Stil von KI-Nanofabriken selbstoptimierender und anpassungsfähiger, sodass der Bedarf an menschlichem Eingreifen bei Bereitstellung und Wartung reduziert wird. Dies eröffnet neue Möglichkeiten in verschiedenen Branchen wie dem Gesundheitswesen, der Automobilindustrie und der Landwirtschaft.

Auf welche kommenden KI-gestützten Geräte von Aizip freuen Sie sich am meisten?

Wir arbeiten daran, die Anwendungsfälle unserer Modelle auf neue Branchen auszuweiten. Besonders spannend ist dabei ein KI-Agent für die Automobilbranche. Insbesondere bei chinesischen Automobilherstellern wächst die Dynamik bei der Entwicklung sprachbasierter Sprachassistenten, die sich im Fahrzeuginnenraum eher wie ChatGPT anfühlen. Die Herausforderung besteht darin, dass die meisten aktuellen Assistenten, insbesondere für natürliche, flexible Dialoge, immer noch auf die Cloud angewiesen sind. Nur grundlegende Befehls- und Steuerungsaufgaben (wie „Klimaanlage einschalten“ oder „Kofferraum öffnen“) werden typischerweise lokal im Fahrzeug ausgeführt. Die starre Natur dieser Befehle kann Fahrer ablenken, wenn sie diese nicht perfekt auswendig gelernt haben.

Wir haben eine Reihe hocheffizienter, SLM-basierter KI-Agenten namens Gizmo entwickelt, die bereits in verschiedenen Branchen zum Einsatz kommen. Wir arbeiten daran, sie auch als „Co-Piloten“ in der Fahrzeugkabine einzusetzen. Gizmo ist darauf trainiert, Absichten differenzierter zu verstehen und könnte als KI-Agent eines Fahrzeugs Befehle in freier, umgangssprachlicher Sprache ausführen. Beispielsweise könnte der Agent die Temperatur im Innenraum anpassen, wenn der Fahrer einfach sagt: „Mir ist kalt“, oder auf eine Aufforderung wie „Ich fahre morgen nach Boston, was soll ich anziehen?“ reagieren, indem er das Wetter prüft und einen Vorschlag macht.

Da sie lokal laufen und nicht von der Cloud abhängig sind, funktionieren diese Agenten auch in Funklöchern oder Gebieten mit schlechter Verbindung, wie Tunneln, Bergen oder Landstraßen. Sie erhöhen zudem die Sicherheit, indem sie den Fahrern die vollständige sprachbasierte Steuerung ermöglichen, ohne dass sie ihre Aufmerksamkeit von der Straße abwenden müssen. Nebenbei bemerkt, möchte ich noch erwähnen, dass wir gerade ein KI-gestütztes Karaoke-Modell für Fahrzeuge und Bluetooth-Lautsprecher in Produktion bringen, das lokal wie der Copilot läuft. Im Grunde nimmt es beliebige Audio-Eingaben auf und entfernt menschliche Stimmen, wodurch sich in Echtzeit eine Karaoke-Version jedes beliebigen Songs erstellen lässt. Wir helfen unseren Kunden also nicht nur dabei, die Steuerung im Auto sicherer zu gestalten, sondern suchen auch nach Möglichkeiten, das Erlebnis unterhaltsamer zu gestalten.

Auf diese Art von Lösungen, die den Alltag der Menschen spürbar verbessern, sind wir am meisten stolz.

Aizip entwickelt hocheffiziente KI-Lösungen, optimiert für Edge-Geräte, und bietet kompakte Modelle für Anwendungen in den Bereichen Bildverarbeitung, Audio, Zeitreihen, Sprache und Sensorfusion. Die Produkte ermöglichen Aufgaben wie Gesichts- und Objekterkennung, Keyword-Erkennung, EKG-/EEG-Analyse und On-Device-Chatbots – alles basierend auf TinyML. Mit seiner KI-Nanofabrik-Plattform Aizipline beschleunigt das Unternehmen die Modellentwicklung mithilfe von Basis- und generativen Modellen und strebt so eine vollständige Automatisierung des KI-Designs an. Die Gizmo-Reihe kleiner Sprachmodelle (300 Mio.–2 Mrd. Parameter) von Aizip unterstützt eine breite Gerätepalette und bringt intelligente Funktionen an den Rand.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Aizip.