Noah Schwartz, Mitgründer und CEO von Quorum AI – Interview-Serie

Noah ist ein Architekt von KI-Systemen. Bevor er Quorum AI gründete, verbrachte Noah 12 Jahre in der akademischen Forschung, zunächst an der University of Southern California und zuletzt an der Northwestern als stellvertretender Vorsitzender der Neurobiologie. Seine Arbeit konzentrierte sich auf die Informationsverarbeitung im Gehirn, und er hat seine Forschung in Produkte für erweiterte Realität, Brain-Computer-Schnittstellen, Computer-Vision und eingebettete Robotik-Steuerungssysteme umgesetzt.

Ihre Interesse an KI und Robotik begann als kleiner Junge. Wie wurden Sie mit diesen Technologien bekannt gemacht?

Der erste Funke kam von Science-Fiction-Filmen und einer Liebe für Elektronik. Ich erinnere mich daran, den Film Tron im Alter von 8 Jahren gesehen zu haben, gefolgt von Electric Dreams, Short Circuit, DARYL, War Games und anderen in den nächsten Jahren. Obwohl es durch Fiktion präsentiert wurde, hat mich die Idee der künstlichen Intelligenz sofort beeindruckt. Und obwohl ich erst 8 Jahre alt war, fühlte ich eine sofortige Verbindung und einen intensiven Zugang zu KI, der seitdem nie nachgelassen hat.

Wie entwickelten sich Ihre Leidenschaften für KI und Robotik?

Mein Interesse an KI und Robotik entwickelte sich parallel zu einer Leidenschaft für das Gehirn. Mein Vater war Biologielehrer und lehrte mich über den Körper, wie alles funktionierte und wie es alle miteinander verbunden war. Das Betrachten von KI und das Betrachten des Gehirns fühlte sich für mich wie das gleiche Problem an – oder zumindest hatten sie die gleiche endgültige Frage, nämlich: Wie funktioniert das? Ich war an beidem interessiert, aber ich bekam nicht viel Ausbildung in KI oder Robotik in der Schule. Deshalb verfolgte ich KI in meiner Freizeit und studierte Biologie und Psychologie in der Schule.

Als ich auf die Universität kam, entdeckte ich die Parallel Distributed Processing (PDP)-Bücher, die für mich enorm wichtig waren. Sie waren meine erste Einführung in echte KI, die mich dann zurück zu den Klassikern wie Hebb, Rosenblatt und sogar McCulloch und Pitts führte. Ich begann, neuronale Netze auf der Grundlage von Neuroanatomie und dem zu bauen, was ich aus Biologie- und Psychologie-Kursen in der Schule gelernt hatte. Nach meinem Abschluss arbeitete ich als Netzwerk-Ingenieur, baute komplexe, weiträumige Netzwerke und schrieb Software, um den Datenverkehr auf diesen Netzwerken zu automatisieren und zu verwalten – ein bisschen wie das Bauen großer Gehirne. Die Arbeit entfachte meine Leidenschaft für KI und motivierte mich, zur Graduate School zu gehen, um KI und Neurowissenschaften zu studieren, und der Rest ist Geschichte.

Bevor Sie Quorum AI gründeten, verbrachten Sie 12 Jahre in der akademischen Forschung, zunächst an der University of Southern California und zuletzt an der Northwestern als stellvertretender Vorsitzender der Neurobiologie. Zu dieser Zeit konzentrierte sich Ihre Arbeit auf die Informationsverarbeitung im Gehirn. Können Sie uns durch einige dieser Forschungen führen?

In einem breiten Sinne versuchte meine Forschung, die Frage zu beantworten: Wie tut das Gehirn das, was es tut, mit dem, was es zur Verfügung hat? Zunächst einmal glaube ich nicht, dass das Gehirn eine Art Computer (im Sinne von von Neumann) ist. Ich sehe es als ein massives Netzwerk, das hauptsächlich Stimulus-Antwort- und Signal-Kodierungs-Operationen ausführt. Innerhalb dieses massiven Netzwerks gibt es klare Muster der Konnektivität zwischen funktional spezialisierten Bereichen. Wenn wir uns näher betrachten, sehen wir, dass Neuronen nicht darauf achten, welches Signal sie tragen oder in welchem Teil des Gehirns sie sind – sie operieren auf der Grundlage sehr vorhersehbarer Regeln. Wenn wir also die Funktion dieser spezialisierten Bereiche verstehen wollen, müssen wir einige Fragen stellen: (1) Wie konvergiert ein Eingang, wenn er durch das Netzwerk reist, mit anderen Eingängen, um eine Entscheidung zu treffen? (2) Wie bildet sich die Struktur dieser spezialisierten Bereiche als Ergebnis von Erfahrungen? Und (3) wie ändern sie sich, wenn wir unser Gehirn nutzen und lernen? Meine Forschung versuchte, diese Fragen mit einer Mischung aus experimenteller Forschung, Informationstheorie und Modellierung und Simulation zu beantworten – etwas, das es uns ermöglichen könnte, künstliche Entscheidungssysteme und KI zu bauen. In neurobiologischen Begriffen studierte ich Neuroplastizität und Mikroanatomie von spezialisierten Bereichen wie der visuellen Hirnrinde.

Sie übersetzten Ihre Arbeit dann in erweiterte Realität und Brain-Computer-Schnittstellen. Was waren einige der Produkte, an denen Sie arbeiteten?

Um 2008 herum arbeitete ich an einem Projekt, das wir heute als erweiterte Realität bezeichnen würden, aber damals war es einfach ein System zur Verfolgung und Vorhersage von Augenbewegungen und zur Aktualisierung von etwas auf dem Bildschirm. Um das System in Echtzeit zu machen, baute ich ein biologisch inspiriertes Modell, das die Augenbewegungen des Betrachters vorhersagte, basierend auf seinen Mikrosakkaden – winzigen Augenbewegungen, die vor dem Blick auf ein neues Objekt auf dem Bildschirm auftreten. Mit diesem Modell konnte ich vorhersagen, wo der Betrachter hinschauen würde, und dann den Frame-Buffer in der Grafikkarte aktualisieren, während seine Augen noch in Bewegung waren. Als seine Augen schließlich den neuen Ort auf dem Bildschirm erreichten, war das Bild bereits aktualisiert. Dies lief auf einem normalen Desktop-Computer im Jahr 2008 ohne Verzögerung. Die Technologie war ziemlich beeindruckend, aber das Projekt wurde nicht in die nächste Finanzierungsrunde aufgenommen, also starb es.

2011 machte ich einen gezielteren Versuch, Produkte zu entwickeln, und baute ein neuronales Netz, das Feature-Entdeckung auf Streaming-EEG-Daten durchführen konnte, die wir von der Kopfhaut aufzeichneten. Dies ist die Kernfunktion der meisten Brain-Computer-Schnittstellen-Systeme. Das Projekt war auch ein Experiment, wie klein wir das Fußabdruck des Systems machen konnten. Wir hatten eine Kopfhörer, die einige Kanäle von EEG-Daten mit 400 Hz lasen, die über Bluetooth an ein Android-Telefon für Feature-Entdeckung und Klassifizierung gesendet wurden, und dann an einen Arduino-basierten Controller, den wir in ein Serien-RC-Auto einbauten. Wenn es in Betrieb war, konnte eine Person, die die EEG-Kopfhörer trug, das Auto steuern und lenken, indem sie ihre Gedanken von mentaler Mathematik zu Singen eines Liedes änderte. Der Algorithmus lief auf dem Telefon und erstellte einen personalisierten “Fingerabdruck” für jeden Benutzer, der es ermöglichte, zwischen verschiedenen Robotik-Geräten zu wechseln, ohne jedes Mal neu trainieren zu müssen. Der Werbeslogan, den wir dafür entwickelten, war “Brain Control Meets Plug-and-Play”.

2012 erweiterten wir das System, um es in einer viel dezentraleren Weise auf kleinerer Hardware zu betreiben. Wir verwendeten es, um einen mehrsegmentigen, mehrgelenkigen Roboterarm zu steuern, bei dem jedes Segment von einem unabhängigen Prozessor gesteuert wurde, der eine eingebettete Version der KI ausführte. Anstatt einen zentralen Controller zu verwenden, um den Arm zu steuern, ließen wir die Segmente sich selbst organisieren und ihr Ziel in einer schwarmartigen, dezentralen Weise erreichen. Mit anderen Worten, wie Ameisen, die eine Ameisenbrücke bilden, arbeiteten die Armsegmente zusammen, um ein Ziel im Raum zu erreichen.

Wir setzten diese Richtung fort, als wir Quorum AI – ursprünglich als Quorum Robotics bekannt – im Jahr 2013 starteten. Wir erkannten schnell, dass das System aufgrund des Algorithmus und der Architektur großartig war, nicht wegen der Hardware, also wechselten wir im späten Jahr 2014 vollständig in die Software. Jetzt, 8 Jahre später, kehrt Quorum AI zu seinen Wurzeln in der Robotik zurück, indem es sein Framework auf die NASA Space Robotics Challenge anwendet.

Das Verlassen Ihres Jobs als Professor, um ein Start-up zu gründen, muss eine schwierige Entscheidung gewesen sein. Was inspirierte Sie dazu?

Es war ein großer Schritt für mich in vielerlei Hinsicht, aber sobald die Gelegenheit kam und der Weg klar wurde, war es eine einfache Entscheidung. Wenn man Professor ist, denkt man in mehrjährigen Zeiträumen und arbeitet an sehr langfristigen Forschungszielen. Das Gründen eines Start-ups ist das genaue Gegenteil davon. Es erfordert jedoch, dass man ständig lernt und Probleme löst, ähnlich wie in der akademischen Welt. In einem Start-up kann dies bedeuten, eine Lösung zu finden, um das Produktentwicklungsrisiko zu reduzieren, oder das Studium eines neuen Bereichs, der von unserer Technologie profitieren könnte. Die Arbeit in der KI ist das nächste, was ich als “Berufung” bezeichnen würde, also fühle ich mich unglaublich glücklich, die Arbeit zu tun, die ich tue.

Sie haben seitdem Quorum AI entwickelt, das Echtzeit-KI für alle Geräte und Plattformen entwickelt. Können Sie uns genauer erklären, was genau diese KI-Plattform tut?

Die Plattform heißt Environment for Virtual Agents (EVA) und ermöglicht es Benutzern, Modelle mit unserem Engram-AI-Engine zu erstellen, zu trainieren und zu bereitstellen. Engram ist ein flexibles und portables Wrapper, den wir um unsere unsupervised-Lernalgorithmen gebaut haben. Die Algorithmen sind so effizient, dass sie in Echtzeit lernen können, während das Modell Vorhersagen generiert. Da die Algorithmen unabhängig von der Aufgabe sind, gibt es keine explizite Eingabe oder Ausgabe für das Modell, so dass Vorhersagen in einer bayesschen Weise für jede Dimension ohne erneutes Training und ohne katastrophales Vergessen getroffen werden können. Die Modelle sind auch transparent und dekomponierbar, was bedeutet, dass sie untersucht und in einzelne Dimensionen zerlegt werden können, ohne zu verlieren, was gelernt wurde.

Sobald die Modelle erstellt sind, können sie über EVA auf jede Art von Plattform bereitgestellt werden, von benutzerdefinierter eingebetteter Hardware bis hin zur Cloud. EVA (und die einbettbare Host-Software) enthalten auch mehrere Tools, um die Funktionalität jedes Modells zu erweitern. Einige schnelle Beispiele: Modelle können zwischen Systemen über ein Publikations-/Abonnenten-System geteilt werden, um verteiltes Lernen über Zeit und Raum zu ermöglichen. Modelle können auch als autonome Agenten bereitgestellt werden, um beliebige Aufgaben auszuführen, und da das Modell unabhängig von der Aufgabe ist, kann die Aufgabe während der Laufzeit geändert werden, ohne erneut trainieren zu müssen. Jeder einzelne Agent kann mit einer privaten “virtuellen” EVA erweitert werden, um es dem Agenten zu ermöglichen, Modelle anderer Agenten in einer skalenfreien Weise zu simulieren. Schließlich haben wir einige Wrapper für Deep-Learning- und Verstärkungs-Lernalgorithmen (Keras-basiert) erstellt, um es diesen Modellen zu ermöglichen, auf der Plattform zusammen mit flexibleren Engram-basierten Systemen zu arbeiten.

Sie haben die Quorum-AI-Algorithmen zuvor als “mathematische Poesie” bezeichnet. Was meinten Sie damit?

Wenn man ein Modell aufbaut, egal ob man das Gehirn oder Verkaufsdaten für ein Unternehmen modelliert, beginnt man damit, einen Bestand an Daten zu erstellen, und dann versucht man, bekannte Klassen von Modellen auszuprobieren, um das System anzunähern. Im Wesentlichen erstellt man grobe Skizzen des Systems, um zu sehen, was am besten passt. Man erwartet nicht, dass die Dinge gut zu den Daten passen, und es gibt ein bisschen Trial und Error, wenn man verschiedene Hypothesen über die Funktionsweise des Systems testet, aber mit ein bisschen Finesse kann man die Daten ziemlich gut erfassen.

Als ich Neuroplastizität im Gehirn modellierte, begann ich mit dem üblichen Ansatz, alle molekularen Pfade, Übergangszustände und Dynamiken aufzuzeichnen, die ich für wichtig hielt. Aber ich fand heraus, dass, wenn ich das System auf seine grundlegendsten Komponenten reduzierte und diese Komponenten in einer bestimmten Weise anordnete, das Modell immer genauer wurde, bis es die Daten fast perfekt passte. Es war, als ob jeder Operator und jede Variable in den Gleichungen genau das waren, was sie sein mussten, es gab nichts Überflüssiges, und alles war für die Anpassung der Daten unerlässlich. Als ich das Modell in größere und größere Simulationen einbaute, wie die Entwicklung des visuellen Systems oder Gesichtserkennung, zum Beispiel, konnte es sehr komplexe Verbindungs muster bilden, die dem entsprachen, was wir im Gehirn sehen. Da das Modell mathematisch war, konnten diese Gehirnmuster durch mathematische Analyse verstanden werden, was neue Erkenntnisse über das Lernen des Gehirns lieferte. Seitdem haben wir die Differentialgleichungen, die das Modell ausmachen, gelöst und vereinfacht, was die Rechenleistung um mehrere Größenordnungen verbessert hat. Es mag keine echte Poesie sein, aber es fühlte sich definitiv so an!

Die Plattform-Toolkit von Quorum AI ermöglicht es Geräten, miteinander zu verbinden, um Daten zu lernen und zu teilen, ohne dass sie durch cloud-basierte Server kommunizieren müssen. Was sind die Vorteile dieser Methode im Vergleich zur Verwendung der Cloud?

Wir geben den Benutzern die Möglichkeit, ihre KI überall zu platzieren, ohne die Funktionalität der KI zu beeinträchtigen. Der Status quo in der KI-Entwicklung ist, dass Unternehmen normalerweise Kompromisse bei Sicherheit, Datenschutz oder Funktionalität eingehen müssen, weil ihre einzige Option darin besteht, cloud-basierte KI-Dienste zu verwenden. Wenn Unternehmen versuchen, ihre eigene KI intern zu entwickeln, erfordert dies in der Regel viel Geld und Zeit, und die Rendite ist selten den Risiken wert. Wenn Unternehmen KI auf einzelne Geräte bereitstellen möchten, die nicht cloud-verbunden sind, wird das Projekt schnell unmöglich. Als Ergebnis wird die KI-Adoption zu einer Utopie.

Unsere Plattform macht KI zugänglich und erschwinglich und bietet Unternehmen eine Möglichkeit, die KI-Entwicklung und -Adoption zu erkunden, ohne den technischen oder finanziellen Overhead. Und darüber hinaus ermöglicht unsere Plattform es den Benutzern, von der Entwicklung bis zur Bereitstellung in einem einzigen, nahtlosen Schritt zu gelangen.

Unsere Plattform integriert sich auch mit und verlängert die Lebensdauer anderer “Legacy”-Modelle wie Deep Learning oder Reinforcement Learning, um es Unternehmen zu ermöglichen, bestehende Systeme in neue Anwendungen zu integrieren. Ähnlich wie unsere Algorithmen und Architekturen einzigartig sind, sind unsere Modelle keine Black-Boxen, so dass alles, was das System lernt, von Menschen untersucht und in andere Bereiche des Unternehmens erweitert werden kann.

Einige Leute glauben, dass verteilte KI (DAI) den Weg zu allgemeiner KI (AGI) ebnen könnte. Stimmen Sie dieser Theorie zu?

Ja, und nicht nur, weil das der Weg ist, den wir uns für uns selbst vorgenommen haben! Wenn man sich das Gehirn ansieht, ist es kein monolithisches System. Es besteht aus separaten, verteilten Systemen, die jeweils eine enge Palette von Gehirnfunktionen spezialisieren. Wir wissen möglicherweise nicht, was ein bestimmtes System tut, aber wir wissen, dass seine Entscheidungen erheblich von der Art der Informationen abhängen, die es erhält, und wie sich diese Informationen über die Zeit ändern. (Das ist, warum neurobiologische Themen wie das Connectom so beliebt sind.)

Meiner Meinung nach macht es Sinn, verteilte Architekturen wie diejenigen, die wir im Gehirn sehen, zu betrachten, wenn wir KI bauen wollen, die flexibel ist und sich wie das Gehirn verhält. Man könnte argumentieren, dass Deep-Learning-Architekturen wie Multi-Layer-Netzwerke oder CNNs im Gehirn gefunden werden können, und das ist wahr, aber diese Architekturen basieren auf dem, was wir vor 50 Jahren über das Gehirn wussten.

Die Alternative zu DAI ist, weiterhin an monolithischen, unflexiblen Architekturen zu arbeiten, die eng an einen einzigen Entscheidungsraum gekoppelt sind, wie die, die wir in Deep Learning oder Reinforcement Learning sehen. Ich würde sagen, dass diese Einschränkungen nicht nur eine Frage der Parametertweaks oder des Hinzufügens von Schichten oder der Datenkonditionierung sind – diese Probleme sind fundamental für Deep Learning und Reinforcement Learning, zumindest wie wir sie heute definieren, also sind neue Ansätze erforderlich, wenn wir weiter innovieren und die KI von morgen aufbauen wollen.

Glauben Sie, dass das Erreichen von AGI mit DAI wahrscheinlicher ist als mit Reinforcement Learning und/oder Deep Learning-Methoden, die derzeit von Unternehmen wie OpenAI und DeepMind verfolgt werden?

Ja, obwohl ich vermute, dass OpenAI und DeepMind mehr verteilte Architekturen verwenden, als sie zugeben. Wir beginnen, mehr über multi-System-Herausforderungen wie Transfer-Learning oder verteiltes Lernen zu hören, und wie Deep-Learning- und Reinforcement-Learning-Ansätze nicht für diese Herausforderungen funktionieren werden. Wir hören auch von Pionieren wie Yoshua Bengio, wie biologisch inspirierte Architekturen die Lücke schließen könnten! Ich habe fast 20 Jahre an biologisch inspirierter KI gearbeitet, also fühle ich mich sehr gut über das, was wir bei Quorum AI gelernt haben, und wie wir es verwenden, um die nächste Generation von KI zu bauen, die diese Einschränkungen überwinden wird.

Gibt es noch etwas, das Sie über Quorum AI teilen möchten?

Wir werden unsere neue Plattform für verteilte und agentenbasierte KI auf der Federated and Distributed Machine Learning Conference im Juni 2020 vorstellen. Während des Vortrags plane ich, einige aktuelle Daten zu verschiedenen Themen vorzustellen, einschließlich Sentiment-Analyse als Brücke zur Erreichung empathischer KI.

Ich möchte mich bei Noah für diese großartigen Antworten bedanken und empfehle Ihnen, die Quorum-Website zu besuchen, um mehr zu erfahren.