Zuzanna Stamirowska, Mitbegründerin und CEO von Pathway – Interviewreihe

Zuzanna Stamirowska, Mitgründerin und CEO von Pathway, ist eine Forscherin, die sich auf die Entwicklung neuer KI-Tools spezialisiert hat. Zuzanna arbeitete zuvor an emergenten Phänomenen und der Entwicklung groß angelegter Netzwerke. Ihre Projekte wurden von der US-amerikanischen National Academy of Sciences ausgezeichnet, und sie promovierte in komplexen Systemen. Zusammen mit CTO Jan Chorowski und CSO Adrian Kosowski leitet Zuzanna ein Team, das bereits offene KI-Tools mit über 62,000 Sternen auf GitHub entwickelt hat.

Weg definiert die Denkweise von KI-Modellen neu und zielt darauf ab, Systeme zu schaffen, die kontinuierlich und adaptiv statt in Batches arbeiten. Hinter den Kulissen ermöglichen die Tools und die Architektur den Modellen, in Echtzeit zu verarbeiten, zu lernen und sich weiterzuentwickeln. Das Unternehmen hat Unterstützung von Größen wie Lukasz Kaiser (Miterfinder von Transformers) und namhaften Risikokapitalfirmen erhalten.

Was hat Sie dazu motiviert, Pathway zu gründen, und wie hat Ihr Hintergrund in komplexen Systemen, Spieltheorie und emergenten Phänomenen die Vision und technische Ausrichtung des Unternehmens geprägt?

Wir wollten KI entwickeln, die wie Menschen denkt und sich anpasst. Uns wurde klar, dass dies KI-Systeme (Deep-Learning-Modelle oder Machine-Learning-Pipelines, die aus einer großen Anzahl von Bausteinen aufgebaut sind) erfordert, die kontinuierlich anhand von Daten aus der Umgebung lernen, mit der Erfahrung besser werden und manchmal ihre bisherigen Weltanschauungen „korrigieren“. Das Thema „Maschinelles Verlernen“ wurde tatsächlich ausführlich behandelt. Zusätzlich zu den Modellen benötigen solche Systeme eine ganze Engineering-Ebene, um Daten an der Quelle zu erfassen und sie sofort in dynamische Systeme einzuspeisen.

Während meiner Arbeit an der Emergenz in komplexen Netzwerken entwickelte ich eine Reihe von Hypothesen, die wir schließlich direkt oder fast direkt in BDH anwendeten. Lustigerweise schloss ich mit meinen Kollegen (Adrian, CSO, und Jan, CTO) ein paar Wetten ab und gewann ein paar Flaschen richtig guten Cognac. Erstens glaubten wir, dass natürliche Intelligenz das Ergebnis einer emergenten Struktur und Aktivität von Neuronen im Gehirn ist (das ist offensichtlich, hier wurde nicht gewettet). Zweitens wusste ich aus meiner früheren Forschung, dass die Funktion im Allgemeinen das Netzwerk formt (diese Wette gewonnen). In früheren Arbeiten entdeckte ich dies für den Handel, und Neurowissenschaftler hatten dies für Nerven und Sinne bei Mäusen usw. untersucht. Drittens kam die Tatsache hinzu, dass diese Formung der Netzwerkstruktur einigen sehr lokalen Regeln folgen muss, die direkt mit der sogenannten „Nachbarschaft“ jedes Netzwerkstandorts verknüpft sind (in diesem Fall ist ein Knoten ein Neuron) (diese Wette gewonnen). Die anderen Teile kamen aus meinem Wissen über Teilcheninteraktionssysteme – denken Sie zum Beispiel an Magnetismus –, bei denen Teilchen ihre Spins an ein externes Feld anpassen und eine Art „spontane Ordnung“ erzeugen. Diese Art von Mathematik verwendete ich, als ich an der Spieltheorie für Graphen arbeitete. Alles in allem waren wir vom ersten Tag des Bestehens des Unternehmens an fest davon überzeugt, dass Spärlichkeit (graphenähnliche Strukturen) ein wichtiger Meilenstein für die Weiterentwicklung der KI sein würde.

Die Berücksichtigung eines Zeitbegriffs war entscheidend und auch ziemlich charakteristisch für meinen Hintergrund, da die Entstehung normalerweise im Laufe der Zeit geschieht.

Was waren Ihre ersten Hypothesen darüber, was zukünftige KI-Systeme anders machen sollten, als Sie das Unternehmen im Jahr 2020 gründeten, und wie haben sich diese Ansichten weiterentwickelt?

Wir waren von Anfang an davon überzeugt, dass KI lebendig, anpassungsfähig und in groß angelegte Prozesse integriert sein muss. Sie sollte direkt von der Quelle lernen und dabei möglichst viele Rohdaten nutzen.

Zunächst haben wir dies für klassischere Machine-Learning-Ansätze getan und im Laufe der Zeit technische Ebenen entwickelt, die den einfachen Einsatz solcher Systeme in der realen Welt ermöglichen. Jetzt haben wir diesen Ansatz auf Deep Learning übertragen.

Wir wussten, dass die Elemente Zeit und Struktur (Netzwerke) für den Fortschritt in Richtung AGI entscheidend sein würden. Dies haben wir in einigen unserer Gründungsdokumente aus dem Jahr 2020 festgehalten.

Können Sie uns die von Ihnen vorgestellte „Post-Transformer“-Architektur erläutern und erklären, wie sie sich von aktuellen Transformer-basierten Systemen unterscheidet?

Unsere neue Architektur namens Baby Dragon Hatchling (BDH) verbindet formal die Art und Weise, wie Transformers Informationen verarbeiten, mit der Art und Weise, wie im Gehirn logisches Denken entsteht.
BDH verhält sich wie ein physikalisches System: ein gehirnähnliches Computermodell, in dem Neuronen gemeinsam versuchen, die nächste, relevanteste Tatsache zu entdecken. Kontextuelles Denken wird nicht durch technische Einschränkungen, wie etwa die feste Kontextlänge des Transformers, eingeschränkt, sondern skaliert mit der Anzahl der Neuronen des Modells.

Um das Ganze etwas technischer auszudrücken: Anders als beim Transformer verfügen wir bei BDH über lineare Aufmerksamkeit, spärliche Schlüssel-Abfrage-Vektoren und keine Beschränkungen hinsichtlich der Kontextfenstergröße.

Dieser Ansatz öffnet die Tür zu Systemen, die während der Ausführung lernen, lange Argumentationsketten aufrechterhalten und sich kontinuierlich an den Kontext anpassen.

Ein Kernmerkmal des Systems ist die Lokalität: Wichtige Daten befinden sich direkt neben den Standorten, an denen sie verarbeitet werden. Dies minimiert die Kommunikation und eliminiert den größten Engpass bei der Modellfindung während der Inferenz: die Bandbreite zwischen Speicher und Kern.

Wie lässt sich Ihr Ansatz von der menschlichen Argumentation inspirieren, insbesondere im Hinblick auf die Ermöglichung von Anpassungsfähigkeit und kontinuierlichem Lernen ohne Umschulung?

BDH bringt natürliche Intelligenz und natürliche Intelligenz näher zusammen.

Diese Architektur ist von der Funktionsweise von Neuronen und Synapsen im Gehirn inspiriert. Sie bildet biologische Aufmerksamkeitsmechanismen auf den rechnerischen Begriff der Aufmerksamkeit im maschinellen Lernen ab und schafft so eine skalierbare Brücke zwischen Transformern und dem Gehirn.

BDH bringt die Aufmerksamkeit in die Nähe der Modellparameter und stellt sie als zwei Spiegelbilder derselben gehirnähnlichen Systemdynamik dar. Dabei ändert sich die Aufmerksamkeit schnell, wenn während des Denkprozesses neue Fakten bekannt werden, während sich die Modellparameter langsamer ändern, wenn das System seine langfristigen Gewohnheiten ändert. Dies kommt unserer Vorstellung vom Denkprozess im Gehirn näher.

Wir betrachten BDH als einen Meilenstein auf dem Weg zur Entwicklung von KI-Systemen, die mitten in der Aufgabe schlussfolgern, sich mit der Erfahrung verbessern und sich ohne erneutes Training anpassen – Eigenschaften, die wir mit menschlichem Denken assoziieren.

Eine der Herausforderungen bei der KI besteht darin, Stabilität und Anpassungsfähigkeit in Einklang zu bringen. Wie stellen Sie sicher, dass Systeme in Echtzeit lernen können, ohne vorhandenes Wissen zu verlieren?

BDH basiert auf seiner skalenfreien Struktur und lokalisierten Neuronenzuständen, um das Denken über lange Zeiträume aufrechtzuerhalten und Stabilität sowie die Fähigkeit zur Integration neuer Erkenntnisse und Beobachtungen in Einklang zu bringen. Dieses natürliche Gleichgewicht lässt sich über die gesamte Lebensdauer eines Modells leicht ermitteln und verfolgen.

Mit BDH machen wir das Denken zum Eckpfeiler der Intelligenz. Mit der vorliegenden Arbeit kommen wir einer Hypothese über die Rolle von Wissen in großen Sprachmodellen näher: Es geht nicht so sehr darum, was „wahr“ ist, sondern was in einem bestimmten Kontext „nützlich“ ist, um in einer bestimmten Argumentationskette voranzukommen. Wird Wissen beispielsweise kontextualisiert, besteht plötzlich kein Widerspruch mehr zwischen unserer Welt, die den Naturgesetzen folgt, und der Tatsache, dass wir ein Volksmärchen kennen, das die Existenz von Feen und Magie zugibt. Ebenso besteht kein Widerspruch mehr für ein Modell, das mehrere verschiedene Prognosehypothesen mit mehr oder weniger optimistischen Annahmen in einer einzigen Argumentationskette berücksichtigt.

Modelle, die auf BDH basieren, erfassen im Laufe ihrer Lebensdauer kontextualisiert neue Fakten. Dadurch können sie sich selbst korrigieren. Durch die Bereitstellung leicht verständlicher Statistiken der Neuronenaktivität und die detaillierte Kontrolle über den Wissenstransfer vom Kontext in die Modellparameter trägt die Architektur dazu bei, das Risiko zu verringern, dass „veraltete“ Kontexte im ungünstigen Moment wieder auftauchen.

Welche technischen Kompromisse sind beim Aufbau einer Live-Datenverarbeitungs-Engine erforderlich, die diese Funktionen im großen Maßstab aufrechterhalten kann?

Das Enterprise-Angebot von Pathway basiert auf der schnellsten Datenverarbeitungs-Engine auf dem Markt. Diese Engine ermöglicht es uns, Echtzeit-Eingaben zu verarbeiten und mit geringer Latenz auf neue Informationen zu reagieren. Mit dem aktuellen BDH-Durchbruch stellen wir sicher, dass diese Echtzeit-Anpassungsfähigkeit auch die grundlegenden KI-Modelle umfasst, die in Implementierungen verwendet werden. Unser übergeordnetes Ziel für groß angelegte Implementierungen ist die Abkehr von der statischen Optimierung hin zum Aufbau einer Infrastruktur, die langfristiges Denken ermöglicht.

Welches sind die überzeugendsten Anwendungsfälle, die diese nächste Stufe der KI wirklich erfordern, und wo bleiben die aktuellen Transformer-basierten Systeme hinter den Erwartungen zurück?

Viele Innovationen haben die Funktionalität der generativen KI erweitert, um sich schnell an neue Informationen anzupassen und sich stark auf die „Zeit für die Aufgabe“ zu verlassen, aber bisher konnte nichts die Einstellung einer hochtalentierten Person ersetzen.

Die sehr schnelle und einfache Antwort lautet, dass wir über jede Aufgabe sprechen, die derzeit mehr als 2 Stunden und 17 Minuten zusammenhängende Arbeit eines menschlichen Experten erfordert. Dies ist laut METER die aktuelle Grenze von GPT5.

Wir haben großartige Gespräche mit Designpartnern im Unternehmen geführt, die eine tiefgreifende Personalisierung, Modelle, die im Einsatz aus knappen Daten lernen, und Bereitstellungssicherheit benötigen.

BDH macht es einem Unternehmen relativ einfach, hochkomplexe Prozesse zu bewältigen, wie beispielsweise:

• Quartalsabschluss für ein börsennotiertes Unternehmen
• Die dynamische Generierung der nächstbesten Vorgehensweisen in Umgebungen mit hohem Risiko ist sowohl im Vertrieb als auch in der Verteidigung von großer Bedeutung.
• Investitionsmanagement

Die NATO nutzt die Technologie von Pathway bereits zur Verarbeitung militärischer und sozialer Live-Daten und ermöglicht so Planungssysteme, die sich an veränderte Situationen anpassen. La Poste nutzt die Live-KI von Pathway, um ihre Operationen dynamisch in Echtzeit zu steuern. Branchen wie das Finanz- und Gesundheitswesen, in denen Daten knapp oder sensibel sind, können von Modellen profitieren, die weniger Daten benötigen, aber tiefere Einblicke und zuverlässigere Urteile liefern.

Können Sie Beispiele dafür nennen, wie Organisationen wie die NATO, La Poste oder die Formel 1 Ihre Technologie eingesetzt haben und welche Auswirkungen sie erzielt hat?

Die NATO, La Poste und Formel-1-Teams sind bereits frühe Anwender der Pathway-Technologie.

Pathway bietet der NATO robuste und innovative Datenverarbeitungstechnologie, um neue Möglichkeiten für den kritischen Einsatz im großen Maßstab zu erschließen. Mit unserem Funktionsdemonstrator, dem Reinforcement Enablement Simulation Tool (REST), haben wir den Grundstein für die Weiterentwicklung KI-gestützter Lösungen für die NATO gelegt. Die Nutzung von Pathway zur Vernetzung von Open-Source-Daten hat die Lageerkennung beschleunigt und auf das notwendige Niveau gebracht, das die NATO für erfolgreiche Operationen in den 2020er Jahren benötigte.

La Poste nutzt Pathway, um die Prozesse ihrer Transporteinheiten zu verbessern. Mit Pathway Framework antizipiert La Poste ihre Abläufe automatisch in Echtzeit und erstellt Live-Qualitätsanalysen ihrer Transportvorgänge. Mit Pathway konnte das Unternehmen seine Logistik dynamisch optimieren, ETAs, Bearbeitungszeiten und Durchlaufzeiten verkürzen und die Zuverlässigkeit erhöhen. Darüber hinaus konnten die Betriebskosten deutlich gesenkt werden (teilweise um 50 % niedrigere Gesamtbetriebskosten).

Der Formel-1-Rennstall nutzt Pathway, um seine Strategie unter hohem Druck und in Echtzeit anzupassen. Das Unternehmen benötigte eine Plattform, mit der Endbenutzer unabhängig voneinander benutzerdefinierte Funktionen (UDFs) erstellen und verschiedene Geschäftsanforderungen von E-Sport/Sim-Racing bis hin zu Auto- und Formel-Rennsport erfüllen können. Das Live Data Framework von Pathway ermöglicht dem F1-Rennstall erweiterte Datentransformationen bei niedrigster Latenz (90-mal schnellere Verarbeitungsgeschwindigkeit als zuvor).

Was sind die größten Hindernisse für den Einsatz adaptiver Systeme in Branchen wie dem Gesundheitswesen oder der Verteidigung und wie gehen Sie damit um?

Aktuelle LLMs generieren konzeptionell „neue“ Inhalte ohne echtes Urteilsvermögen – man könnte es als KI der „Generation“ bezeichnen. Viele stark regulierte Branchen benötigen per Definition Governance und zögern, KI-gesteuerte Geschäftsprozesse ohne Wiederholbarkeit, Vertrauen und Beobachtbarkeit einzusetzen. Ironischerweise vereinfachen diese Unternehmen beim Einsatz von KI oft die Funktionalität und führen zusätzliche Komplexität ein, um die Einhaltung von Vorschriften zu erleichtern.

BDH ermöglicht es Unternehmen, das Geschehen im Modell zu beobachten und sich darauf einzustellen. Diese Beobachtbarkeit über lange Zeiträume hinweg gibt dem Unternehmen die Sicherheit, längere und komplexere Geschäftsprozesse zu bewältigen. BDH ist sowohl beobachtbar als auch zeitachsenorientiert geschäftsprozessorientiert. Es sind keine perfekten, riesigen Datensätze zum Lernen, keine extrem langen Kontextfenster oder Verbindungslogik für die Beobachtbarkeit erforderlich.

Welche ethischen Überlegungen oder Sicherheitsvorkehrungen sind unerlässlich, wenn KI-Systeme beginnen, in Echtzeit zu lernen und sich anzupassen?

Systeme, die durch Erfahrung lernen, sind tatsächlich sicherer als die aktuellen Transformer-basierten Systeme. Ein Aspekt davon ist die Tatsache, dass sie durch kontinuierliches Lernen die Möglichkeit haben, sich selbst zu korrigieren und ihre Vorurteile zu aktualisieren, falls diese falsch waren.

Um die Sicherheit solcher Systeme zu gewährleisten, benötigen sie über einen längeren Zeitraum Feedback. Das bedeutet, dass wir sie kontinuierlich mit neuen Daten versorgen und gegebenenfalls Feedbackschleifen einrichten müssen, damit sie die Auswirkungen ihrer eigenen Funktionsweise verstehen. Dies kommt dem Reinforcement Learning nahe.

Zweitens bietet ein auf BDH basierendes Modell eine Interpretierbarkeit, die das Verständnis seiner Funktionsweise erleichtert und dem Menschen eine bessere Kontrolle darüber ermöglicht.

Was wäre nötig, damit sich ein „Post-Transformer“-Paradigma in der gesamten KI-Community durchsetzt?

Ein Modell auf dem Markt, das äußerst nützlich ist und deutlich geringere Inferenzkosten verursacht und gleichzeitig schneller ist. Wir glauben, dass sich damit ein Markterfolg erzielen lässt, insbesondere im Unternehmensbereich.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Weg.