Zuzanna Stamirowska, Mitgründerin und CEO von Pathway – Interview-Serie

Zuzanna Stamirowska, Mitgründerin und CEO von Pathway, ist eine Forscherin, die zu einer Bauingenieurin wurde und zuvor an emergenten Phänomenen und der Evolution großer Netzwerke arbeitete. Ihre Projekte wurden von der U.S. National Academy of Sciences anerkannt, und sie hält einen PhD in komplexen Systemen. Zuzanna leitet zusammen mit CTO Jan Chorowski und CSO Adrian Kosowski ein Team, das bereits offene AI-Tools mit über 62.000 Sternen auf GitHub entwickelt hat.

Pathway stellt vor, wie AI-Modelle denken, mit dem Ziel, Systeme zu schaffen, die kontinuierlich und adaptiv arbeiten, anstatt in Chargen. Im Hintergrund ermöglichen die Werkzeuge und die Architektur es den Modellen, in Echtzeit zu verarbeiten, zu lernen und zu evolvieren. Das Unternehmen hat Unterstützung von bekannten Persönlichkeiten wie Lukasz Kaiser (Co-Erfinder der Transformer) und prominenten Venture-Firmen erhalten.

Was hat Sie dazu motiviert, Pathway zu gründen, und wie hat Ihre Erfahrung in komplexen Systemen, Spieltheorie und emergenten Phänomenen die Vision und die technische Richtung des Unternehmens geprägt?

Wir wollten eine KI entwickeln, die wie Menschen denkt und sich anpasst. Wir erkannten, dass dies bedeutet, dass KI-Systeme (Deep-Learning-Modelle oder Machine-Learning-Pipelines, die aus einer größeren Anzahl von Bausteinen bestehen) in der Lage sein müssen, kontinuierlich basierend auf Daten aus der Umgebung zu lernen, sich mit Erfahrung zu verbessern und gelegentlich ihre vorherigen Ansichten der Welt zu “korrigieren”. Wir haben tatsächlich einige Abhandlungen über das Thema “Maschinelles Vergessen” verfasst. Neben den Modellen benötigten solche Systeme eine gesamte Schicht der Ingenieurwissenschaften, um Daten an der Quelle zu erfassen und sie sofort in dynamische Systeme einzuspeisen.

Nachdem ich an der Emergenz in komplexen Netzwerken gearbeitet hatte, entwickelte ich eine Reihe von Hypothesen, die wir direkt oder fast direkt in BDH anwendeten. Es ist lustig, dass ich mit meinen Kollegen (Adrian, CSO, und Jan, CTO) ein paar Wetten abgeschlossen habe und ein paar Flaschen sehr guten Cognac gewonnen habe. Zuerst glaubten wir, dass natürliche Intelligenz aus einer emergenten Struktur und Handlung von Neuronen im Gehirn resultiert (das ist offensichtlich, keine Wette hier). Zweitens wusste ich aus meiner vorherigen Forschung, dass Funktion die Netzwerkstruktur formt (habe diese Wette gewonnen). In meiner vorherigen Arbeit entdeckte ich dies für den Handel, und Neurologen haben es für Nerven und Sinne bei Mäusen usw. studiert. Drittens war die Tatsache, dass diese Formung der Netzwerkstruktur einige sehr lokale Regeln verfolgen muss, die direkt mit dem sogenannten “Nachbarschaftsgebiet” jedes Netzwerkpunkts (in diesem Fall ein Neuron) verknüpft sind (habe auch diese Wette gewonnen). Die anderen Teile kamen aus meinem Wissen über Teilchen-Wechselwirkungssysteme – denken Sie beispielsweise an Magnetismus – wo Teilchen ihre Spins an ein externes Feld anpassen und eine Art von “spontaner Ordnung” schaffen. Dies war die Art von Mathematik, die ich verwendet habe, als ich an der Spieltheorie auf Graphen arbeitete. Wenn man all dies zusammenfügt, hatten wir vom ersten Tag an, als das Unternehmen existierte, die starke Überzeugung, dass Sparheit (graphenartige Strukturen) ein wichtiger Meilenstein bei der Weiterentwicklung der KI sein würde.

Die Berücksichtigung einer Vorstellung von Zeit war entscheidend und auch ziemlich charakteristisch für meine Erfahrung, da Emergenz normalerweise über die Zeit hinweg auftritt.

Als Sie das Unternehmen 2020 gründeten, welche waren Ihre frühesten Hypothesen darüber, was zukünftige KI-Systeme anders machen sollten, und wie haben sich diese Ansichten entwickelt?

Wir hatten von Anfang an die starke Überzeugung, dass KI lebendig, adaptiv und in großen Prozessen integriert sein sollte. Sie sollte direkt aus der Quelle lernen, mit den rohesten Daten möglich.

Zuerst haben wir dies für klassische Machine-Learning-Ansätze getan und auf dem Weg dorthin Schichten der Ingenieurwissenschaften aufgebaut, die es ermöglichen, solche Systeme leicht in der realen Welt zu deployen. Jetzt haben wir diesen Ansatz auf Deep Learning übertragen.

Wir wussten, dass die Elemente Zeit und Struktur (Netzwerke) für den Fortschritt in Richtung AGI entscheidend sein würden. Wir haben dies in einigen unserer Gründungsdokumente von 2020 niedergeschrieben.

Können Sie uns durch die “post-Transformer”-Architektur führen, die Sie einführen, und wie sie sich von aktuellen Transformer-basierten Systemen unterscheidet?

Unsere neue Architektur, die als Baby Dragon Hatchling (BDH) bezeichnet wird, verbindet formal, wie Transformer Informationen verarbeiten, mit der Art und Weise, wie Vernunft im Gehirn entsteht.

BDH verhält sich wie ein physikalisches System: ein gehirnartiges Rechenmodell, bei dem Neuronen gemeinsam daran arbeiten, die nächste, relevanteste Tatsache zu entdecken. Kontextuelle Vernunft ist nicht durch technische Einschränkungen begrenzt, wie die feste Kontextlänge des Transformers, sondern skaliert mit der Anzahl der Neuronen des Modells.

Wenn man all dies in technischer Hinsicht ausdrückt, haben wir in BDH im Gegensatz zum Transformer lineare Aufmerksamkeit, sparse Schlüssel-Abfrage-Vektoren und keine Grenzen für die Kontextfenstergröße.

Dieser Ansatz öffnet die Tür zu Systemen, die während der Ausführung lernen, lange Ketten von Vernunft aufrechterhalten und kontinuierlich im Kontext anpassen.

Ein Kernmerkmal des Systems ist die Lokalität: wichtige Daten befinden sich direkt neben den Stellen, an denen sie verarbeitet werden. Dies minimiert die Kommunikation und eliminiert den schmerzhaftesten aller Flaschenhälse für Vernunftsmodelle während der Inferenz: die Bandbreite zwischen Speicher und Kern.

Wie zieht Ihr Ansatz Inspiration aus menschlicher Vernunft, insbesondere bei der Ermöglichung von Anpassungsfähigkeit und kontinuierlichem Lernen ohne erneutes Training?

BDH bringt natürliche Intelligenz und natürliche Intelligenz näher zusammen.

Diese Architektur ist inspiriert von der Art und Weise, wie Neuronen und Synapsen im Gehirn arbeiten. Sie kartiert biologische Aufmerksamkeitsmechanismen auf den computergestützten Begriff der Aufmerksamkeit in der maschinellen Lerntheorie, wodurch eine skalierbare Brücke zwischen Transformern und dem Gehirn entsteht.

BDH bringt die Aufmerksamkeit nahe an die Modellparameter heran, indem es sie als zwei Reflexionen der gleichen gehirnartigen Systemdynamik darstellt, wobei die Aufmerksamkeit sich schnell ändert, wenn neue Tatsachen während der Vernunft bekannt werden, und die Modellparameter sich langsamer ändern, wenn das System seine langfristigen Gewohnheiten ändert. Dies ist näher an der Art und Weise, wie wir glauben, dass Vernunft im Gehirn funktioniert.

Wir sehen BDH als einen Meilenstein auf dem Weg zur Entwicklung von KI-Systemen, die während der Aufgabe vernünftig sind, sich mit Erfahrung verbessern und ohne erneutes Training anpassen – Eigenschaften, die wir mit menschlicher Vernunft assoziieren.

Eine der Herausforderungen in der KI ist es, Stabilität mit Anpassungsfähigkeit in Einklang zu bringen – wie stellen Sie sicher, dass Systeme in Echtzeit lernen können, ohne ihr vorheriges Wissen zu verlieren?

BDH verlässt sich auf seine skalenfreie Struktur und lokalisierte Neuronen-Zustände, um Vernunft über lange Zeiträume hinweg aufrechtzuerhalten, wobei es ein Gleichgewicht zwischen Stabilität und der Fähigkeit schafft, neue Erkenntnisse und Beobachtungen zu integrieren. Diese natürliche Gesundheitsbalance ist leicht zu extrahieren und zu verfolgen, während der Lebensdauer eines Modells.

Mit BDH setzen wir Vernunft als Eckpfeiler der Intelligenz. Mit der aktuellen Arbeit machen wir Fortschritte bei einer Hypothese über die Rolle von Wissen in großen Sprachmodellen: es geht nicht so sehr darum, was “wahr” ist, sondern was in einem bestimmten Kontext “nützlich” ist, um in einer bestimmten Vernunfts-Kette voranzukommen. Zum Beispiel gibt es keinen Widerspruch zwischen unserer Welt, die den Gesetzen der Natur folgt, und der Tatsache, dass wir eine Volksweisheit kennen, die die Existenz von Feen und Magie zulässt. Ebenso gibt es keinen Widerspruch für ein Modell, das mehrere unterschiedliche Prognose-Hypothesen mit mehr oder weniger optimistischen Annahmen in einer einzigen Gedanken-Kette berücksichtigt.

Modelle, die auf BDH basieren, erwerben neue Tatsachen während ihrer Lebensdauer auf kontextualisierte Weise. Sie können sich selbst korrigieren, weil sie dies tun. Durch die Darstellung leicht zu verfolgender Statistiken der Neuronen-Aktivität und granularer Kontrolle über den Wissenstransfer aus dem Kontext in die Modellparameter hilft die Architektur, das Risiko “veralteter” Kontexte, die zu einem unpassenden Zeitpunkt wieder auftauchen, zu verringern.

Was sind die technischen Kompromisse beim Bau einer Live-Daten-Verarbeitungs-Engine, die diese Fähigkeiten im großen Maßstab aufrechterhalten kann?

Das Enterprise-Angebot von Pathway basiert auf der schnellsten Daten-Verarbeitungs-Engine auf dem Markt. Diese Engine bildet die Grundlage für unsere Fähigkeit, Echtzeit-Eingaben zu verarbeiten und auf neue Informationen mit geringer Latenz zu reagieren. Mit dem aktuellen Durchbruch bei BDH stellen wir sicher, dass diese Echtzeit-Anpassungsfähigkeit sich bis hin zu den grundlegenden KI-Modellen erstreckt, die in Deployments verwendet werden. Unser übergeordnetes Ziel für große Deployments ist es, sich von statischer Optimierung wegzubewegen und Infrastruktur aufzubauen, die lange Zeiträume der Vernunft bewältigen kann.

Welche sind die überzeugendsten Anwendungsfälle, die wirklich diese nächste Stufe der KI erfordern, und wo fallen aktuelle Transformer-basierte Systeme kurz?

Viele Innovationen haben die Funktionalität von generativer KI erweitert, um schnell auf neue Informationen zu reagieren und tief auf “Zeit auf der Aufgabe” zu vertrauen, aber nichts hat bisher eine hochtalentierte Person ersetzen können.

Die sehr schnelle und direkte Antwort ist, dass wir über Aufgaben sprechen, die derzeit mehr als 2 Stunden und 17 Minuten kohärenter Arbeit durch einen menschlichen Experten erfordern. Dies ist die aktuelle Grenze von GPT5 gemäß METER.

Wir haben großartige Diskussionen mit Design-Partnern im Unternehmen geführt, die tiefe Personalisierung, Modelle, die auf der Aufgabe lernen, und die Sicherheit der Bereitstellung erfordern.

BDH macht es relativ einfach für ein Unternehmen, hochkomplexe Prozesse wie:

• Ein Quartal für ein öffentliches Unternehmen abschließen
• Dynamische Erzeugung des nächsten besten Verlaufs in hochriskanten Umgebungen, was sowohl im Vertrieb als auch in der Verteidigung hoch relevant ist.
• Investitionsmanagement

Die NATO nutzt bereits Pathways Technologie, um Live-Militär- und Sozialdaten zu verarbeiten, wodurch Planungssysteme entstehen, die sich anpassen, während sich Situationen entwickeln. La Poste nutzt Pathways Live-KI, um ihre Betriebe in Echtzeit dynamisch zu verwalten. Branchen wie Finanzen und Gesundheitswesen, in denen Daten knapp oder sensibel sind, können von Modellen profitieren, die weniger Daten erfordern, aber tiefere Einblicke und zuverlässigere Urteile liefern.

Können Sie Beispiele dafür nennen, wie Organisationen wie die NATO, La Poste oder Formula 1 Ihre Technologie angewendet haben und welche Auswirkungen sie hatten?

Die NATO, La Poste und Formula-1-Teams sind bereits frühe Anwender von Pathway-Technologie.

Pathway bietet der NATO robuste und innovative Daten-Verarbeitungstechnologie, um neue Fähigkeiten für kritische Anwendungen im großen Maßstab zu ermöglichen. Mit unserem funktionalen Demonstrator, dem Reinforcement Enablement Simulation Tool (REST), haben wir den Eckpfeiler für die weitere Entwicklung von KI-gestützten Lösungen für die NATO entwickelt. Durch die Verbindung von Open-Source-Daten mit Pathway haben wir das situative Bewusstsein beschleunigt und es auf das erforderliche Niveau gebracht, das die NATO benötigte, um erfolgreich in den 2020er Jahren zu operieren.

La Poste nutzt Pathway, um Prozesse im Zusammenhang mit ihren Transporteinheiten zu verbessern. Mit dem Pathway-Framework kann La Poste ihre Betriebe automatisch in Echtzeit vorhersagen und Live-Qualitätsanalysen ihrer Transport-Betriebe generieren. Mit Pathway konnte das Unternehmen seine Logistik dynamisch optimieren, ETAs, Verarbeitungszeiten / Leadzeiten reduzieren und die Zuverlässigkeit erhöhen. Darüber hinaus erzielte es erhebliche Reduzierungen der Betriebskosten (50% Reduzierung der TCO in einigen Fällen).

Das Formula-1-Racing-Team nutzt Pathway, um seine Strategie unter Hochdruck-Bedingungen in Echtzeit anzupassen. Das Unternehmen wollte eine Plattform für Endbenutzer, um benutzerdefinierte Funktionen (UDFs) unabhängig zu erstellen und verschiedene Geschäftsanforderungen von E-Sport/Sim-Racing bis hin zu Autos und Formel-Rennen zu bedienen. Pathways Live-Daten-Framework ermöglicht erweiterte Daten-Transformationen bei Formula-1-Teams mit der niedrigsten Latenz (90-mal schnellere Verarbeitungsgeschwindigkeiten als zuvor).

Was sind die größten Hindernisse für die Bereitstellung adaptiver Systeme in Branchen wie Gesundheitswesen oder Verteidigung, und wie gehen Sie darauf ein?

Durch Design generieren aktuelle LLMs Inhalte, die “neu” sind, ohne echtes Urteil – nennen wir es das “Gen” in Gen-KI. Viele hoch regulierte Branchen benötigen Regierungsführung per Definition und sind zögerlich, KI-gesteuerte Geschäftsprozesse ohne Wiederholbarkeit, Vertrauen und Beobachtbarkeit zu deployen. Ironischerweise deployen diese Unternehmen oft “dumme” Funktionalitäten und führen zusätzliche Komplexität ein, um die Einhaltung von Vorschriften zu erleichtern.

Durch Design ermöglicht BDH es einem Unternehmen, zu beobachten und sich an das zu adaptieren, was innerhalb des Modells passiert. Diese Beobachtbarkeit über lange Zeiträume der “Vernunft” gibt dem Unternehmen das Vertrauen, umfangreichere und komplexere Geschäftsprozesse zu bewältigen. BDH ist per Design sowohl beobachtbar als auch zeitachse-bewusst. Kein Bedarf an perfekten, enormen Datensätzen für das Lernen, kein Bedarf an extrem langen Kontextfenstern oder Klebe-Logik für Beobachtbarkeit.

Welche ethischen Überlegungen oder Sicherheitsvorkehrungen sind entscheidend, wenn KI-Systeme in Echtzeit lernen und sich anpassen?

Systeme, die mit Erfahrung lernen, haben tatsächlich bessere Chancen, sicher zu sein, als die aktuellen Transformer-basierten. Ein Element davon ist die Tatsache, dass sie mit kontinuierlichem Lernen die Chance haben, sich selbst zu korrigieren und ihre Vorannahmen zu aktualisieren, wenn sie falsch waren.

Um die Sicherheit solcher Systeme zu gewährleisten, benötigen sie Feedback über die Zeit. Was bedeutet, dass wir sie kontinuierlich mit frischen Daten füttern und potenziell Feedback-Schleifen für sie bereitstellen müssen, damit sie die Auswirkungen ihrer eigenen Funktionsweise verstehen. Dies ist nahe an Reinforcement-Learning.

Zweitens bietet ein Modell, das auf BDH basiert, Interpretierbarkeit, was es Menschen einfacher macht, zu verstehen, wie es funktioniert, und ihnen eine bessere Kontrolle darüber gibt.

Was würde es brauchen, damit ein “post-Transformer”-Paradigma mainstream in der KI-Gemeinschaft wird?

Ein Modell auf dem Markt, das extrem nützlich ist und deutlich geringere Inferenzkosten hat und schneller ist. Wir glauben, dass es einen Markterfolg zu erzielen gibt, insbesondere im Unternehmen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Pathway besuchen.