Zuzanna Stamirowska, Mitgründerin und CEO von Pathway – Interviewreihe

Zuzanna Stamirowska, Mitgründerin und CEO von Pathway, ist eine Forscherin, die zu einer Bauingenieurin wurde und zuvor an emergenten Phänomenen und der Evolution von großen Netzwerken arbeitete. Ihre Projekte wurden von der U.S. National Academy of Sciences anerkannt, und sie hält einen PhD in komplexen Systemen. Zuzanna leitet zusammen mit CTO Jan Chorowski und CSO Adrian Kosowski ein Team, das bereits offene AI-Tools mit über 62.000 Sternen auf GitHub gebaut hat.

Pathway stellt sich vor, wie AI-Modelle denken, mit dem Ziel, Systeme zu schaffen, die kontinuierlich und adaptiv anstelle von Batch-Verarbeitung arbeiten. Im Hintergrund ermöglichen ihre Werkzeuge und Architektur es Modellen, in Echtzeit zu verarbeiten, zu lernen und zu evolvieren. Das Unternehmen hat Unterstützung von Persönlichkeiten wie Lukasz Kaiser (Co-Erfinder von Transformers) und prominenten Venture-Firmen erhalten.

Was motivierte Sie, Pathway zu gründen, und wie hat Ihre Erfahrung in komplexen Systemen, Spieltheorie und emergenten Phänomenen die Vision und technische Richtung des Unternehmens geprägt?

Wir wollten AI schaffen, die wie Menschen denkt und sich anpasst. Wir erkannten, dass dies bedeutet, dass AI-Systeme (Deep-Learning-Modelle oder Machine-Learning-Pipelines, die aus einer größeren Anzahl von Bausteinen bestehen) in der Lage sein müssen, kontinuierlich basierend auf Daten aus der Umgebung zu lernen, sich mit Erfahrung zu verbessern und manchmal ihre vorherigen Ansichten der Welt zu “korrigieren”. Wir haben tatsächlich einige Berichterstattung über das Thema “Maschinelles Vergessen” erhalten. Neben den Modellen benötigten solche Systeme eine gesamte Schicht der Ingenieurwissenschaft, um Daten an der Quelle zu erfassen und sie sofort in dynamische Systeme einzuspeisen.

Nachdem ich an der Emergenz in komplexen Netzwerken gearbeitet hatte, entwickelte ich eine Reihe von Hypothesen, die wir letztendlich direkt oder fast direkt in BDH anwendeten. Es ist lustig, dass ich mit meinen Kollegen (Adrian, CSO, und Jan, CTO) ein paar Wetten abgeschlossen habe und ein paar Flaschen sehr guten Cognac gewonnen habe. Erstens glaubten wir, dass natürliche Intelligenz das Ergebnis einer emergenten Struktur und Aktion von Neuronen im Gehirn ist (das ist offensichtlich, keine Wette hier). Zweitens wusste ich aus meiner vorherigen Forschung, dass im Allgemeinen die Funktion das Netzwerk formt (habe diese Wette gewonnen). In meiner vorherigen Arbeit entdeckte ich dies für den Handel, und Neuroscientisten hatten dies für Nerven und Sinne bei Mäusen usw. untersucht. Drittens war die Tatsache, dass diese Formung der Netzwerkstruktur bestimmten sehr lokalen Regeln folgen muss, die direkt mit dem sogenannten “Nachbarschaftsgebiet” jedes Netzwerkpunkts (in diesem Fall ein Knoten ist ein Neuron) verknüpft sind (habe diese Wette gewonnen). Die anderen Aspekte kamen aus meinem Wissen über Teilchen-Wechselwirkungssysteme – denken Sie beispielsweise an Magnetismus – wo Teilchen ihre Spins an ein externes Feld anpassen und eine Art von “spontaner Ordnung” schaffen. Dies war die Art von Mathematik, die ich bei der Arbeit an der Spieltheorie auf Graphen verwendet habe. Wenn man all dies zusammenfügt, hatten wir von dem ersten Tag an, an dem das Unternehmen existierte, eine starke Überzeugung, dass Sparheit (graphenartige Strukturen) ein wichtiger Schritt bei der Weiterentwicklung von KI sein würde.

Die Berücksichtigung einer Vorstellung von Zeit war entscheidend und auch ziemlich charakteristisch für meine Erfahrung, da Emergenz normalerweise über die Zeit hinweg auftritt.

Als Sie das Unternehmen 2020 gründeten, welche waren Ihre frühesten Hypothesen darüber, was zukünftige AI-Systeme anders machen sollten, und wie haben sich diese Ansichten entwickelt?

Wir hatten von Anfang an die starke Überzeugung, dass AI lebendig, adaptiv und in großen Prozessen integriert sein sollte. Es sollte direkt aus der Quelle lernen, mit den rohesten Daten möglich.

Zuerst haben wir dies für klassische Machine-Learning-Ansätze gemacht und auf dem Weg dorthin Schichten der Ingenieurwissenschaft aufgebaut, die es ermöglichen, solche Systeme leicht in der realen Welt zu deployen. Jetzt haben wir diesen Ansatz auf Deep Learning übertragen.

Wir wussten, dass die Elemente Zeit und Struktur (Netzwerke) entscheidend für den Fortschritt hin zu AGI sein würden. Wir haben dies in einigen unserer Gründungsdokumente von 2020 festgehalten.

Können Sie uns durch die “post-Transformer”-Architektur führen, die Sie einführen, und wie sie sich von aktuellen Transformer-basierten Systemen unterscheidet?

Unsere neue Architektur, genannt Baby Dragon Hatchling (BDH), verbindet formal, wie Transformer Informationen verarbeiten, mit der Art und Weise, wie Vernunft im Gehirn entsteht.

BDH verhält sich wie ein physikalisches System: ein gehirnartiges Rechenmodell, in dem Neuronen gemeinsam daran arbeiten, den nächsten relevanten Fakt zu entdecken. Kontextuelle Vernunft ist nicht durch ingenieurtechnische Einschränkungen begrenzt, wie die feste Kontextlänge des Transformers, sondern skaliert mit der Anzahl der Neuronen des Modells.

Wenn man all dies in technischen Begriffen ausdrückt, haben wir im Gegensatz zum Transformer in BDH lineare Aufmerksamkeit, sparse Schlüssel-Abfrage-Vektoren und keine Grenzen für die Kontextfenstergröße.

Dieser Ansatz öffnet die Tür zu Systemen, die lernen, während sie arbeiten, lange Ketten von Vernunft aufrechterhalten und kontinuierlich in Kontext anpassen.

Ein Kernmerkmal des Systems ist die Lokalität: wichtige Daten sind direkt neben den Stellen, an denen sie verarbeitet werden, zu finden. Dies minimiert die Kommunikation und eliminiert den schmerzhaftesten Engpass für Vernunftsmodelle während der Inferenz: die Bandbreite zwischen Speicher und Kern.

Wie zieht Ihr Ansatz Inspiration aus menschlicher Vernunft, insbesondere bei der Ermöglichung von Anpassungsfähigkeit und kontinuierlichem Lernen ohne erneutes Training?

BDH bringt natürliche Intelligenz und natürliche Intelligenz näher zusammen.

Diese Architektur ist inspiriert von der Art und Weise, wie Neuronen und Synapsen im Gehirn arbeiten. Sie kartiert biologische Aufmerksamkeitsmechanismen auf den computergestützten Begriff der Aufmerksamkeit in der maschinellen Lerntheorie, wodurch eine skalierbare Brücke zwischen Transformers und dem Gehirn entsteht.

BDH bringt Aufmerksamkeit nahe an die Modellparameter heran, indem es sie als zwei Reflexionen desselben gehirnartigen Systemdynamik darstellt, wobei die Aufmerksamkeit sich schnell ändert, wenn neue Fakten während der Vernunft bekannt werden, und die Modellparameter sich langsamer ändern, wenn das System seine langfristigen Gewohnheiten ändert. Dies ist näher an der Art und Weise, wie wir glauben, dass Vernunft im Gehirn arbeitet.

Wir sehen BDH als einen Meilenstein bei der Gestaltung von AI-Systemen, die während der Aufgabe vernünftig sind, sich mit Erfahrung verbessern und ohne erneutes Training anpassen – Eigenschaften, die wir mit menschlicher Vernunft assoziieren.

Eines der Herausforderungen in der KI ist es, Stabilität mit Anpassungsfähigkeit in Einklang zu bringen – wie stellen Sie sicher, dass Systeme in Echtzeit lernen können, ohne vergangenes Wissen zu verlieren?

BDH verlässt sich auf seine skalenfreie Struktur und lokalisierte Neuronenzustände, um Vernunft über lange Zeithorizonte aufrechtzuerhalten, wobei es Stabilität und die Fähigkeit ausgleicht, neues Wissen und Beobachtungen zu integrieren. Diese natürliche Gesundheitsbalance ist leicht zu extrahieren und über die Lebensdauer eines Modells zu verfolgen.

Mit BDH stellen wir Vernunft als Eckpfeiler der Intelligenz in den Vordergrund. Mit der aktuellen Arbeit machen wir Fortschritte bei einer Hypothese über die Rolle von Wissen in großen Sprachmodellen: es geht nicht so sehr darum, was “wahr” ist, sondern was in einem bestimmten Kontext “nützlich” ist, um in einer bestimmten Kette von Vernunft fortzuschreiten. Zum Beispiel gibt es, wenn Wissen kontextualisiert wird, plötzlich keine Widersprüche zwischen unserer Welt, die den Gesetzen der Natur folgt, und der Tatsache, dass wir eine Volkssage kennen, die die Existenz von Feen und Magie zulässt. Ebenso gibt es für ein Modell, das mehrere verschiedene Prognosehypothesen mit mehr oder weniger optimistischen Annahmen in einer einzigen Kette von Gedanken betrachtet, keine Widersprüche.

Modelle, die auf BDH basieren, erwerben neue Fakten während ihrer Lebensdauer auf kontextualisierte Weise. Sie können sich selbst korrigieren, weil sie dies tun. Durch die Bereitstellung leicht zu verfolgender Statistiken der Neuronenaktivität und granularer Kontrolle über den Wissens-transfer aus dem Kontext in die Modellparameter hilft die Architektur, das Risiko zu mindern, dass “veraltete” Kontexte zu einem unpassenden Zeitpunkt wieder auftauchen.

Was sind die ingenieurtechnischen Kompromisse beim Aufbau eines Live-Datenverarbeitungsmotors, der diese Fähigkeiten im großen Maßstab aufrechterhalten kann?

Das Unternehmensangebot von Pathway basiert auf dem schnellsten Datenverarbeitungsmotor auf dem Markt. Dieser Motor ermöglicht es uns, Echtzeit-Eingaben zu verarbeiten und auf neue Informationen mit geringer Latenz zu reagieren. Mit dem aktuellen Durchbruch bei BDH stellen wir sicher, dass diese Echtzeit-Anpassungsfähigkeit sich bis hin zu den grundlegenden KI-Modellen erstreckt, die in Deployments verwendet werden. Unser übergeordnetes Ziel für große Deployments ist es, von statischer Optimierung weg zu einer Infrastruktur zu gelangen, die langfristige Vernunft verarbeiten kann.

Welche sind die überzeugendsten Anwendungsfälle, die wirklich diese nächste Stufe der KI erfordern, und wo fallen aktuelle Transformer-basierte Systeme kurz?

Viele Innovationen haben die Funktionalität von generativer KI erweitert, um schnell auf neue Informationen zu reagieren und tief auf “Zeit auf der Aufgabe” zu vertrauen, aber nichts hat bisher einen hochtalentierten Menschen ersetzen können.

Die sehr schnelle und einfache Antwort ist, dass wir über Aufgaben sprechen, die derzeit mehr als 2 Stunden und 17 Minuten kohärenter Arbeit durch einen menschlichen Experten erfordern. Dies ist die aktuelle Grenze von GPT5 gemäß METER.

Wir haben großartige Diskussionen mit Designpartnern im Unternehmen geführt, die tiefgreifende Personalisierung, Modelle, die auf der Arbeit lernen, von seltenen Daten und der Sicherheit der Bereitstellung benötigen.

BDH macht es relativ einfach für ein Unternehmen, hochkomplexe Prozesse wie:

• Das Abschließen eines Quartals für ein öffentliches Unternehmen
• Die dynamische Generierung des nächsten besten Kurses von Aktionen in hochriskanten Umgebungen ist in Vertrieb und Verteidigung sehr relevant.
• Investitionsmanagement

Die NATO nutzt bereits Pathways Technologie, um Live-Militär- und Sozialdaten zu verarbeiten, wodurch Planungssysteme entstehen, die sich anpassen, wenn sich Situationen entwickeln. La Poste nutzt Pathways Live-KI, um ihre Betriebe in Echtzeit dynamisch zu verwalten. Branchen wie Finanzen und Gesundheitswesen, in denen Daten knapp oder sensibel sind, können von Modellen profitieren, die weniger Daten benötigen, aber tiefere Einblicke und zuverlässigere Urteile liefern.

Können Sie Beispiele dafür nennen, wie Organisationen wie die NATO, La Poste oder Formula 1 Ihre Technologie angewendet haben und welche Auswirkungen sie hatte?

Die NATO, La Poste und Formula-1-Teams sind bereits frühe Anwender von Pathway-Technologie.

Pathway bietet der NATO robuste und innovative Datenverarbeitungstechnologie, um neue Fähigkeiten für kritische Anwendungen im großen Maßstab zu ermöglichen. Mit unserem funktionalen Demonstrator, dem Reinforcement Enablement Simulation Tool (REST), haben wir den Eckpfeiler für die weitere Entwicklung von KI-gestützten Lösungen für die NATO entwickelt. Durch die Verbindung von Open-Source-Daten mit Pathway hat die NATO die situative Aufmerksamkeit beschleunigt und auf das notwendige Level gebracht, das erforderlich war, um erfolgreich in den 2020er Jahren zu operieren.

La Poste nutzt Pathway, um Prozesse in Bezug auf ihre Transporteinheiten zu verbessern. Mit dem Pathway-Framework kann La Poste ihre Betriebe automatisch in Echtzeit vorhersagen und generiert Live-Qualitätsanalysen ihrer Transportbetriebe. Mit Pathway konnte das Unternehmen seine Logistik dynamisch optimieren, ETAs, Verarbeitungszeiten / Leadzeiten reduzieren und die Zuverlässigkeit erhöhen. Darüber hinaus hat es erhebliche Reduzierungen der Betriebskosten (50% Reduzierung der Gesamtbetriebskosten in einigen Fällen) erzielt.

Das Formula-1-Renn-team nutzt Pathway, um Strategien unter Hochdruck und in Echtzeit anzupassen. Das Unternehmen wollte eine Plattform für Endbenutzer, um benutzerdefinierte Funktionen (UDFs) unabhängig zu erstellen und verschiedene Geschäftsanforderungen von E-Sport/Sim-Racing bis hin zu Autos und Formelrennen zu bedienen. Pathways Live-Daten-Framework ermöglicht fortschrittliche DatenTransformationen beim Formula-1-Renn-Team mit der niedrigsten Latenz (90-mal schnellere Verarbeitungsgeschwindigkeiten als zuvor).

Was sind die größten Hindernisse für die Bereitstellung adaptiver Systeme in Branchen wie Gesundheitswesen oder Verteidigung, und wie gehen Sie diese an?

Durch Design erzeugen aktuelle LLMs Inhalte, die “neu” sind, ohne echtes Urteil – nennen Sie es das “Gen” in Gen-AI. Viele hoch regulierte Branchen benötigen Regierungsführung durch Definition und sind zögerlich, AI-gesteuerte Geschäftsprozesse ohne Wiederholbarkeit, Vertrauen und Beobachtbarkeit bereitzustellen. Ironischerweise deployen diese Unternehmen oft “dumme” Funktionalität und introduzieren zusätzliche Komplexität, um die Einhaltung von Vorschriften zu erleichtern.

Durch Design ermöglicht BDH es einem Unternehmen, zu beobachten und auf das zu reagieren, was im Modell passiert. Diese Beobachtbarkeit über lange Zeiträume der “Vernunft” gibt dem Unternehmen das Vertrauen, längere, komplexere Geschäftsprozesse anzugehen. BDH ist durch Design sowohl beobachtbar als auch zeitachse-geschäftsprozess-bewusst. Kein Bedarf an perfekten, enormen Datensätzen für das Lernen, kein Bedarf an extrem langen Kontextfenstern oder Klebstoff-Logik für Beobachtbarkeit.

Welche ethischen Überlegungen oder Sicherheitsvorkehrungen sind wesentlich, wenn AI-Systeme in Echtzeit lernen und sich anpassen?

Systeme, die mit Erfahrung lernen, haben tatsächlich bessere Chancen, sicher zu sein als die aktuellen, auf Transformers basierenden. Ein Element davon ist die Tatsache, dass sie mit kontinuierlichem Lernen die Chance haben, sich selbst zu korrigieren und ihre Vorannahmen zu aktualisieren, wenn sie falsch waren.

Um die Sicherheit solcher Systeme zu gewährleisten, benötigen sie Feedback über die Zeit. Was bedeutet, dass wir sie kontinuierlich mit frischen Daten füttern und potenziell sicherstellen müssen, dass Feedback-Schleifen für sie vorhanden sind, um die Auswirkungen ihrer eigenen Funktionsweise zu verstehen. Dies ist nahe an Reinforcement Learning.

Zweitens bietet ein Modell, das auf BDH basiert, Interpretierbarkeit, was es Menschen ermöglicht, zu verstehen, wie es funktioniert, und gibt ihnen bessere Kontrolle darüber.

Was würde es brauchen, damit ein “post-Transformer”-Paradigma in der gesamten KI-Gemeinschaft zum Mainstream wird?

Ein Modell auf dem Markt, das extrem nützlich ist und erheblich geringere Inferenzkosten hat, während es schneller ist. Wir glauben, dass es einen Markterfolg zu erzielen gibt, insbesondere im Unternehmen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Pathway besuchen.