Pathway sichert neue Finanzierung in Höhe von 500 Millionen Dollar, um die post-Transformer-KI zu skalieren

Das KI-Forschungsunternehmen Pathway hat eine zusätzliche Finanzierung in Höhe von 500 Millionen Dollar gesichert, was die Gesamtförderung für seine Seed-Finanzierung auf 30 Millionen Dollar bringt, während es sich darauf vorbereitet, eine neue Generation von Modellen auf Basis seiner post-Transformer-Architektur zu skalieren.

Die Finanzierung umfasst die Beteiligung von Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital und WS Investment Co., der Investitionsarm von Wilson Sonsini, neben dem Chief AI Scientist von Databricks, Jonathan Frankle. Pathway sagte, dass ein Großteil des neuen Kapitals für die Erweiterung der Rechenkapazität, einschließlich NVIDIA GB300-Systemen, verwendet wird.

Die Investition erfolgt zeitgleich mit neuen Ergebnissen für Pathways BDH-CQ-Reasoning-Modell, was der Finanzierung einen konkreteren technischen Hintergrund gibt als die zunehmend übliche Aussage, einfach größere Grundmodelle zu bauen. Pathway sagt, dass sein 150-Millionen-Parameter-Modell 29,5 % auf dem öffentlichen ARC-AGI-1-Evaluierungssatz bei einem berechneten Inferenzkosten von nur 0,0007 $ pro Aufgabe erreicht hat.

Finanzierung arriveert, während Pathway gegen die brute-Force-Skalierung setzt

Ein Großteil des aktuellen Rennens um die Grenzmodelle konzentriert sich auf die Skalierung: größere Cluster, mehr Trainingsdaten, mehr Parameter und zunehmend mehr Testzeit-Computer. Pathway geht einen anderen Weg und argumentiert, dass einige der Kosten- und Speicherbeschränkungen der Branche architektonische Probleme sind, die nicht unendlich durch die Hinzufügung von mehr Rechenleistung gelöst werden können.

Diese These steht im Mittelpunkt seiner BDH- oder Dragon-Hatchling-Architektur. Pathway beschreibt BDH als eine post-Transformer-Entwurf, der darauf abzielt, Reasoning, Speicher und Anpassung innerhalb des Modells selbst zu kombinieren, anstatt hauptsächlich auf ein expandierendes Kontextfenster oder externe Speichersysteme zu vertrauen.

Die Architektur basiert auf Ideen wie persistentem Zustand, spärlicher Aktivität, lokalen Interaktionen und kontinuierlicher Anpassung. Pathway beschreibt den Entwurf als biologisch inspiriert, anstatt einen Versuch, direkt zu reproduzieren, wie das Gehirn funktioniert.

Die neue Finanzierung gibt dem Unternehmen zusätzliche Ressourcen, um zu testen, ob diese Eigenschaften auch dann bestehen bleiben, wenn BDH-Modelle wesentlich größer werden.

Pathway stellt auch Adam Kurzrok als Chief Product Officer ein. Kurzrok war zuvor als Group Product Manager für Gemini bei Google DeepMind tätig und wird die Produktstrategie rund um die Verpackung, Bewertung und Bereitstellung von BDH-basierten Modellen leiten.

Das Unternehmen formalisiert auch eine Beratungsgruppe, der Transformer-Co-Erfinder Łukasz Kaiser, Frankle, der NYU-Professor Martín Farach-Colton und der Ökonom Jacques Attali angehören.

Was macht BDH-CQ unterschiedlich

BDH-CQ ist eine Erweiterung der breiteren BDH-Architektur, die für in-context-Lernen und rekurrente latente Reasoning konzipiert ist.

Anstatt zu verlangen, dass ein Modell viel seiner Zwischenreasoning als generierten Text ausdrückt, führt BDH-CQ iterative Berechnungen innerhalb eines kontinuierlichen latenten Arbeitsraums durch. Beispiele, die während der Inferenz bereitgestellt werden, aktualisieren einen rekurrenten Speicherzustand, wonach das System intern an der neuen Aufgabe arbeitet, bevor es seine Antwort dekodiert. Die Modellparameter bleiben während dieses Prozesses fest.

Dies ist wichtig, weil tokenbasierte Reasoning teuer werden kann, wenn Reasoning-Spuren verlängert werden. In herkömmlichen chain-of-thought-Ansätzen werden Zwischenschritte sequenziell generiert und dann in spätere Stadien des Reasoning-Prozesses zurückgeführt.

BDH-CQ ist darauf ausgelegt, mehr dieser Berechnungen innerhalb seines internen Zustands zu halten, anstatt kontinuierlich Zwischenreasoning in Sprache zu übersetzen.

Der Unterschied bedeutet nicht, dass sprachbasierte Reasoning inhärent veraltet ist. Vielmehr testet Pathway, ob einige Reasoning-Workloads effizienter ohne die Anforderung gehandhabt werden können, dass jeder Zwischenschritt als Text serialisiert werden muss.

ARC-AGI-Ergebnisse stellen KostenEffizienz in den Mittelpunkt

Das bemerkenswerteste Ergebnis, das mit der Finanzierung einhergeht, stammt von ARC-AGI-1, einem Benchmark, der testet, ob KI-Systeme Transformationen aus einer kleinen Anzahl von Beispielen ableiten und diese Regeln auf unbekannte Eingaben anwenden können.

Pathways 150-Millionen-Parameter-BDH-CQ erreichte 29,5 % Pass@2 auf dem 400-Aufgaben-öffentlichen ARC-AGI-1-Evaluierungssatz.

Die technische Bewertung schätzt, dass jede Aufgabe etwa 0,85 Sekunden NVIDIA H200-GPU-Zeit erforderte, was einem berechneten Kosten von etwa 0,0007 $ pro Aufgabe entspricht, wenn man von einem H200-Kosten von 3 $ pro GPU-Stunde ausgeht.

Pathway argumentiert, dass dies BDH-CQ jenseits der zuvor gemeldeten Kosten-Genauigkeits-Pareto-Grenze für ARC-AGI-1 stellt.

Die Bedeutung liegt nicht darin, dass das 150-Millionen-Parameter-System jetzt den höchsten absoluten ARC-Score hat. Einige größere Reasoning-Systeme erzielen höhere Scores. Stattdessen konzentriert sich Pathway darauf, wie viel Reasoning-Leistung das Modell für jeden Dollar Inferenz-Ausgaben liefern kann.

Dies könnte zunehmend wichtig werden, wenn Unternehmen KI von gelegentlichen Chatbot-Interaktionen zu Agenten und anderen Systemen verlagern, die möglicherweise eine große Anzahl von Reasoning-Operationen kontinuierlich durchführen.

Die technischen Ergebnisse zeigen auch, wo BDH-CQ Schwierigkeiten hat

Die breitere Bewertung präsentiert ein nuancierteres Bild als die Schlagzeilen-Benchmark.

Bei ConceptARC, das Reasoning-Probleme in verschiedene konzeptionelle Kategorien unterteilt, variierte die Leistung von BDH-CQ erheblich. Es zeigte eine besonders gute Leistung bei mehreren Aufgaben, die die Erweiterung von Grenzen und die Unterscheidung zwischen gefüllten und ungefüllten Bereichen beinhalteten, während Bereiche, die das Kopieren und Ordnen beinhalteten, schwieriger waren.

Kontrollierte Experimente produzierten ein ähnliches Muster.

Grenzpropagation und Kopieren blieben genau, als diese Operationen innerhalb der getesteten Bereiche erweitert wurden. Die Leistung verschlechterte sich erheblich, als die zu ordnenden Sequenzen länger wurden. Ebenso wurden verschachtelte relationale Probleme schwieriger, wenn die erforderliche Verschachtelungstiefe zunahm.

Die Forscher fanden auch heraus, dass die Bereitstellung von Beispielen, die näher an der Komplexität des Zielproblems lagen, die Leistung in einigen Fällen erheblich verbessern konnte, was darauf hindeutet, dass Teil der Einschränkung darin besteht, wie weit das System von den Beispielen extrapoliert, die es erhält.

Diese Schwächen sind wichtig, weil ARC-AGI ein spezialisierter visueller Reasoning-Benchmark bleibt. Eine starke Kosten-Effizienz bei ARC demonstriert nicht, dass die gleiche Architektur general-purpose-Sprachmodelle in Produktions-Workloads übertrifft.

Stattdessen liefern die Ergebnisse Beweise für eine engere, aber möglicherweise folgenreiche Idee: Fortgeschrittene Reasoning-Fähigkeiten erfordern möglicherweise nicht immer massive Parameterzahlen oder lange Sequenzen von generierten Reasoning-Tokens.

Pathway baut auch Infrastruktur für Echtzeit-KI

Pathways Arbeit predatiert seine Bemühungen um post-Transformer-Modelle. Neben BDH entwickelt das Unternehmen ein Datenverarbeitungs-Framework für Streaming-Daten, Echtzeit-Analytics, große Sprachmodell-Anwendungen und retrieval-augmentierte Generierung.

Die Plattform soll KI-Systemen helfen, mit Informationen zu arbeiten, die kontinuierlich ändern, anstatt sich ausschließlich auf statische Datensätze oder periodisch neu aufgebaute Indizes zu verlassen.

Diese Infrastruktur-Hintergrund passt eng mit Pathways Forschungsrichtung zusammen. Seine bestehende Technologie konzentriert sich auf die Synchronisierung von KI-Anwendungen mit ändernden externen Daten, während BDH erforscht, ob persistenter Speicher und Anpassung zunehmend Eigenschaften der Modellarchitektur selbst werden können.

Dies könnte für KI-Agenten und andere lang laufende Systeme wichtig sein, die Zustand beibehalten müssen, während sie auf neue Informationen über einen längeren Zeitraum reagieren.

Was kommt als Nächstes für Pathway

Pathway beabsichtigt, das neue Kapital zu verwenden, um die Modellkapazität zu erhöhen und umfassendere BDH-basierte Systeme zu trainieren.

Ihr Roadmap umfasst mathematische Reasoning, ARC-AGI-2 und ARC-AGI-3 sowie die Entwicklung eines großen Sprachmodells mit latentem Reasoning.

Das Unternehmen sagt, dass frühe Vortrainings-Experimente bei Skalen von 1 Milliarde bis 600 Milliarden Parametern Transformer-ähnliches Skalierungsverhalten gezeigt haben, während sie Merkmale beibehalten, die mit dem latenten Reasoning-Ansatz von BDH assoziiert sind.

Dies bleibt ein frühes Anzeichen und kein Beweis, dass die Vorteile der Architektur über große, allgemeine Modelle bestehen bleiben.

Pathway zielt letztendlich auf Bereiche wie Finanzdienstleistungen, Gesundheitswesen und Technologie ab, in denen persistenter Speicher, ändernde Informationen und Inferenzkosten besonders wichtig werden könnten, wenn KI-Systeme zu längeren Arbeitsabläufen übergehen.

Derzeit stellt die 500-Millionen-Dollar-Bewertung einen bedeutenden Einsatz für eine Alternative zur dominanten Skalierungsstrategie der Branche dar. Der wichtigere Test wird kommen, wenn Pathway BDH jenseits der relativ eingeschränkten Reasoning-Benchmarks vorantreibt und zeigt, ob seine architektonischen Vorteile über Sprache, Mathematik, Agenten und reale Anwendungen bestehen bleiben.