Financiering

Pathway Haalt Nieuwe Financiering Binnen bij een Waardering van $500 Miljoen om Post-Transformer AI te Schalen

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

AI-onderzoeksbedrijf Pathway heeft aanvullende financiering ontvangen bij een $500 miljoen waardering, waardoor de totale seedfinanciering $30 miljoen bedraagt, terwijl het bedrijf zich voorbereidt om een nieuwe generatie modellen te schalen die zijn gebouwd rond zijn post-Transformer-architectuur.

De financiering omvat deelname van Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital en WS Investment Co., de investeringsarm van Wilson Sonsini, naast Databricks Chief AI Scientist Jonathan Frankle. Pathway zegt dat een groot deel van het nieuwe kapitaal zal worden gebruikt om de rekenkracht uit te breiden, waaronder NVIDIA GB300-systemen.

De investering komt samen met nieuwe resultaten voor Pathway’s BDH-CQ-reasoningmodel, waardoor de financiering een meer concreet technisch kader krijgt dan de steeds vaker gemaakte belofte om alleen maar grotere foundation-modellen te bouwen. Pathway zegt dat zijn 150-miljoen-parametermodel 29,5% scoorde op de openbare ARC-AGI-1-evaluatieset bij een berekende inferentiekost van slechts $0,0007 per taak.

Financiering Arriveert als Pathway Inzet op een Alternatief voor de Dominante Schalingsstrategie van de Industrie

Een groot deel van de huidige frontier-modelrace heeft zich gericht op schaal: grotere clusters, meer trainingsdata, meer parameters en steeds meer test-tijdrekenkracht. Pathway kiest voor een andere aanpak, waarbij wordt betoogd dat sommige van de industrie’s kosten- en geheugenbeperkingen architectonisch zijn en niet problemen die oneindig kunnen worden opgelost door meer rekenkracht toe te voegen.

Die these staat centraal in zijn BDH, of Dragon Hatchling, architectuur. Pathway beschrijft BDH als een post-Transformer-ontwerp dat bedoeld is om redenering, geheugen en aanpassing binnen het model zelf te combineren, in plaats van voornamelijk te vertrouwen op een uitbreidende contextwindow of externe geheugensystemen.

De architectuur put uit ideeën zoals persistente staat, schaarse activiteit, lokale interacties en voortdurende aanpassing. Pathway beschrijft het ontwerp als biologisch geïnspireerd, in plaats van een poging om direct te reproduceren hoe de hersenen werken.

De nieuwe financiering geeft het bedrijf extra middelen om te testen of die kenmerken blijven bestaan als BDH-modellen aanzienlijk groter worden.

Pathway voegt ook Adam Kurzrok toe als Chief Product Officer. Kurzrok was eerder Group Product Manager voor Gemini bij Google DeepMind en zal de productrichting leiden rondom het verpakken, evalueren en implementeren van BDH-gebaseerde modellen.

Het bedrijf formaliseert ook een adviesgroep die bestaat uit Transformer-co-uitvinder Łukasz Kaiser, Frankle, NYU-hoogleraar Martín Farach-Colton en econoom Jacques Attali.

Wat Maakt BDH-CQ Anders

BDH-CQ is een uitbreiding van de bredere BDH-architectuur, ontworpen rond in-context leren en recurrente latentie-redenering.

In plaats van een model te vereisen om veel van zijn tussenliggende redenering als gegenereerde tekst uit te drukken, voert BDH-CQ iteratieve berekeningen uit binnen een continue latentie-werkruimte. Voorbeelden die tijdens inferentie worden geleverd, werken een recurrente geheugenstaat bij, waarna het systeem intern door het nieuwe probleem heen werkt voordat het zijn antwoord decodeert. De parameters van het model blijven tijdens dit proces ongewijzigd.

Dit is belangrijk omdat token-gebaseerde redenering duur kan worden als redeneringssporen langer worden. In conventionele chain-of-thought-benaderingen worden tussenliggende stappen sequentieel gegenereerd en vervolgens teruggevoerd in latere stadia van het redeneringsproces.

BDH-CQ is ontworpen om meer van die berekening binnen zijn interne staat te houden, in plaats van voortdurend tussenliggende redenering te vertalen in taal.

Het onderscheid betekent niet dat taalgebaseerde redenering inherent verouderd is. Pathway test liever of sommige redeneringswerklasten efficiënter kunnen worden afgehandeld zonder dat elke tussenliggende berekening hoeft te worden geserialiseerd als tekst.

ARC-AGI-resultaten Zetten KostenEfficiëntie Centraal

Het meest opvallende resultaat dat de financiering begeleidt, komt van ARC-AGI-1, een benchmark die is ontworpen om te testen of AI-systemen transformaties kunnen afleiden uit een klein aantal voorbeelden en die regels kunnen toepassen op ongezien invoer.

Pathway’s 150-miljoen-parameter BDH-CQ behaalde 29,5% pass@2 over de 400-taak openbare ARC-AGI-1-evaluatieset.

De technische evaluatie schat dat elke taak ongeveer 0,85 seconden NVIDIA H200-GPU-tijd vereiste, overeenkomend met een berekende kost van ongeveer $0,00070 per taak bij een veronderstelde H200-kost van $3 per GPU-uur.

Pathway stelt dat dit BDH-CQ voorbij de eerder gerapporteerde kost-versus-accuracypareto-voorgrond voor ARC-AGI-1 plaatst.

De betekenis ligt niet in het feit dat het 150-miljoen-parametermodel nu de hoogste absolute ARC-score heeft. Sommige grotere redeneringsystemen scoren hoger. In plaats daarvan richt Pathway zich op hoeveel redeneringsprestaties het model kan leveren voor elke dollar aan inferentie-uitgaven.

Dit kan steeds belangrijker worden als bedrijven AI van incidentele chatbot-interacties naar agenten en andere systemen verplaatsen die mogelijk een groot aantal redeneringsoperaties voortdurend uitvoeren.

De Technische Resultaten Laten Ook Zien Waar BDH-CQ Moeite Met Heeft

De bredere evaluatie presenteert een meer genuanceerd beeld dan de kopregelbenchmark.

Bij ConceptARC, die redeneringsproblemen in verschillende conceptuele categorieën splitst, varieerde de prestaties van BDH-CQ aanzienlijk. Het presteerde bijzonder goed bij verschillende taken die grensverlenging en het onderscheiden van gevulde van ongevulde gebieden betroffen, terwijl gebieden die kopiëren en ordenen betroffen, moeilijker bleken.

Gecontroleerde experimenten produceerden een vergelijkbaar patroon.

Grenspropagatie en kopiëren bleven nauwkeurig toen deze operaties binnen de geteste bereiken werden uitgebreid. De prestaties verslechterden aanzienlijk toen ordeningsvolgorden langer werden. Geneste relationele problemen werden ook moeilijker toen de vereiste nestingsdiepte toenam.

De onderzoekers vonden ook dat het verstrekken van demonstraties dichter bij de complexiteit van het doelprobleem de prestaties in sommige gevallen aanzienlijk kon verbeteren, wat suggereert dat een deel van de beperking te maken heeft met hoe ver het systeem kan extrapoleren van de voorbeelden die het ontvangt.

Die zwakheden zijn belangrijk omdat ARC-AGI nog steeds een gespecialiseerde visuele redeneringsbenchmark is. Sterke kostenefficiëntie op ARC toont niet aan dat dezelfde architectuur general-purpose taalmodellen kan overtreffen in productieworkloads.

In plaats daarvan bieden de resultaten bewijs voor een smallere maar potentieel gevolgrijke gedachte: geavanceerde redeneringsmogelijkheden vereisen mogelijk niet altijd enorme parameteraantallen of lange sequenties gegenereerde redeneringstokens.

Pathway Bouwt Ook Infrastructuur voor Real-Time AI

Pathway’s werk gaat vooraf aan zijn push naar post-Transformer-modellen. Naast BDH ontwikkelt het bedrijf een dataprocessingframework gericht op streamingdata, real-time-analyse, grote taalmodeltoepassingen en retrieval-versterkte generatie.

Het platform is ontworpen om AI-systemen te helpen werken met informatie die voortdurend verandert, in plaats van te vertrouwen op statische datasets of periodiek opnieuw opgebouwde indexen.

Die infrastructuurachtergrond past nauw aan bij Pathway’s bredere onderzoeksrichting. De bestaande technologie van het bedrijf richt zich op het synchroniseren van AI-toepassingen met veranderende externe gegevens, terwijl BDH onderzoekt of persistente geheugen en aanpassing steeds meer eigenschappen van de modelarchitectuur zelf kunnen worden.

Dit kan van belang zijn voor AI-agenten en andere langlopende systemen die staat moeten behouden terwijl ze reageren op nieuwe informatie over langere perioden.

Wat Komt Er Hierna voor Pathway

Pathway heeft de intentie om het nieuwe kapitaal te gebruiken om de modelcapaciteit te vergroten en bredere, meer capabele BDH-gebaseerde systemen te trainen.

Hun roadmap omvat wiskundige redenering, ARC-AGI-2 en ARC-AGI-3, evenals de ontwikkeling van een groot taalmodel met latentie-redenering.

Het bedrijf zegt dat vroege pretraining-experimenten bij schaalniveaus variërend van 1 miljard tot 600 miljard parameters een soortgelijk schaalgedrag hebben getoond als dat van Transformer, terwijl het kenmerken behoudt die geassocieerd worden met BDH’s latentie-redeneringsaanpak.

Dit blijft een vroege indicatie, in plaats van bewijs dat de architectuurvoordelen zullen aanhouden bij grote, general-purpose modellen.

Pathway richt zich uiteindelijk op gebieden zoals financiële dienstverlening, gezondheidszorg en technologie, waar persistente geheugen, veranderende informatie en inferentiekosten kunnen worden van bijzonder belang als AI-systemen naar langere workflows gaan.

Voor nu vertegenwoordigt de $500 miljoen waardering een significante inzet op een alternatief voor de dominante schalingsstrategie van de industrie. De belangrijkste test zal komen als Pathway BDH verder ontwikkelt dan relatief beperkte redeneringsbenchmarks en aantoont of zijn architectuurvoordelen aanhouden over taal, wiskunde, agenten en real-world-toepassingen.

Antoine is een visionaire leider en medeoprichter van Unite.AI, gedreven door een onwankelbare passie voor het vormgeven en promoten van de toekomst van AI en robotica. Een serieondernemer, hij gelooft dat AI net zo disruptief voor de samenleving zal zijn als elektriciteit, en wordt vaak betrapt op het prijzen van de potentie van disruptieve technologieën en AGI.

Als een futurist, hij is toegewijd aan het onderzoeken van hoe deze innovaties onze wereld zullen vormgeven. Bovendien is hij de oprichter van Securities.io, een platform dat zich richt op het investeren in cutting-edge technologieën die de toekomst herdefiniëren en hele sectoren herschikken.