Pathway Mengumpulkan Dana Baru dengan Valuasi $500M untuk Mengembangkan AI Pasca-Transformer

Perusahaan riset AI Pathway telah mengamankan dana tambahan dengan valuasi $500 juta, membawa total pembiayaan benihnya menjadi $30 juta saat mereka mempersiapkan untuk mengembangkan generasi baru model yang dibangun di sekitar arsitektur pasca-Transformer.

Pembiayaan ini termasuk partisipasi dari Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital, dan WS Investment Co., anak perusahaan investasi Wilson Sonsini, bersama dengan Jonathan Frankle, Ilmuwan Utama AI Databricks. Pathway mengatakan sebagian besar modal baru akan digunakan untuk memperluas kapasitas komputasi, termasuk sistem NVIDIA GB300.

Investasi ini tiba bersama dengan hasil baru untuk model penalaran BDH-CQ Pathway, memberikan latar belakang teknis yang lebih konkret untuk pembiayaan daripada janji umum untuk membangun model dasar yang lebih besar. Pathway mengatakan model 150-juta-parameter mereka mencetak 29,5% pada set evaluasi ARC-AGI-1 publik dengan biaya inferensi yang dihitung sekitar $0,0007 per tugas.

Pembiayaan Tiba Saat Pathway Bertaruh Melawan Skala Brute-Force

Sebagian besar perlombaan model frontier saat ini berfokus pada skala: klaster yang lebih besar, lebih banyak data pelatihan, lebih banyak parameter, dan peningkatan jumlah komputasi waktu tes. Pathway mengambil pendekatan yang berbeda, berargumentasi bahwa beberapa keterbatasan biaya dan memori industri adalah masalah arsitektur daripada masalah yang dapat diselesaikan secara tidak terbatas dengan menambahkan lebih banyak komputasi.

Teori tersebut berada di pusat arsitektur BDH, atau Dragon Hatchling. Pathway menjelaskan BDH sebagai desain pasca-Transformer yang dimaksudkan untuk menggabungkan penalaran, memori, dan adaptasi dalam model itu sendiri daripada mengandalkan terutama pada jendela konteks yang diperluas atau sistem memori eksternal.

Arsitektur ini mengambil inspirasi dari ide-ide seperti keadaan yang bertahan, aktivitas yang jarang, interaksi lokal, dan penyesuaian terus-menerus. Pathway menjelaskan desain ini sebagai inspirasi biologis daripada upaya untuk mereproduksi secara langsung bagaimana otak bekerja.

Pembiayaan baru memberi perusahaan sumber daya tambahan untuk menguji apakah karakteristik tersebut terus berlaku ketika model BDH menjadi jauh lebih besar.

Pathway juga menambahkan Adam Kurzrok sebagai Chief Product Officer. Kurzrok sebelumnya menjabat sebagai Manajer Produk Grup untuk Gemini di Google DeepMind dan akan memimpin arah produk sekitar pengemasan, evaluasi, dan penerapan model berbasis BDH.

Perusahaan ini juga membentuk kelompok penasihat yang mencakup Łukasz Kaiser, co-penemu Transformer, Frankle, profesor NYU Martín Farach-Colton, dan ekonom Jacques Attali.

Apa yang Membuat BDH-CQ Berbeda

BDH-CQ adalah ekstensi dari arsitektur BDH yang lebih luas yang dirancang di sekitar pembelajaran konteks dan penalaran laten berulang.

Alih-alih memerlukan model untuk mengekspresikan sebagian besar penalaran intermediat sebagai teks yang dihasilkan, BDH-CQ melakukan komputasi iteratif di dalam ruang kerja laten yang kontinu. Contoh yang diberikan selama inferensi memperbarui keadaan memori berulang, setelah itu sistem bekerja melalui masalah baru secara internal sebelum mendekode jawabannya. Parameter model tetap tidak berubah selama proses ini.

Hal ini penting karena penalaran berbasis token dapat menjadi mahal ketika jejak penalaran memanjang. Dalam pendekatan rantai-pemikiran konvensional, langkah-langkah intermediat dihasilkan secara berurutan dan kemudian diberikan kembali ke tahap-tahap berikutnya dari proses penalaran.

BDH-CQ dirancang untuk menjaga lebih banyak komputasi tersebut di dalam keadaan internalnya daripada terus-menerus menerjemahkan langkah-langkah komputasi intermediat menjadi bahasa.

Perbedaan ini tidak berarti bahwa penalaran berbasis bahasa secara inheren sudah ketinggalan zaman. Sebaliknya, Pathway menguji apakah beberapa beban kerja penalaran dapat ditangani lebih efisien tanpa memerlukan setiap langkah komputasi intermediat untuk diserialkan sebagai teks.

Hasil ARC-AGI Menempatkan Efisiensi Biaya di Pusat

Hasil paling mencolok yang menyertai pembiayaan ini berasal dari ARC-AGI-1, sebuah benchmark yang dirancang untuk menguji apakah sistem AI dapat menginfer transformasi dari beberapa contoh dan menerapkan aturan tersebut ke input yang tidak terlihat.

Model BDH-CQ 150-juta-parameter Pathway mencapai 29,5% pass@2 di seluruh set evaluasi ARC-AGI-1 publik.

Evaluasi teknis memperkirakan bahwa setiap tugas memerlukan sekitar 0,85 detik waktu GPU H200 NVIDIA, sesuai dengan biaya yang dihitung sekitar $0,00070 per tugas ketika menganggap biaya H200 sekitar $3 per jam GPU.

Pathway berargumentasi bahwa ini menempatkan BDH-CQ di luar kurva Pareto biaya-akurasi yang sebelumnya dilaporkan untuk ARC-AGI-1.

Signifikansinya bukanlah bahwa sistem 150-juta-parameter sekarang memiliki skor ARC tertinggi. Beberapa sistem penalaran yang lebih besar mencetak skor lebih tinggi. Sebaliknya, Pathway fokus pada seberapa banyak kinerja penalaran yang dapat disampaikan model untuk setiap dolar pengeluaran inferensi.

Hal ini bisa menjadi semakin penting ketika perusahaan memindahkan AI dari interaksi chatbot yang jarang menjadi agen dan sistem lain yang mungkin melakukan sejumlah besar operasi penalaran secara terus-menerus.

Hasil Teknis Juga Menunjukkan Di Mana BDH-CQ Mengalami Kesusahan

Evaluasi yang lebih luas menyajikan gambaran yang lebih nuansa daripada benchmark utama.

Pada ConceptARC, yang memisahkan masalah penalaran menjadi kategori konseptual yang berbeda, kinerja BDH-CQ bervariasi secara signifikan. Ini berkinerja sangat baik pada beberapa tugas yang melibatkan ekstensi batas dan membedakan wilayah yang diisi dari wilayah yang tidak diisi, sementara area yang melibatkan penyalinan dan pengurutan terbukti lebih sulit.

Eksperimen yang dikendalikan menghasilkan pola yang sama.

Propagasi batas dan penyalinan tetap akurat ketika operasi tersebut diperluas dalam jangkauan yang diuji. Kinerja memburuk lebih signifikan ketika urutan pengurutan menjadi lebih panjang. Masalah relasional bersarang juga menjadi lebih menantang ketika kedalaman penyertaan yang diperlukan meningkat.

Peneliti juga menemukan bahwa memberikan demonstrasi yang lebih dekat dengan kompleksitas masalah target dapat secara substansial meningkatkan kinerja dalam beberapa kasus, menunjukkan bahwa sebagian dari keterbatasan tersebut berkaitan dengan seberapa jauh sistem dapat ekstrapolasi dari contoh yang diterima.

Kelemahan tersebut penting karena ARC-AGI tetap menjadi benchmark penalaran visual yang berspesialisasi. Efisiensi biaya yang kuat pada ARC tidak menunjukkan bahwa arsitektur yang sama dapat mengungguli model bahasa umum di seluruh beban kerja produksi.

Sebaliknya, hasil tersebut memberikan bukti untuk gagasan yang lebih sempit tetapi potensial konsekuensial: kemampuan penalaran canggih mungkin tidak selalu memerlukan jumlah parameter yang masif atau urutan token penalaran yang panjang.

Pathway Juga Membangun Infrastruktur untuk AI Waktu Nyata

Kerja Pathway mendahului dorongannya ke model pasca-Transformer. Bersama dengan BDH, perusahaan mengembangkan kerangka kerja pemrosesan data yang ditujukan untuk data streaming, analitik waktu nyata, aplikasi model bahasa besar, dan generasi yang ditingkatkan dengan pengambilan.

Platform ini dirancang untuk membantu sistem AI bekerja dengan informasi yang berubah terus-menerus daripada bergantung sepenuhnya pada dataset statis atau indeks yang dibangun kembali secara berkala.

Latar belakang infrastruktur ini sesuai erat dengan arah penelitian Pathway yang lebih luas. Teknologi yang ada fokus pada menjaga aplikasi AI tetap sinkron dengan data eksternal yang berubah, sementara BDH mengeksplorasi apakah memori yang bertahan dan adaptasi dapat semakin menjadi sifat dari arsitektur model itu sendiri.

Hal ini bisa menjadi penting untuk agen AI dan sistem lain yang berjalan lama yang perlu mempertahankan keadaan sambil bereaksi terhadap informasi baru selama periode yang diperpanjang.

Apa yang Berikutnya untuk Pathway

Pathway bermaksud menggunakan modal baru untuk meningkatkan kapasitas model dan melatih sistem berbasis BDH yang lebih mampu.

Rencana jalan mereka termasuk penalaran matematika, ARC-AGI-2 dan ARC-AGI-3, serta pengembangan model bahasa besar yang menggabungkan penalaran laten.

Perusahaan mengatakan bahwa eksperimen pra-pelatihan awal pada skala yang berkisar dari 1 miliar hingga 600 miliar parameter telah menunjukkan perilaku penskalaan seperti Transformer sambil mempertahankan karakteristik yang terkait dengan pendekatan penalaran laten BDH.

Hal ini tetap menjadi indikasi awal daripada bukti bahwa keunggulan arsitektur tersebut akan bertahan di seluruh model umum yang besar.

Pathway pada akhirnya menargetkan bidang seperti layanan keuangan, perawatan kesehatan, dan teknologi, di mana memori yang bertahan, informasi yang berubah, dan biaya inferensi bisa menjadi sangat penting ketika sistem AI bergerak menuju alur kerja yang berjalan lebih lama.

Saat ini, valuasi $500 juta mewakili taruhan signifikan pada alternatif dari strategi penskalaan dominan industri. Tes yang lebih penting akan datang ketika Pathway memindahkan BDH melampaui benchmark penalaran yang relatif terbatas dan menunjukkan apakah keunggulan arsitektur tersebut bertahan di seluruh bahasa, matematika, agen, dan aplikasi dunia nyata.