Zuzanna Stamirowska, Co-Founder dan CEO Pathway – Seri Wawancara

Zuzanna Stamirowska, Co-Founder dan CEO Pathway, adalah seorang peneliti yang berubah menjadi pembangun yang sebelumnya bekerja pada fenomena yang muncul dan evolusi jaringan besar. Proyek-proyeknya diakui oleh Akademi Ilmu Pengetahuan Nasional AS, dan dia memegang gelar PhD di Sistem Kompleks. Zuzanna, bersama dengan CTO Jan Chorowski dan CSO Adrian Kosowski, memimpin tim yang telah membangun alat AI terbuka dengan lebih dari 62.000 bintang di GitHub.

Pathway membayangkan bagaimana model AI berpikir, dengan tujuan menciptakan sistem yang beroperasi secara terus-menerus dan adaptif daripada dalam batch. Di balik layar, tooling dan arsitektur mereka memungkinkan model untuk memproses, belajar, dan berkembang secara real-time. Perusahaan ini telah menarik dukungan dari tokoh-tokoh terkenal seperti Lukasz Kaiser (co-penemu Transformer) dan firma ventura terkemuka.

Apa yang memotivasi Anda untuk meluncurkan Pathway, dan bagaimana latar belakang Anda dalam sistem kompleks, teori permainan, dan fenomena yang muncul membentuk visi dan arah teknis perusahaan?

Kami ingin membuat AI yang berpikir dan beradaptasi seperti manusia. Kami menyadari bahwa ini berarti sistem AI (model Pembelajaran Dalam, atau pipa Pembelajaran Mesin yang dibangun dari sejumlah besar bata) yang mampu belajar secara terus-menerus berdasarkan data dari lingkungan, menjadi lebih baik dengan pengalaman, dan terkadang “memperbaiki” pandangan sebelumnya tentang dunia. Kami sebenarnya mendapatkan liputan yang cukup tentang topik “pembelajaran mesin”. Di atas model, sistem seperti itu memerlukan lapisan teknik, untuk menangkap data di sumber dan memasukkannya langsung ke dalam sistem dinamis.

Setelah bekerja pada fenomena yang muncul dalam jaringan kompleks, saya mengembangkan sejumlah hipotesis yang kami terapkan langsung atau hampir langsung dalam BDH. Lucu saja, saya membuat beberapa taruhan dengan rekan-rekan saya (Adrian, CSO, dan Jan, CTO) dan saya memenangkan beberapa botol cognac yang sangat baik. Pertama, kami percaya bahwa kecerdasan alami hasil dari struktur yang muncul dan aksi neuron di otak (ini jelas, tidak ada taruhan di sini). Kedua, dari penelitian sebelumnya, saya tahu bahwa, pada umumnya, fungsi membentuk jaringan (memenangkan taruhan ini). Dalam pekerjaan sebelumnya, saya menemukan ini untuk perdagangan, dan neuroscientist telah mempelajari ini untuk saraf dan indera pada tikus dll. Ketiga, adalah fakta bahwa pembentukan struktur jaringan ini harus mengikuti aturan lokal yang sangat terkait dengan “tetangga” dari setiap lokasi jaringan (dalam hal ini, sebuah node adalah neuron) (memenangkan taruhan ini). Bagian lainnya berasal dari pengetahuan saya tentang sistem interaksi partikel – pikirkan, misalnya, magnetisme – di mana partikel menyesuaikan spin mereka dengan medan luar dan menciptakan beberapa jenis “orde spontan”. Ini adalah jenis matematika yang saya gunakan saat bekerja pada teori permainan pada grafik. Dengan menggabungkan semua ini, sejak hari pertama keberadaan perusahaan, kami memiliki keyakinan kuat bahwa kesuburan (struktur seperti grafik) akan menjadi batu loncatan penting dalam kemajuan AI.

Mempertimbangkan konsep waktu sangat penting dan juga cukup khas dari latar belakang saya, karena fenomena yang muncul biasanya terjadi selama waktu.

Ketika Anda meluncurkan perusahaan pada tahun 2020, apa yang menjadi hipotesis awal Anda tentang apa yang harus dilakukan sistem AI di masa depan, dan bagaimana pandangan tersebut telah berkembang?

Kami memiliki keyakinan kuat dari awal bahwa AI perlu hidup, adaptif, dan terintegrasi dalam proses skala besar. Ini harus belajar langsung dari sumber, dengan data yang paling murni mungkin.

Pertama, kami melakukannya untuk pendekatan Pembelajaran Mesin klasik, dan di sepanjang jalan, kami membangun lapisan teknik yang memungkinkan sistem seperti itu diterapkan dengan mudah di dunia nyata. Sekarang, kami telah membawa pendekatan ini ke Pembelajaran Dalam.
Kami tahu bahwa elemen waktu dan struktur (jaringan) akan menjadi kunci untuk kemajuan menuju Kecerdasan Umum Buatan. Kami memiliki ini tertulis dalam beberapa dokumen pendiri kami dari tahun 2020.

Bisakah Anda menjelaskan arsitektur “pasca-Transformer” yang Anda kenalkan dan bagaimana itu berbeda dari sistem berbasis Transformer saat ini?

Arsitektur baru kami, yang disebut Baby Dragon Hatchling (BDH), secara formal menghubungkan bagaimana Transformer memproses informasi dengan bagaimana penalaran muncul di otak.

BDH berperilaku seperti sistem fisik: model komputasi otak-like di mana neuron melakukan upaya kolaboratif untuk menemukan fakta berikutnya yang paling relevan. Penalaran kontekstual tidak terbatas oleh keterbatasan teknik, seperti panjang konteks yang tetap dari Transformer, tetapi lebih skalabel dengan jumlah neuron model.

Dengan mengatakan semua ini dalam istilah yang lebih teknis, tidak seperti di Transformer, di BDH kami memiliki perhatian linier, vektor kunci-sparse, dan tidak ada batasan pada ukuran jendela konteks.

Pendekatan ini membuka pintu untuk sistem yang belajar saat melakukan, mempertahankan rantai panjang penalaran, dan beradaptasi terus-menerus dalam konteks.

Fitur inti dari sistem ini adalah lokalitas: data penting terletak tepat di sebelah situs di mana data tersebut diproses. Ini meminimalkan komunikasi dan menghilangkan bottleneck paling menyakitkan untuk model penalaran selama inferensi: bandwidth memori-ke-inti.

Bagaimana pendekatan Anda mengambil inspirasi dari penalaran manusia, terutama dalam memungkinkan adaptasi dan pembelajaran terus-menerus tanpa pelatihan ulang?

BDH membawa kecerdasan alami dan kecerdasan alami lebih dekat.

Arsitektur ini terinspirasi oleh cara kerja neuron dan sinapsis di otak. Ini memetakan mekanisme perhatian biologis ke konsep perhatian komputasi dalam Pembelajaran Mesin, menciptakan jembatan yang skalabel antara Transformer dan otak.

BDH membawa perhatian dekat dengan parameter model, mempresentasikan mereka sebagai dua refleksi dari dinamika sistem yang sama, dengan perhatian berubah pada tingkat yang cepat saat fakta baru dikenal selama penalaran, dan parameter model berubah lebih lambat saat sistem mengubah kebiasaan jangka panjangnya. Ini lebih dekat dengan bagaimana kami percaya penalaran bekerja di otak.

Kami melihat BDH sebagai tonggak menuju desain sistem AI yang melakukan penalaran di tengah tugas, memperbaiki dengan pengalaman, dan beradaptasi tanpa pelatihan ulang – sifat yang kami asosiasikan dengan penalaran manusia.

Satu dari tantangan dalam AI adalah menyeimbangkan stabilitas dengan adaptasi — bagaimana Anda memastikan sistem dapat belajar dalam waktu nyata tanpa kehilangan pengetahuan sebelumnya?

BDH bergantung pada struktur skala-bebas dan keadaan neuron lokal untuk mempertahankan penalaran selama horizon waktu yang panjang, menyeimbangkan stabilitas dan kemampuan untuk mengintegrasikan pengetahuan dan pengamatan baru. Keseimbangan kesehatan alami ini mudah untuk diekstrak dan diikuti sepanjang umur model.

Dengan BDH kami meletakkan penalaran sebagai fondasi kecerdasan. Dengan pekerjaan saat ini, kami membuat kemajuan pada hipotesis tentang peran pengetahuan dalam Model Bahasa Besar: itu tidak banyak tentang apa yang “benar”, tetapi apa yang “berguna” dalam konteks tertentu untuk maju dalam rantai penalaran tertentu. Misalnya, jika pengetahuan dikontekstualkan, tiba-tiba tidak ada kontradiksi antara dunia kita yang mengikuti hukum alam, dan fakta bahwa kita tahu cerita rakyat yang mengakui keberadaan peri dan sihir. Dengan cara yang sama, tidak ada kontradiksi bagi model yang mempertimbangkan beberapa hipotesis perkiraan yang berbeda, dengan asumsi yang lebih dan kurang optimis, dalam satu rantai pemikiran.

Model berdasarkan BDH memperoleh fakta baru selama umur mereka dalam cara yang dikontekstualkan. Mereka dapat memperbaiki diri karena itu. Dengan mengekspos statistik yang mudah diikuti dari aktivitas neuron dan kontrol granular atas transfer pengetahuan dari konteks ke parameter model, arsitektur membantu untuk mengurangi risiko “konteks kuno” muncul kembali pada saat yang tidak tepat.

Apa yang menjadi pertimbangan rekayasa dalam membangun mesin pengolahan data langsung yang dapat mempertahankan kemampuan ini pada skala besar?

Penawaran perusahaan Pathway bergantung pada mesin pengolahan data tercepat di pasar. Mesin itu mendukung kemampuan kami untuk menangani input waktu nyata, dan untuk bereaksi terhadap informasi baru dengan latensi rendah. Dengan terobosan BDH saat ini, kami memastikan bahwa adaptasi waktu nyata ini diperluas sejauh model AI dasar yang digunakan dalam penerapan. Tujuan utama kami untuk penerapan skala besar adalah beralih dari optimasi statis ke membangun infrastruktur yang dapat menangani penalaran horizon panjang.

Apa yang menjadi kasus penggunaan paling menggugah yang benar-benar membutuhkan tahap AI berikutnya, dan di mana sistem berbasis Transformer saat ini gagal?

Banyak inovasi telah memperluas fungsionalitas AI generatif untuk beradaptasi cepat dengan informasi baru dan untuk sangat bergantung pada ‘waktu pada tugas’, tetapi tidak ada yang dapat menggantikan merekrut orang yang sangat berbakat.

Jawaban yang sangat cepat dan sederhana adalah bahwa kami berbicara tentang tugas apa pun yang saat ini memerlukan lebih dari 2 jam dan 17 menit kerja koheren oleh seorang ahli manusia. Ini adalah batas saat ini dari GPT5 menurut METER.

Kami telah memiliki diskusi yang sangat baik dengan mitra desain di perusahaan yang memerlukan personalisasi yang dalam, model yang belajar di tempat kerja dari data yang langka, dan keamanan penerapan.

BDH membuatnya relatif sederhana bagi perusahaan untuk menangani proses yang sangat kompleks seperti:

• Menutup kuartal untuk perusahaan publik
• Generasi dinamis dari kursus tindakan berikutnya dalam lingkungan yang berisiko tinggi sangat relevan dalam penjualan dan pertahanan.
• Manajemen investasi

NATO sudah menggunakan teknologi Pathway untuk memproses data militer dan sosial langsung, memungkinkan sistem perencanaan yang beradaptasi saat situasi berkembang. La Poste menggunakan Live AI Pathway untuk mengelola operasionalnya secara dinamis dalam waktu nyata. Industri seperti keuangan dan kesehatan, di mana data langka atau sensitif, dapat mendapat manfaat dari model yang memerlukan lebih sedikit data tetapi memberikan wawasan yang lebih dalam dan penghakiman yang lebih dapat diandalkan.

Bisakah Anda berbagi contoh tentang bagaimana organisasi seperti NATO, La Poste, atau Formula 1 telah menerapkan teknologi Anda dan dampak yang telah mereka capai?

NATO, La Poste, dan tim Formula 1 sudah menjadi pengadopsi awal teknologi Pathway.

Pathway menawarkan teknologi pengolahan data yang kuat dan inovatif kepada NATO untuk membuka kemampuan baru untuk penggunaan kritis dalam skala besar. Dengan demonstrator fungsional kami, Alat Peningkatan Simulasi (REST), kami mengembangkan fondasi untuk pengembangan lebih lanjut dari solusi yang didukung AI untuk NATO. Dengan menggunakan Pathway untuk menghubungkan data sumber terbuka, kesadaran situasional dipercepat dan dibawa ke tingkat yang diperlukan oleh NATO untuk beroperasi dengan sukses pada tahun 2020-an.

La Poste menggunakan Pathway untuk memperbaiki proses yang terkait dengan unit transportasi mereka. Dengan Kerangka Kerja Pathway, La Poste dapat memprediksi operasionalnya secara otomatis dalam waktu nyata dan menghasilkan analisis kualitatif langsung dari operasi transportasi mereka. Dengan Pathway, perusahaan telah dapat mengoptimalkan logistik mereka secara dinamis, mengurangi waktu tiba, waktu pemrosesan / waktu memimpin, dan meningkatkan keandalan. Selain itu, mereka telah mencapai pengurangan biaya operasional yang signifikan (pengurangan 50% dalam biaya total pemilikan dalam beberapa kasus).

Tim balap Formula 1 menggunakan Pathway untuk beradaptasi dengan strategi di bawah tekanan waktu nyata. Perusahaan ingin memiliki platform untuk pengguna akhir untuk membuat Fungsi yang Ditentukan Pengguna (UDF) secara mandiri, dan memenuhi berbagai kebutuhan bisnis, dari e-sports/sim-racing, hingga mobil dan balap Formula. Kerangka Data Langsung Pathway memungkinkan transformasi data lanjutan pada tim balap Formula 1 dengan latensi terendah (kecepatan pemrosesan 90x lebih cepat dari sebelumnya).

Apa yang menjadi hambatan terbesar untuk menerapkan sistem adaptif di industri seperti kesehatan atau pertahanan, dan bagaimana Anda menanganinya?

Dengan desain, LLM saat ini menghasilkan konten yang “baru” tanpa penilaian yang sebenarnya – sebutlah ‘gen’ dalam AI generatif. Banyak industri yang sangat diatur memerlukan tata kelola oleh definisi, dan enggan untuk menerapkan proses bisnis yang didorong AI tanpa pengulangan, kepercayaan, dan keterbacaan. Ironisnya, untuk menerapkan AI, perusahaan-perusahaan ini sering “mengurangi” fungsionalitas dan memperkenalkan kompleksitas tambahan untuk memfasilitasi kepatuhan dengan peraturan.

Dengan desain, BDH memungkinkan perusahaan untuk mengamati dan beradaptasi dengan apa yang terjadi di dalam model. Keterbacaan ini selama periode waktu yang lama dari ‘penalaran’ memberikan perusahaan kepercayaan untuk menangani proses bisnis yang lebih kompleks. BDH, oleh desain, baik keterbacaan dan kesadaran proses bisnis pada sumbu waktu. Tidak perlu himpunan data yang sempurna dan besar untuk pembelajaran, tidak perlu jendela konteks yang sangat panjang, atau logika perekat untuk keterbacaan.

Apa yang menjadi pertimbangan etika atau pengamanan yang penting saat sistem AI mulai belajar dan beradaptasi dalam waktu nyata?

Sistem yang belajar dengan pengalaman sebenarnya memiliki kesempatan yang lebih baik untuk menjadi aman daripada sistem berbasis Transformer saat ini. Salah satu elemen dari ini adalah fakta bahwa dengan pembelajaran terus-menerus, mereka memiliki kesempatan untuk memperbaiki diri dan memperbarui prasangka mereka jika mereka salah.

Untuk memastikan keamanan sistem seperti itu, mereka perlu mendapatkan umpan balik selama waktu. Artinya, kita perlu terus memberi mereka data baru, dan memastikan umpan balik untuk mereka memahami efek dari fungsionalitas mereka sendiri. Ini dekat dengan Pembelajaran Penguatan.

Kedua, model berdasarkan BDH menawarkan keterbacaan yang membuatnya lebih mudah untuk memahami bagaimana mereka bekerja, memberikan manusia kontrol yang lebih baik atas mereka.

Apa yang diperlukan agar paradigma “pasca-Transformer” menjadi arus utama di seluruh komunitas AI?

Sebuah model yang sangat berguna dan memiliki biaya inferensi yang jauh lebih rendah sementara lebih cepat. Kami percaya bahwa ada kemenangan pasar yang dapat dicapai, terutama di perusahaan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Pathway.