Zuzanna Stamirowska, Co-Founder dan CEO Pathway – Seri Wawancara

Zuzanna Stamirowska, Co-Founder dan CEO Pathway, adalah seorang peneliti yang berubah menjadi pembangun yang sebelumnya bekerja pada fenomena emergen dan evolusi jaringan skala besar. Proyek-proyeknya diakui oleh Akademi Ilmu Pengetahuan Nasional AS, dan dia memegang gelar PhD di Sistem Kompleks. Zuzanna, bersama dengan CTO Jan Chorowski dan CSO Adrian Kosowski, memimpin tim yang telah membangun alat AI terbuka dengan lebih dari 62.000 bintang di GitHub.

Pathway sedang mengubah cara model AI berpikir, dengan tujuan menciptakan sistem yang beroperasi secara terus-menerus dan adaptif daripada dalam batch. Di balik layar, tooling dan arsitektur mereka memungkinkan model untuk memproses, belajar, dan berkembang secara real-time. Perusahaan ini telah menarik dukungan dari tokoh-tokoh terkenal seperti Lukasz Kaiser (co-penemu Transformers) dan firma ventura terkemuka.

Apa yang memotivasi Anda untuk meluncurkan Pathway, dan bagaimana latar belakang Anda dalam sistem kompleks, teori permainan, dan fenomena emergen membentuk visi dan arah teknis perusahaan?

Kami ingin membuat AI yang berpikir dan beradaptasi seperti manusia. Kami menyadari bahwa ini berarti sistem AI (model Deep Learning, atau pipa Machine Learning yang dibangun dari sejumlah besar bata) yang dapat belajar secara terus-menerus berdasarkan data dari lingkungan, menjadi lebih baik dengan pengalaman, dan terkadang “memperbaiki” pandangan sebelumnya tentang dunia. Kami sebenarnya mendapatkan liputan yang cukup tentang topik “machine unlearning”. Di atas model, sistem seperti itu memerlukan lapisan teknik, untuk menangkap data di sumber dan memasukkannya langsung ke dalam sistem dinamis.

Setelah bekerja pada fenomena emergen dalam jaringan kompleks, saya mengembangkan sejumlah hipotesis yang kami akhirnya terapkan langsung atau hampir langsung dalam BDH. Lucunya, saya membuat beberapa taruhan dengan rekan-rekan saya (Adrian, CSO, dan Jan, CTO) dan saya memenangkan beberapa botol cognac yang sangat baik. Pertama, kami percaya bahwa kecerdasan alami hasil dari struktur emergen dan aksi neuron di otak (ini jelas, tidak ada taruhan di sini). Kedua, dari penelitian sebelumnya, saya tahu bahwa, secara umum, fungsi membentuk jaringan (memenangkan taruhan ini). Dalam pekerjaan sebelumnya, saya menemukan ini untuk perdagangan, dan neuroscientist telah mempelajari ini untuk saraf dan indera pada tikus dll. Ketiga, adalah fakta bahwa pembentukan struktur jaringan ini harus mengikuti aturan lokal yang sangat terkait dengan “tetangga” dari setiap lokasi jaringan (dalam hal ini, node adalah neuron) (memenangkan taruhan ini). Bagian lainnya berasal dari pengetahuan saya tentang sistem interaksi partikel – pikirkan, misalnya, magnetisme – di mana partikel menyesuaikan putaran mereka dengan medan eksternal dan menciptakan beberapa jenis “orde spontan”. Ini adalah jenis matematika yang saya gunakan saat bekerja pada teori permainan pada grafik.

Ketika Anda meluncurkan perusahaan pada tahun 2020, apa yang menjadi hipotesis awal Anda tentang apa yang harus dilakukan sistem AI di masa depan, dan bagaimana pandangan tersebut berkembang?

Kami memiliki keyakinan kuat dari awal bahwa AI perlu hidup, adaptif, dan terintegrasi dalam proses skala besar. Ini harus belajar langsung dari sumber, dengan data mentah yang mungkin.

Pertama, kami melakukannya untuk pendekatan machine learning klasik, dan di sepanjang jalan, kami membangun lapisan teknik yang memungkinkan sistem seperti itu diterapkan dengan mudah di dunia nyata. Sekarang, kami telah membawa pendekatan ini ke deep learning.

Apakah Anda bisa menjelaskan arsitektur “post-Transformer” yang Anda perkenalkan dan bagaimana itu berbeda dari sistem berbasis Transformer saat ini?

Arsitektur baru kami, yang disebut Baby Dragon Hatchling (BDH), secara formal menghubungkan bagaimana Transformer memproses informasi dengan bagaimana penalaran muncul di otak.

BDH berperilaku seperti sistem fisik: model komputasi seperti otak di mana neuron berusaha bersama untuk menemukan fakta berikutnya yang paling relevan. Penalaran kontekstual tidak terbatas oleh keterbatasan teknik, seperti panjang konteks yang tetap dari Transformer, tetapi lebih skalabel dengan jumlah neuron model.

Bagaimana pendekatan Anda mengambil inspirasi dari penalaran manusia, terutama dalam memungkinkan adaptasi dan pembelajaran terus-menerus tanpa pelatihan ulang?

BDH membawa kecerdasan alami dan kecerdasan alami lebih dekat.

Arsitektur ini terinspirasi oleh cara kerja neuron dan sinapsis di otak. Ini memetakan mekanisme perhatian biologis ke konsep perhatian komputasi dalam machine learning, menciptakan jembatan yang skalabel antara Transformer dan otak.

Apa yang menjadi tantangan dalam AI adalah menyeimbangkan stabilitas dengan adaptasi — bagaimana Anda memastikan sistem dapat belajar dalam waktu nyata tanpa kehilangan pengetahuan sebelumnya?

BDH mengandalkan struktur bebas skala dan keadaan neuron terlokalisasi untuk mempertahankan penalaran selama horison waktu yang lama, menyeimbangkan stabilitas dan kemampuan untuk mengintegrasikan pengetahuan baru dan observasi. Keseimbangan kesehatan alami ini mudah diekstrak dan diikuti selama umur model.

Apa yang menjadi pertimbangan etis atau pengamanan yang penting ketika sistem AI mulai belajar dan beradaptasi dalam waktu nyata?

Sistem yang belajar dengan pengalaman sebenarnya memiliki peluang yang lebih baik untuk aman daripada sistem berbasis Transformer saat ini. Salah satu elemen ini adalah fakta bahwa dengan pembelajaran terus-menerus, mereka memiliki kesempatan untuk memperbaiki dan memperbarui prasangka jika mereka salah.

Apa yang diperlukan agar paradigma “post-Transformer” menjadi arus utama di komunitas AI?

Model yang sangat berguna dan memiliki biaya inferensi yang jauh lebih rendah sementara lebih cepat. Kami percaya bahwa ada kemenangan pasar yang dapat dicapai, terutama di perusahaan.

Terima kasih atas wawancara yang baik, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Pathway.