Ivan Nikitin, CEO dan Salah Satu Pendiri Fortytwo – Seri Wawancara

Ivan Nikitin adalah CEO dan salah satu pendiri Fortytwo. Di perusahaan ini, ia mengembangkan teknologi inferensi kawanan yang menyatukan beberapa model AI agar dapat bernalar dan mengevaluasi hasil kerja satu sama lain. Pengalamannya mencakup gim, AI percakapan, AI generatif, dan sistem interaktif di Temporal dan Sensorium. Pada 2011, ia mendirikan Temporal bersama Vlad Larin, yang kini menjadi salah satu pendiri sekaligus CTO Fortytwo. Di sana, ia memperoleh pengalaman dengan populasi agen yang terus berkembang serta sistem yang memadukan model-model khusus.

Fortytwo membangun infrastruktur AI yang memungkinkan model berkolaborasi selama inferensi. Fortytwo Engine menggunakan Swarm Decoder untuk mengarahkan proses penalaran bersama seiring proses tersebut berlangsung, dengan tujuan meningkatkan akurasi dan mengurangi pembuatan token yang tidak perlu dalam tugas-tugas panjang. Perusahaan ini menyediakan API bagi pengembang melalui Fortytwo Engine dan opsi penerapan di lingkungan lokal melalui Fortytwo Harbor.

Sebelum ikut mendirikan Fortytwo, Anda menghabiskan waktu bertahun-tahun membangun produk seputar AI percakapan, AI generatif, dan sistem interaktif di Sensorium dan Temporal. Bagaimana pengalaman-pengalaman tersebut membentuk pandangan Anda tentang keterbatasan model bahasa besar individual, dan pada akhirnya mendorong Anda mengembangkan pendekatan berbasis kawanan yang menjadi dasar Fortytwo?

Sebagian besar anggota tim kami, termasuk saya, mengenal AI melalui gim. Gim telah menjadi tempat lahir komputasi personal dan AI modern: gim menjadi alasan GPU diciptakan, dan permainan gim merupakan ajang uji coba serius pertama bagi pembelajaran penguatan. Dunia gim memberi kami lingkungan praktis untuk membangun agen yang dapat belajar, beradaptasi, dan bersaing. Di Temporal, yang saya dirikan bersama Vlad Larin pada 2011—kini ia menjadi salah satu pendiri sekaligus CTO Fortytwo—kami memulai dengan kecerdasan yang terus berkembang: populasi agen yang bersaing di bawah tekanan seleksi. Kami tertarik pada bagaimana suatu populasi dapat mencapai lebih dari yang bisa dicapai satu agen, asalkan tersedia mekanisme yang baik untuk mengenali dan mengembangkan kontribusi terkuatnya. Seleksi dan evaluasi menjadi inti cara kami memandang kecerdasan.

Ketika model transformer hadir, kami memperluas kiprah ke AI percakapan dan membangun platform untuk karakter berbasis AI yang dapat terlibat dalam percakapan terbuka tanpa naskah, dengan memori dan kepribadian. Ini terjadi beberapa tahun sebelum ChatGPT, dan model yang kami gunakan memiliki jendela konteks hanya 512 hingga 1.024 token. Mengharapkan satu model bahasa generasi awal mampu menangani semua kebutuhan pengalaman tersebut secara andal bukanlah pilihan. Kami harus membangun alur kerja khusus yang terdiri atas model-model khusus, masing-masing dengan tanggung jawab yang lebih terbatas, serta logika untuk menggabungkan kontribusi mereka. Pemeringkatan dan pemilihan respons menjadi hal penting agar keseluruhan pengalaman dapat berjalan. Dari situ, kami belajar betapa banyak kemampuan yang bisa dihasilkan dengan menggabungkan model-model terbatas ke dalam sistem yang dirancang dengan baik.

Pelajaran lainnya adalah efisiensi. Kami belajar bahwa model khusus dapat dilatih dan dijalankan dengan lebih efisien untuk tugas-tugas yang terdefinisi dengan baik, sehingga kami dapat mencapai lebih banyak dengan daya komputasi terbatas. Namun, meningkatkan skala inferensi tetap menjadi tantangan: di satu sisi ada batas penggunaan API, sementara di sisi lain ada biaya menjalankan model sendiri dalam skala besar. Tanpa akses ke kapasitas komputasi mutakhir, kami harus memikirkan dengan cermat cara memaksimalkan sumber daya yang tersedia. Fortytwo menyatukan pelajaran-pelajaran tersebut dalam gagasan inferensi kawanan: beberapa model, atau beberapa instans dari model yang sama, turut berkontribusi dalam proses penalaran sekaligus menilai hasil kerja model lain. Hasilnya, kinerja kolektif lebih akurat daripada setiap anggotanya.

Fortytwo Engine menggunakan beberapa model berbobot terbuka untuk mengarahkan satu proses penalaran dan saling memeriksa saat respons dihasilkan. Apa perbedaan pendekatan ini dengan sistem multiagen konvensional, ensemble model, atau sekadar menjalankan beberapa model lalu memilih jawaban terbaik setelahnya?

Perbedaan utamanya adalah inferensi kawanan dibangun langsung ke dalam mesin inferensi yang kami kembangkan. Kami menyebutnya Swarm Decoder: beberapa model peserta terus membentuk satu alur penalaran seiring alur tersebut dihasilkan. Evaluasi dan pengarahan berlangsung di dalam proses itu, sehingga model dapat memengaruhi arahnya sebelum respons selesai.

Alternatifnya bekerja dengan cara berbeda. Dalam ensemble pada tingkat jawaban, model menghasilkan respons terpisah yang kemudian diperingkat, dipilih, atau digabungkan. Arsitektur awal Fortytwo, yang diterapkan pada 2025, menggunakan pemeringkatan antarmodel terhadap jawaban yang sudah selesai. Cara ini meningkatkan akurasi jawaban secara signifikan, tetapi menambah latensi dan beban komputasi. Banyak sistem multiagen konvensional membagi pekerjaan di antara agen, dengan menggunakan pengatur dan pesan dalam bahasa alami untuk mengelola kontribusi masing-masing. Proses serah terima tersebut dapat memerlukan panggilan inferensi tambahan, konteks yang berulang, serta keputusan tentang informasi mana yang perlu diteruskan dari satu agen ke agen lain. Dalam Swarm Decoder, tidak ada proses serah terima: para peserta bekerja pada satu alur, dan satu-satunya hal yang mereka tukarkan adalah penilaian tentang arah mana yang lebih baik.

Swarm Decoder dirancang untuk mendeteksi asumsi yang lemah selama proses pembuatan, sebelum banyak upaya dicurahkan untuk mengembangkannya. Tujuannya adalah mengurangi kesalahan, langkah mundur, dan pembuatan yang tidak perlu; manfaat efisiensi muncul ketika pemeriksaan tersebut mencegah lebih banyak pekerjaan daripada yang ditambahkannya. Itulah juga alasan tidak ada penalti latensi: proses berjalan melalui jalur yang lebih langsung, sehingga Engine menyelesaikan tugas lebih cepat daripada model yang sama jika berjalan sendiri, dengan jumlah total token yang lebih sedikit—dengan menghitung setiap model yang berpartisipasi.

Anda menyoroti penyimpangan model selama tugas yang berlangsung lama sebagai masalah besar. Apa sebenarnya penyebab penyimpangan itu, dan bagaimana dampaknya dalam penerapan praktis seperti rekayasa perangkat lunak, penelitian, atau agen AI otonom?

Penyimpangan terjadi ketika konteks model perlahan-lahan tidak lagi berfokus pada tugas. Dalam proses yang panjang, konteks dipenuhi keluaran model itu sendiri, hasil penggunaan alat, isi berkas, dan percobaan ulang. Instruksi awal pun makin lama makin sedikit mendapat perhatian model, sementara kesalahan yang dibuatnya sebelumnya kini menjadi bagian dari masukan yang digunakannya untuk bernalar. Akibatnya, kesalahan menumpuk alih-alih saling meniadakan. Selain itu, model penalaran saat ini dilatih dengan pembelajaran penguatan agar menyelesaikan tugas, dan model-model ini mempelajari jalan pintas yang tampak seperti penyelesaian: melewatkan penggunaan alat, menyatakan tugas berhasil, atau membuat ringkasan alih-alih melakukan pemeriksaan. Kami menyebutnya kemalasan, dan model terdepan melakukannya sama seringnya dengan model berbobot terbuka. Akar masalahnya adalah model tunggal tidak memiliki pemeriksaan eksternal. Model menilai pekerjaannya sendiri, padahal model tidak pandai melakukan refleksi diri secara akurat.

Dalam rekayasa perangkat lunak, penyimpangan ini terlihat ketika agen memperbaiki bug yang Anda jelaskan, tetapi melanggar batasan yang Anda sebutkan dalam pesan pertama; membuat pengujian yang lulus dengan mudah tanpa benar-benar menguji; atau membaca berkas yang sama empat kali karena kehilangan jejak tentang hal-hal yang sudah dipelajarinya. Dalam penelitian, penyimpangan tampak saat proses panjang bergeser dari pertanyaan yang Anda ajukan ke pertanyaan yang paling mudah dijawab, lalu menghasilkan ringkasan umum. Pada agen otonom, dampaknya lebih mahal: pembahasan melantur, penggunaan alat berulang kali, langkah mundur, dan tagihan token yang beberapa kali lipat dari kebutuhan tugas.

Dampaknya dapat diukur. Kami menjalankan Qwen 3.8 27B pada 450 tugas DeepSWE, yaitu pekerjaan rekayasa perangkat lunak nyata yang menggunakan alat dalam konteks panjang, satu kali tanpa bantuan dan satu kali melalui Fortytwo Engine. Saat dijalankan sendiri, model menggunakan rata-rata 16,3 juta token per proses, atau total 7,4 miliar token. Melalui Engine, model yang sama menggunakan rata-rata 12,3 juta token per proses, atau total 5,6 miliar token—24,7% lebih sedikit—dan menyelesaikan lebih banyak tugas: 47,8% dibandingkan dengan 42,2%. Tidak ada yang berubah pada modelnya. Empat juta token per proses yang dihemat adalah token yang terbuang akibat penyimpangan: membaca ulang, mencoba lagi, dan mundur, yang harus dilakukan model tunggal karena tidak ada yang mengoreksi langkah kelirunya saat terjadi. Kawanan model menangkap kesalahan itu, sehingga model tidak perlu menghabiskan token untuk memperbaikinya.

Sebelumnya, Fortytwo meminta model-model saling menilai jawaban yang telah selesai, sedangkan arsitektur saat ini memungkinkan model-model tersebut memengaruhi proses penalaran saat masih berlangsung. Apa yang Anda pelajari dari pendekatan sebelumnya, dan mengapa pengarahan waktu nyata lebih efektif?

Arsitektur 2025 membuktikan bahwa kita dapat mencapai kemampuan setingkat model terdepan melalui penskalaan horizontal—menghadirkan lebih banyak model yang berpartisipasi, alih-alih mengejar model terbesar. Kawanan model berbobot terbuka yang saling memberi peringkat atas jawaban lengkap mengungguli model tunggal terbaik dalam kawanan hingga 17 poin persentase. Pendekatan ini juga tangguh dalam menghadapi hal-hal yang sulit ditangani model tunggal: prompt yang penuh gangguan, instruksi yang disisipkan, dan mayoritas jawaban yang keliru.

Namun, arsitektur itu tidak dapat melakukan intervensi. Memberi peringkat pada jawaban yang sudah selesai efektif untuk satu pertanyaan, tetapi proses agen terdiri atas ratusan langkah dengan penggunaan alat di antaranya, dan kesalahan yang menentukan terjadi sejak awal lalu menumpuk. Jika penilaian dilakukan di akhir, setiap model sudah telanjur menanggung seluruh biaya token, dan penilai hanya dapat memilih di antara rangkaian langkah yang sudah menyimpang. Biaya kawanan model juga meningkat seiring jumlah model, sesuatu yang tidak menjadi masalah untuk satu pertanyaan sulit, tetapi tidak cocok untuk agen pemrograman.

Pengarahan waktu nyata mengatasi kedua masalah tersebut. Pemberian peringkat secara berkelanjutan menerapkan tekanan seleksi sepanjang proses, sehingga langkah yang keliru dikoreksi di tempat terjadinya, sebelum menyebar. Kawanan model tidak pernah puas dengan upaya yang asal-asalan, karena upaya yang lebih malas akan kalah dari upaya yang lebih cermat dalam pemeringkatan. Karena itulah mekanisme yang sama kini dapat meningkatkan akurasi sekaligus mengurangi jumlah token.

Dalam pengujian Anda dengan Qwen 3.8 27B, Fortytwo melaporkan penggunaan token 24,7% lebih sedikit dalam 450 proses DeepSWE, sekaligus meningkatkan hasil pada enam tolok ukur. Apa yang terjadi di dalam kawanan model sehingga kinerjanya meningkat sementara konsumsi token berkurang?

Pemeriksaan oleh kawanan model memerlukan biaya kecil yang tetap; biaya pemulihan yang dapat dicegahnya bertambah seiring panjang tugas, karena setiap langkah keliru yang tidak dikoreksi membebani semua pekerjaan yang dibangun di atasnya. Jadi, semakin panjang tugas, semakin besar penghematan yang bisa diperoleh. DeepSWE berada di ujung spektrum tugas yang panjang, sehingga penghematannya mencapai hampir seperempat dari seluruh token.

Dari sisi akurasi, masalahnya adalah kecerdasan yang tidak merata. Peningkatan model biasanya timpang: model dapat bernalar setingkat doktor dalam satu bidang, tetapi menghasilkan omong kosong total dalam bidang lain. Ini terjadi karena penyetelan halus, pembelajaran penguatan, dan proses pascapelatihan lainnya meningkatkan kemampuan model pada data yang digunakan untuk melatihnya, sementara peningkatan itu menyusut ketika tugas nyata semakin jauh dari data tersebut. Swarm Decoder tidak mengubah model. Teknologi ini secara konsisten meningkatkan proses penalaran itu sendiri. Jadi, enam tolok ukur tersebut bukan enam bidang yang kami optimalkan, melainkan enam tempat untuk mengukur hal yang sama. Secara keseluruhan, model menjadi lebih cerdas dan lebih cermat. Dengan sesama model yang memeriksa setiap langkah, rasanya model mengerahkan lebih banyak upaya untuk tugas Anda. Itulah sebabnya kami dapat menetapkan harga Engine berdasarkan tarif per token model dasar: pelanggan tidak membayar untuk anggaran yang lebih besar, melainkan untuk jalur yang lebih singkat menuju jawaban yang benar.

Para pengembang AI semakin khawatir dengan biaya inferensi seiring model penalaran menghasilkan rangkaian token yang lebih panjang. Menurut Anda, apakah peningkatan efisiensi proses penalaran itu sendiri pada akhirnya bisa sama pentingnya dengan membuat masing-masing model lebih kecil, lebih cepat, atau lebih murah?

Ya, dan menurut saya, ini bahkan sudah menjadi pengungkit yang lebih besar. Membuat model lebih kecil, lebih cepat, dan lebih murah menurunkan harga per token. Namun, orang tidak membeli token. Mereka membeli penyelesaian suatu tugas, dan pada era agen, jumlah token per tugas telah melonjak: model penalaran yang menangani tugas pemrograman nyata menggunakan jutaan token, dan sebagian besar token itu digunakan untuk mengulang langkah sebelumnya. Pengurangan 25% dalam jumlah token per tugas nilainya sama persis dengan pemotongan harga sebesar 25%, tetapi manfaatnya bertambah dengan setiap peningkatan pada perangkat keras, kuantisasi, dan kernel. Selain itu, kami dapat menerapkannya pada model berbobot terbuka apa pun yang tersedia di pasar.

Industri ini memiliki tiga pengungkit. Model yang lebih baik, yang berarti pelatihan, dan itu mahal. Token yang lebih murah, yang bergantung pada perangkat keras dan layanan inferensi, dan biayanya semakin menyatu karena semua orang menggunakan GPU yang sama. Lalu, jumlah token yang lebih sedikit per tugas, yang ditentukan oleh cara inferensi dijalankan, dan aspek ini nyaris belum dieksplorasi. Sejauh ini, penskalaan berarti menggunakan model yang lebih besar dan rangkaian penalaran yang lebih panjang, dan keduanya menuntut satu model melakukan semuanya dalam satu alur. Kami yakin sumbu berikutnya adalah pendekatan kolektif: beberapa model bernalar bersama, dengan penilaian yang dibagi di antara mereka, sehingga alurnya sendiri menjadi lebih singkat dan andal. Ini adalah jenis penskalaan yang berbeda dari penskalaan parameter atau komputasi saat pengujian, dan inilah yang menjadi taruhan kami. Kami menyebutnya mengutamakan model sejawat daripada parameter.

Fortytwo Engine kompatibel dengan API OpenAI sekaligus menjalankan model berbobot terbuka. Seberapa penting kompatibilitas dengan tumpukan pengembangan AI yang sudah ada, dan seberapa mudah pengembang memindahkan aplikasi dari API konvensional berbasis satu model ke arsitektur kawanan?

Kompatibilitas sangat penting. Ekosistem agen—agen pemrograman, lingkungan orkestrasi, kerangka kerja, dan alat evaluasi—dibangun berdasarkan format API OpenAI. Jadi, bagi pengembang yang menggunakan Fortytwo Engine, beralih layanan sama seperti berpindah dari satu penyedia inferensi ke penyedia lain: untuk aplikasi, agen, lingkungan orkestrasi, atau layanan yang kompatibel, biasanya cukup dengan mengubah satu konfigurasi, yaitu titik akhir, kunci API, dan pilihan model.

Yang berubah adalah perilakunya, bukan integrasinya. Perbedaannya terlihat dalam rangkaian kerja agen yang panjang, saat konsumsi token dan akurasi pada percobaan pertama menentukan biayanya: model yang sama, saat dijalankan melalui Engine, menyelesaikan tugas lebih cepat dengan token lebih sedikit dan berhasil mengerjakan lebih banyak tugas. Saran saya, perlakukan ini seperti setiap pergantian model: jalankan evaluasi yang sudah Anda gunakan untuk agen, bandingkan jumlah token per tugas dan tingkat keberhasilan, lalu gunakan opsi yang memberikan hasil lebih baik.

Terima kasih atas wawancara yang menarik ini. Pembaca yang ingin mendalami inferensi kawanan dan cara evaluasi sejawat dapat meningkatkan efisiensi penalaran dapat mengunjungi Fortytwo.