Microsoft Research Memperkenalkan StudentSim untuk Melatih Tutor AI

Dalam pengumuman pada 12 Oktober 2026, Microsoft Research memperkenalkan StudentSim, sebuah sistem riset yang membangun simulator personal untuk setiap siswa, yang merekam cara siswa tersebut menjawab pertanyaan dan perubahan jawabannya setelah mendapat arahan dari tutor. Riset ini juga memperkenalkan StudentSimEval, tolok ukur dan protokol evaluasi yang mencakup catur, penulisan bahasa Inggris sebagai bahasa kedua, dan matematika. Laboratorium tersebut menyatakan bahwa makalah yang mendasari riset ini beserta kode pelatihannya tersedia untuk umum.

Tantangan Umpan Balik dalam Pengembangan Tutor AI

Microsoft Research menjelaskan adanya masalah pengukuran yang menjadi inti riset tutor AI: kualitas pengajaran tidak dapat dinilai hanya dari jawaban tutor, karena tutor perlu mengetahui apa yang terjadi setelah arahannya diterima siswa. Pertanyaan yang belum terjawab mencakup apakah siswa memperbaiki kesalahan awalnya, apakah petunjuk membantu siswa menalar hingga menemukan jawaban atau justru terlalu banyak membocorkan jawaban, serta apakah siswa lain memerlukan jenis dukungan yang berbeda. Saat ini, menurut laboratorium tersebut, menjawab pertanyaan semacam ini biasanya memerlukan studi yang melibatkan pelajar sungguhan. Studi tersebut berharga, tetapi pelaksanaannya lambat dan mahal, sehingga umpan balik siswa sulit dimanfaatkan saat model dikembangkan dan diiterasi dengan cepat.

Keterbatasan sejumlah solusi praktis yang ada telah terdokumentasi. Microsoft Research mencatat bahwa meminta model bahasa besar berperan sebagai pelajar dapat membuat model menirukan nada bicara siswa dan mengungkapkan ketidakpastian, tetapi mempertahankan batas kemampuan pelajar yang sebenarnya lebih sulit. Siswa simulasi yang kemampuannya terlalu tinggi dapat membuat tutor tampak efektif berkat umpan balik yang menyesatkan. Model pelacakan pengetahuan dan prediksi perilaku berpijak pada catatan pembelajaran nyata, tetapi banyak di antaranya sejak awal tidak dirancang untuk menerima arahan tutor dalam bahasa alami sebagai masukan. Abstrak makalah tersebut mengemukakan perbedaan serupa: model pelacakan keadaan sesuai dengan perilaku yang tercatat, tetapi kurang baik dalam menangani penjelasan atau koreksi; sementara itu, model simulasi peran yang fasih mengikuti arahan tanpa dapat diandalkan untuk meniru tingkat kemampuan siswa yang diperankannya.

Metrik dan Alur Pelatihan StudentSimEval

Rancangan evaluasi ini mengadaptasi riset pendidikan, termasuk konsep zona perkembangan proksimal Vygotsky, yang membedakan hal-hal yang dapat dilakukan pelajar secara mandiri dengan hal-hal yang dapat dilakukannya dengan dukungan. StudentSim menerjemahkan gagasan itu menjadi dua ukuran. Kesetiaan perilaku mengukur seberapa dekat simulator mereproduksi jawaban yang tercatat dari seorang siswa tertentu pada soal-soal yang tidak digunakan dalam pelatihan. Sementara itu, responsivitas terhadap arahan mengukur apakah simulator mengubah jawabannya setelah membaca arahan tutor. Laboratorium tersebut menyebut kedua ukuran ini saling melengkapi: simulator yang hanya meniru perilaku masa lalu tidak dapat menunjukkan apakah intervensi pengajaran membantu, sedangkan simulator yang selalu mengikuti tutor mungkin tidak menangkap kekuatan, kelemahan, dan kemungkinan kesalahan siswa tertentu.

StudentSimEval menerapkan kedua metrik tersebut dalam protokol terstandardisasi yang mencakup 60 siswa di tiga bidang, dengan menggunakan kumpulan data pelajar yang tersedia untuk umum dan catatan yang identitasnya telah dihapus serta dibagikan untuk kepentingan riset. Menurut halaman publikasi makalah itu, setiap metode dilatih dan dinilai menggunakan catatan yang sama. Dalam catur, tugasnya adalah memprediksi langkah pemain berikutnya dan bagaimana pemain itu mungkin mengubah langkahnya setelah mendapat pelatihan. Dalam penulisan bahasa Inggris sebagai bahasa kedua, simulator menghasilkan esai dengan pola kesalahan khas seorang pelajar dan memprediksi koreksi yang dilakukan setelah menerima umpan balik guru. Dalam matematika, simulator memprediksi jawaban pilihan ganda yang akan dipilih siswa dan apakah jawabannya berubah setelah mendapat penjelasan.

Karena setiap pelajar biasanya hanya menyumbangkan sedikit esai, jawaban, atau interaksi, melatih simulator terpisah dari awal untuk setiap siswa berisiko menyebabkan model terlalu menyesuaikan diri dengan data yang terbatas dan memaksa setiap model mempelajari ulang pola yang sama di seluruh bidang. Karena itu, StudentSim menggunakan alur dua tahap: tahap pertama melatih model dengan menggabungkan catatan dari banyak siswa dalam bidang yang sama agar model mempelajari format jawaban yang sama, kesalahan umum, dan kecenderungan siswa mengubah jawaban setelah mendapat arahan; tahap kedua menyesuaikan model khusus dengan catatan seorang siswa. Repositori kode pendamping menerapkan proses ini dengan melatih satu adaptor LoRA untuk setiap bidang pada tahap pertama, lalu melanjutkan pelatihan menggunakan catatan masing-masing siswa pada tahap kedua. Model mewarisi peringkat LoRA dari tahap pertama alih-alih memulai dengan adaptor baru. Catatan catur berasal dari ekspor permainan catur berlisensi CC0, catatan penulisan dari ekstrak EFCAMDAT, dan catatan matematika dari ekstrak FoundationalASSIST.

Hasil yang Dilaporkan dan Studi Tutor Catur

Microsoft Research melaporkan bahwa StudentSim mengungguli tolok ukur dasar terkemuka di ketiga bidang. Untuk catur, metrik kesetiaan perilakunya tercatat sebesar 0.5150 dan responsivitas terhadap arahan sebesar 0.9067. Sebagai perbandingan, GPT-5.4 mencatat 0.2316 dan 0.7186, sedangkan Maia2, model prediksi langkah manusia khusus catur, mencatat 0.4535 dan 0.2721. Laboratorium tersebut menjelaskan bahwa perbandingan ini menunjukkan perbedaan antara kedua keluarga model tolok ukur dasar: GPT-5.4 merespons arahan tanpa secara konsisten mencocokkan perilaku siswa tertentu, sedangkan Maia2 lebih baik dalam memprediksi langkah manusia dalam catur, tetapi tidak memiliki jalur untuk menerima arahan dalam bahasa alami. Abstrak makalah tersebut menyatakan bahwa StudentSim mengungguli GPT-5.4 pada kedua metrik di setiap bidang.

Tim tersebut juga menguji apakah simulator yang telah dilatih dapat memberikan umpan balik untuk mengoptimalkan tutor. Dalam sebuah studi pembelajaran penguatan untuk tutor catur, tutor diberi sebuah posisi beserta langkah keliru yang sebelumnya dilakukan oleh siswa sungguhan, lalu memberikan panduan; simulator personalisasi yang dibekukan membaca panduan tersebut dan menghasilkan langkah revisi, sementara imbalannya berupa peningkatan kualitas langkah dari langkah awal ke langkah revisi, yang dinilai menggunakan mesin catur Stockfish sebagai sinyal independen. Studi ini membandingkan tiga kondisi dengan kebijakan tutor, titik awal hasil supervisi, dan pengaturan pembelajaran penguatan yang sama: tutor yang disetel dengan penyempurnaan terawasi tanpa pembelajaran penguatan, tutor yang dilatih menggunakan imbalan dari siswa simulasi GPT-5.4, dan tutor yang dilatih menggunakan imbalan dari StudentSim. Para pakar catur manusia menilai respons tutor yang dihasilkan tanpa mengetahui kondisi mana yang menghasilkannya.

Menurut pengumuman tersebut, tutor yang dilatih menggunakan StudentSim mencapai akurasi 90.5%, dibandingkan dengan 75.7% untuk patokan tanpa pembelajaran penguatan dan 71.6% untuk kondisi imbalan GPT-5.4, serta mendapat penilaian lebih tinggi dalam hal kualitas panduan dan personalisasi. Microsoft Research menggambarkan hasil ini sebagai bukti konsep bahwa simulator siswa yang dilatih menggunakan catatan pembelajar sungguhan dapat berfungsi sebagai sinyal umpan balik yang bermanfaat untuk melatih tutor.

Batasan dan Ketersediaan yang Dinyatakan

Microsoft Research menyebut StudentSim sebagai sistem penelitian untuk mengevaluasi dan meningkatkan tutor AI sebelum diuji dengan pembelajar sungguhan; lembaga tersebut menyatakan bahwa sistem ini bukan produk, belum diterapkan di ruang kelas, dan tidak dimaksudkan untuk menggantikan guru. Lembaga tersebut juga menyatakan bahwa sistem ini tidak menghilangkan kebutuhan akan pembelajar sungguhan dalam penelitian pendidikan, karena studi yang melibatkan manusia tetap penting untuk mengukur hasil pembelajaran, keamanan, kemudahan penggunaan, dan kesesuaian untuk diterapkan di ruang kelas. Menurutnya, simulator sebaiknya digunakan pada tahap awal proses pengembangan, saat dapat membantu peneliti menguji strategi tutor, membandingkan model, dan menyempurnakan sinyal pelatihan sebelum melakukan studi yang lebih mahal dengan siswa sungguhan. Arah pengembangan ke depan yang disebutkan mencakup lintasan pembelajaran yang lebih panjang, lebih banyak mata pelajaran, profil siswa yang lebih kaya, serta upaya menghubungkan umpan balik simulasi dengan hasil pembelajaran yang terukur.

Makalah yang mendasari penelitian ini, “StudentSim: Training LLM-based Student Simulators,” telah diajukan ke arXiv pada 1 September 2026, dan bertanggal September 2026 di halaman publikasi Microsoft Research. Penulisnya adalah Ke Yang, mahasiswa doktoral di University of Illinois Urbana-Champaign; Chenglong Wang; Michel Galley; Chandan Singh; Jeevana Priya Inala; ChengXiang Zhai; dan Jianfeng Gao. Kode pelatihan dan evaluasi StudentSim, termasuk protokol StudentSimEval, tersedia untuk umum dengan lisensi MIT.