Kegagalan LLM dalam Matematika dan Cara Mengatasinya

Matematika telah lama menjadi tantangan besar bagi model AI. Menguasai matematika memerlukan keterampilan penalaran yang kompleks, dan bagi AI, tugas ini tidaklah sederhana. Hal ini menciptakan masalah besar mengingat pentingnya kemampuan matematika untuk kesuksesan profesional, pribadi, dan akademis.

Meskipun memiliki kemampuan luar biasa, model bahasa besar (LLM) sering berjuang dengan tugas matematika yang kompleks, seperti geometri, yang memerlukan keterampilan penalaran yang maju. Ini membawa kita ke pertanyaan kritis: seberapa banyak kemampuan matematika model AI berasal dari penalaran yang sebenarnya vs. sekadar mengingat data pelatihan?

Temuan terbaru dari Apple menunjukkan bahwa bahkan ketika fokus pada soal matematika sekolah dasar, model yang paling canggih tidak sepenuhnya didorong oleh “penalaran”.

Mengambil langkah lebih lanjut, tim R&D di MathGPT.ai memberikan wawasan baru pada area aljabar hingga kalkulus yang memerlukan perbaikan terbesar.

Data ini mengeksplorasi bagaimana variasi konteks dan bahasa mempengaruhi kinerja model di seluruh LLM yang berbeda, termasuk model o1-preview dan o1-mini dari OpenAI. Temuan ini mengungkapkan tren yang mengkhawatirkan: akurasi konsisten menurun ketika soal menyimpang dari pertanyaan asli yang tersedia dalam data pelatihan LLM, dengan kinerja yang menurun tajam pada standar matematika yang lebih menantang di atas tingkat matematika sekolah dasar.

Masalah Recall vs. Penalaran

Investigasi ini fokus pada tiga faktor kunci:

1. Menggunakan standar matematika yang lebih menantang daripada matematika sekolah dasar
2. Mengeksplorasi “1-shot prompt” dengan kesamaan ekstrem dengan soal tes
3. Mengimplementasikan strategi “best of n” untuk n upaya pada soal yang sama – secara efektif, voting mayoritas untuk menghilangkan anomali statistik, pada waktu inferensi.

Hasilnya menarik dan mengkhawatirkan. Batas variasi soal ditekan, yang menunjukkan penurunan konsisten dalam kinerja model AI ketika persamaan matematika menjadi lebih kompleks.

Tantangan Dataset MATH

Dataset MATH diterapkan, yang dikenal karena soal-soal tingkat sekolah menengah yang menantang, berbeda dengan dataset Matematika Sekolah Dasar 8K, yang berisi 8.500 soal linguistik yang beragam pada tingkat sekolah dasar. Dataset MATH menyajikan soal-soal tingkat sekolah menengah yang lebih menantang untuk memeriksa kinerja model di seluruh tingkat kesulitan yang berbeda, dari pra-aljabar hingga teori bilangan. Pilihan ini memungkinkan MathGPT.ai untuk lebih baik memeriksa kinerja model di seluruh tingkat kesulitan yang berbeda.

Dalam pengujian, sementara nilai numerik dan jawaban akhir tetap tidak berubah, kami bervariasi bahasa, variabel, dan konteks soal. Misalnya, skenario “anjing berjalan” mungkin diubah menjadi soal “mesin cuci piring”. Metode ini membantu mitigasi kompleksitas yang meningkat dari dataset MATH sambil tetap menantang kemampuan penalaran model.

Hasil yang Mengungkap

Hasilnya mengejutkan. Bahkan model yang paling canggih berjuang ketika dihadapkan pada variasi soal yang mungkin mereka temui dalam data pelatihan. Sebagai contoh, akurasi model o1-mini turun dari 93,66% pada soal asli ke 88,54% pada variasi yang paling menantang. Model o1-preview mengalami penurunan serupa, turun dari 91,22% ke 82,93% – penurunan yang cukup tajam untuk menyoroti celah kritis dalam ketahanan mereka.

Temuan ini sejalan dengan dan memperluas penelitian sebelumnya dari Apple, yang menunjukkan bahwa keterbatasan dalam penalaran matematika AI menjadi lebih jelas ketika soal menjadi lebih kompleks dan memerlukan pemahaman yang lebih dalam daripada pengenalan pola.

Jalan Menuju Masa Depan

Ketika kita terus mendorong batas penalaran LLM, sangat penting untuk mengakui baik potensi luar biasa maupun keterbatasan saat ini. Penelitian baru menekankan kebutuhan akan inovasi terus-menerus dalam mengembangkan model AI yang mampu melampaui pengenalan pola untuk mencapai keterampilan pemecahan masalah yang lebih kuat dan lebih umum.

Hal ini terjadi pada saat yang kritis, terutama dalam pendidikan tinggi, di mana AI digunakan lebih banyak sebagai alat bantu instruktur di kelas sementara sekolah terus melihat tingkat kegagalan yang tinggi di antara siswa matematika yang tidak siap untuk kursus.

Mencapai kemampuan kognitif seperti manusia atau kecerdasan umum dalam AI memerlukan tidak hanya kemajuan teknologi tetapi juga pemahaman yang halus tentang bagaimana mengatasi kesenjangan antara mengingat dan penalaran yang sebenarnya.

Jika kita berhasil di jalur ini, saya yakin kita dapat mengubah kehidupan jutaan siswa dan bahkan profesional untuk meletakkan kehidupan mereka di jalur yang sama sekali baru.