Bagaimana Claude Berpikir? Misi Anthropic untuk Membuka Kotak Hitam AI

Model bahasa besar (LLM) seperti Claude telah mengubah cara kita menggunakan teknologi. Mereka memungkinkan alat seperti chatbot, membantu menulis esai, dan bahkan menciptakan puisi. Namun, meskipun kemampuan luar biasa mereka, model ini masih misterius dalam banyak hal. Orang sering menyebutnya “kotak hitam” karena kita dapat melihat apa yang mereka katakan, tetapi tidak bagaimana mereka menghasilkannya. Kekurangan pemahaman ini menciptakan masalah, terutama di bidang penting seperti kedokteran atau hukum, di mana kesalahan atau bias tersembunyi dapat menyebabkan kerusakan nyata.

Memahami bagaimana LLM bekerja sangat penting untuk membangun kepercayaan. Jika kita tidak dapat menjelaskan mengapa model memberikan jawaban tertentu, sulit untuk mempercayai hasilnya, terutama di bidang sensitif. Interpretasi juga membantu mengidentifikasi dan memperbaiki bias atau kesalahan, memastikan model tersebut aman dan etis. Misalnya, jika model secara konsisten mendukung pandangan tertentu, mengetahui mengapa dapat membantu pengembang memperbaikinya. Kebutuhan akan kejelasan ini yang mendorong penelitian untuk membuat model ini lebih transparan.

Anthropic, perusahaan di balik Claude, telah bekerja untuk membuka kotak hitam ini. Mereka telah membuat kemajuan menarik dalam memahami bagaimana LLM berpikir, dan artikel ini menjelajahi temuan mereka dalam membuat proses Claude lebih mudah dipahami.

Pemetaan Pikiran Claude

Pada pertengahan 2024, tim Anthropic membuat temuan yang menarik. Mereka menciptakan peta dasar tentang bagaimana Claude memproses informasi. Menggunakan teknik yang disebut dictionary learning, mereka menemukan jutaan pola dalam “otak” Claude – jaringan sarafnya. Setiap pola, atau “fitur”, terhubung ke ide tertentu. Misalnya, beberapa fitur membantu Claude mengenali kota, orang terkenal, atau kesalahan kode. Yang lain terkait dengan topik yang lebih sulit, seperti bias gender atau kerahasiaan.

Peneliti menemukan bahwa ide-ide ini tidak terisolasi dalam neuron individual. Sebaliknya, mereka tersebar di banyak neuron dalam jaringan Claude, dengan setiap neuron berkontribusi pada berbagai ide. Tumpang tindih ini membuat Anthropic sulit untuk memahami ide-ide ini pada awalnya. Namun, dengan menemukan pola yang berulang, peneliti Anthropic mulai memecahkan bagaimana Claude mengorganisir pikirannya.

Melacak Alasan Claude

Selanjutnya, Anthropic ingin melihat bagaimana Claude menggunakan pikiran tersebut untuk membuat keputusan. Mereka baru-baru ini membangun alat yang disebut attribution graphs, yang bekerja seperti panduan langkah demi langkah untuk proses berpikir Claude. Setiap titik pada grafik adalah ide yang muncul dalam pikiran Claude, dan panah menunjukkan bagaimana satu ide mengalir ke ide lain. Grafik ini memungkinkan peneliti melacak bagaimana Claude mengubah pertanyaan menjadi jawaban.

Untuk lebih memahami cara kerja grafik atribusi, pertimbangkan contoh ini: ketika ditanya, “Apa ibu kota negara bagian dengan Dallas?” Claude harus menyadari bahwa Dallas berada di Texas, kemudian mengingat bahwa ibu kota Texas adalah Austin. Grafik atribusi menunjukkan proses ini – satu bagian dari Claude menandai “Texas”, yang kemudian memicu bagian lain untuk memilih “Austin”. Tim bahkan mengujinya dengan mengubah bagian “Texas”, dan memang, jawabannya berubah. Ini menunjukkan bahwa Claude tidak hanya menebak – itu bekerja melalui masalah, dan sekarang kita dapat melihatnya terjadi.

Mengapa Ini Penting: Analogi dari Ilmu Biologi

Untuk memahami mengapa ini penting, kita dapat mempertimbangkan beberapa kemajuan besar dalam ilmu biologi. Sama seperti penemuan mikroskop memungkinkan ilmuwan menemukan sel – blok bangunan tersembunyi kehidupan – alat interpretasi ini memungkinkan peneliti AI menemukan blok bangunan pemikiran di dalam model. Dan sama seperti pemetaan sirkuit saraf di otak atau pengurutan genom membuka jalan untuk kemajuan dalam kedokteran, pemetaan proses internal Claude dapat membuka jalan untuk kecerdasan mesin yang lebih dapat diandalkan dan terkendali. Alat interpretasi ini dapat memainkan peran penting, membantu kita untuk melihat ke dalam proses berpikir model AI.

Tantangan

Meskipun kemajuan ini, kita masih jauh dari memahami sepenuhnya LLM seperti Claude. Saat ini, grafik atribusi hanya dapat menjelaskan sekitar satu dari empat keputusan Claude. Sementara peta fitur yang dihasilkan sangat mengesankan, itu hanya mencakup sebagian dari apa yang terjadi di dalam “otak” Claude. Dengan miliaran parameter, Claude dan LLM lainnya melakukan perhitungan tak terhitung untuk setiap tugas. Melacak setiap perhitungan untuk melihat bagaimana jawaban terbentuk seperti mencoba mengikuti setiap neuron yang meledak dalam otak manusia selama satu pikiran.

Ada juga tantangan “halusinasi“. Terkadang, model AI menghasilkan respons yang terdengar masuk akal tetapi sebenarnya salah – seperti mengatakan fakta yang salah dengan percaya diri. Ini terjadi karena model tersebut bergantung pada pola dari data pelatihan mereka, bukan pemahaman yang sebenarnya tentang dunia. Memahami mengapa mereka berpindah ke fabrikasi masih menjadi masalah yang sulit, menyoroti kesenjangan dalam pemahaman kita tentang proses internal mereka.

Bias adalah hambatan lain yang signifikan. Model AI belajar dari dataset besar yang diambil dari internet, yang secara inheren membawa bias manusia – stereotip, prasangka, dan kelemahan sosial lainnya. Jika Claude memilih bias ini dari data pelatihannya, itu mungkin mencerminkannya dalam jawabannya. Menguraikan dari mana bias ini berasal dan bagaimana mereka mempengaruhi proses berpikir model adalah tantangan yang kompleks yang memerlukan solusi teknis dan pertimbangan hati-hati tentang data dan etika.

Intinya

Kerja Anthropic dalam membuat model bahasa besar (LLM) seperti Claude lebih mudah dipahami adalah langkah maju yang signifikan dalam transparansi AI. Dengan menunjukkan bagaimana Claude memproses informasi dan membuat keputusan, mereka maju untuk mengatasi kekhawatiran kunci tentang akuntabilitas AI. Kemajuan ini membuka pintu untuk integrasi aman LLM ke dalam sektor kritis seperti perawatan kesehatan dan hukum, di mana kepercayaan dan etika sangat penting.

Seiring dengan perkembangan metode untuk meningkatkan interpretasi, industri yang telah berhati-hati dalam mengadopsi AI sekarang dapat mempertimbangkannya kembali. Model transparan seperti Claude menyediakan jalur yang jelas untuk masa depan AI – mesin yang tidak hanya mereplikasi kecerdasan manusia tetapi juga menjelaskan alasan mereka.