Batas yang Harus Ditaati Model Bahasa: Merancang AI untuk Penggajian, Penerimaan Mahasiswa, dan Bidang Lain yang Tidak Memberi Toleransi terhadap Kesalahan

Selama beberapa tahun terakhir, saya mengembangkan AI untuk produk-produk yang membuat kesalahan berakibat nyata: platform kepatuhan penggajian berbasis AI untuk pasar Australia, tempat kesalahan bisa langsung berdampak pada rekening bank seseorang, dan produk penerimaan mahasiswa, tempat ketidakcocokan dapat memengaruhi empat tahun berikutnya dalam kehidupan seorang mahasiswa. Pertanyaan yang menentukan arsitektur keduanya sama: Sejauh mana model bahasa boleh bertindak sebelum sistem deterministik mengambil alih?

Satu dari lima proses penggajian di AS mengandung kesalahan, dengan biaya rata-rata $291 per kesalahan sebelum memperhitungkan kemungkinan litigasi. Undang-Undang AI Uni Eropa memasukkan AI yang digunakan untuk mengambil keputusan penerimaan mahasiswa dan mengelola ketenagakerjaan ke dalam kategori berisiko tinggi.

Serahkan Angka kepada Aturan

Aturan deterministik harus mengendalikan segala hal yang berkaitan dengan nilai uang atau konsekuensi hukum. Model hanya menafsirkan dan menjelaskan aturan tersebut, tidak lebih.

Dalam platform penggajian, tujuan kami adalah menetapkan batas yang jelas antara aturan penggajian dan AI. Pakar penggajian terlebih dahulu menetapkan aturan pembayaran dalam format terstruktur. Sistem kemudian memproses aturan tersebut dan menghasilkan semua kemungkinan skenario yang dapat timbul darinya. Kumpulan skenario yang lengkap itu menjadi sumber kebenaran bagi model. Model tidak boleh membuat aturan baru, mengubah aturan yang ada, atau menentukan sumber mana yang akan digunakan. Model hanya dapat mengambil kumpulan aturan yang relevan, melihat tabel tarif, dan menyebutkan skenario yang digunakannya. Pembuatan aturan, penyusunan skenario, dan pemilihan sumber sepenuhnya dilakukan di luar lapisan AI.

Produk penerimaan mahasiswa mengikuti logika yang sama: persyaratan lokasi, batas anggaran, status institusi, dan ambang kelayakan diterapkan sebagai aturan sebelum model dapat memengaruhi pemeringkatan. Jika seorang mahasiswa mengatakan bahwa ia harus kuliah di California, model tidak boleh mengesampingkan persyaratan itu dengan memilih kampus di luar negara bagian hanya karena model menganggapnya lebih cocok. Model menangani preferensi yang lebih fleksibel dan memberikan penjelasan, sedangkan logika deterministik menjadi pengaman ketika hasil yang sekadar mendekati benar tidak dapat diterima.

Pengambilan Informasi Menambatkan Model, tetapi Ada Batasnya

Generasi yang diperkaya dengan pengambilan informasi menjaga agar jawaban tetap berpijak pada kebijakan organisasi itu sendiri, bukan pada apa pun yang diserap model selama pelatihan. Namun, kemampuan ini juga kerap dibesar-besarkan. Ketika RegLab Stanford menguji perangkat riset hukum komersial yang dibangun dengan RAG, perangkat tersebut masih berhalusinasi dalam 17% hingga 33% kasus. Pengambilan informasi membatasi hal-hal yang dapat dikatakan model, tetapi model tetap bisa keliru.

Saya mempelajarinya secara langsung. Suatu kali, sistem di platform penggajian menemukan instrumen ketenagakerjaan yang tepat untuk sebuah kasus, tetapi model tetap keliru menafsirkan aturan lembur. Sumber yang benar sudah ditemukan, tetapi jawabannya tetap salah. Setelah kejadian itu, kami memperketat batas keputusan yang boleh diambil model sendiri. Aturan penggajian yang penting dialihkan ke logika bisnis eksplisit, setiap jawaban harus didukung materi sumber, dan kami menambahkan pengujian berdasarkan kasus yang gagal tersebut. Akses ke informasi yang tepat hanya berguna jika kita juga mengendalikan cara model menggunakannya.

Pastikan Setiap Jawaban Dapat Dilacak

Sebelum jawaban dibuat, sistem mencatat dengan tepat buku aturan dan versi yang digunakan, serta model dan detail permintaan lainnya. Pernyataan bahwa jawaban AI didasarkan pada kebijakan perusahaan sulit diverifikasi. Namun, jika disebutkan bahwa jawaban dibuat menggunakan versi 7 dari perjanjian tertentu, yang disimpan dan dapat dibandingkan dengan versi lain, buktinya jauh lebih kuat. Kami juga melacak setiap pemanggilan model dan alat: apa yang ditanyakan pengguna, informasi apa yang diambil, alat mana yang dijalankan, apa yang dihasilkan model, dan kesalahan apa pun yang terjadi. Saat ada masalah yang dilaporkan ke dukungan, kami dapat melihat dengan tepat dari mana jawaban yang keliru berasal. Putusan dalam perkara Air Canada pada 2024, yang mewajibkan maskapai itu menghormati diskon yang dibuat-buat oleh chatbot-nya, menunjukkan besarnya konsekuensi jika hal ini tidak dilakukan.

Libatkan Manusia Saat Konsekuensinya Besar

Profil AI Generatif dari NIST memandang batas antara tindakan yang dapat dilakukan sistem sendiri dan tindakan yang memerlukan campur tangan manusia sebagai keputusan tata kelola. Kami meneruskan kasus kepada manusia ketika sistem tidak yakin, ketika informasi saling bertentangan, atau ketika keputusan dapat berdampak berarti bagi pengguna. Dalam penerimaan mahasiswa, profil mahasiswa yang tidak lazim atau rekomendasi yang tidak jelas memenuhi persyaratan mutlak mahasiswa akan ditandai untuk ditinjau konselor. Langkah ini telah mendeteksi rekomendasi yang sekilas tampak masuk akal, tetapi mengabaikan batasan dalam profil mahasiswa; setiap temuan juga digunakan untuk memperbaiki sistem. Kedua produk tidak pernah menetapkan keputusan akhir secara mandiri. Masukan konselor wajib ada sebelum rekomendasi dijadikan dasar tindakan, dan setiap slip gaji yang dibuat sistem penggajian ditandai untuk disetujui sebelum dikirim. Peninjauan manusia tidak diperlukan untuk setiap permintaan. Tujuannya adalah mengotomatiskan kasus rutin dengan yakin dan melibatkan manusia ketika ada alasan kuat bagi sistem untuk tidak yakin.

Menentukan Hal yang Dapat Ditangani Model Saat Ini

Ada uji praktis yang saya terapkan pada setiap alur kerja. Jika keluaran yang salah dapat diketahui dan dibatalkan sebelum sampai kepada seseorang, model dapat menangani langkah tersebut. Jika jawaban dapat diperiksa berdasarkan suatu aturan, aturanlah yang menentukan, sedangkan model menjelaskannya. Jika keluaran yang salah dapat memengaruhi gaji atau keputusan penerimaan sebelum siapa pun sempat memeriksanya, langkah tersebut belum siap.

Model bahasa adalah penafsir terbaik yang pernah kita hadapkan pada buku aturan. Di ranah yang tidak menoleransi kesalahan, interpretasi adalah titik tempat model seharusnya berhenti.