Apa Itu Optimisasi Preferensi Langsung (DPO)? Alternatif yang Lebih Sederhana daripada RLHF

Optimisasi Preferensi Langsung melatih kebijakan dari pasangan respons yang disukai dan ditolak dengan menggunakan tujuan bergaya klasifikasi yang berpijak pada model acuan.

Optimisasi Preferensi Langsung perlu dijelaskan secara tepat karena namanya merujuk pada alur informasi, pilihan pelatihan, mekanisme saat sistem dijalankan, atau batas tata kelola tertentu. Menganggapnya sebagai sinonim untuk “AI tingkat lanjut” membuat klaim tentangnya mustahil diuji. Panduan ini menelusuri konsep tersebut mulai dari masukan dan asumsi hingga hasil yang dapat diamati, lalu menguji jalan pintas yang paling mungkin disalahartikan sebagai konsep itu.

Optimisasi Preferensi Langsung: Definisi, Batas, dan Tujuan

Optimisasi Preferensi Langsung melatih kebijakan dari pasangan respons yang disukai dan ditolak dengan menggunakan tujuan bergaya klasifikasi yang berpijak pada model acuan. Definisi ini mencakup tiga komitmen praktis: adanya masukan yang dapat diidentifikasi, transformasi atau keputusan yang menjadi ciri Optimisasi Preferensi Langsung, serta hasil yang dapat dievaluasi berdasarkan tujuan yang dinyatakan. Jika salah satu unsur tersebut tidak ada, istilah itu mungkin menggambarkan aspirasi, bukan mekanisme yang telah diterapkan.

Tumpukan AI modern membangun abstraksi secara berlapis: representasi mendukung arsitektur, prapelatihan menghasilkan kemampuan yang dapat digunakan kembali, adaptasi mengubah perilaku, dan optimisasi penerapan menentukan apa yang layak dilakukan. Dalam Optimisasi Preferensi Langsung, pandangan sistem ini penting karena kinerja dapat ditentukan oleh data, antarmuka, perangkat keras, izin, dan orang-orang di sekitarnya, meskipun model dasarnya tidak berubah. Karena itu, penjelasan yang baik memisahkan perilaku yang dipelajari model dari produk yang menentukan kapan, di mana, dan dengan wewenang seperti apa perilaku tersebut digunakan.

Jalan pintas terdekat yang berpotensi menyesatkan adalah alur kerja RLHF yang mula-mula melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan. Pendekatan itu mungkin memiliki ciri yang tampak sama dengan Optimisasi Preferensi Langsung, tetapi mengubah hubungan sebab-akibatnya: keberhasilan akan dibuktikan dengan bukti yang berbeda, biaya akan didominasi oleh sumber daya yang berbeda, dan pencegahan bahaya akan memerlukan kendali yang berbeda. Jadi, batasnya bersifat operasional, bukan terminologis.

Peta Operasional Lima Tahap Optimisasi Preferensi Langsung

Diagram ini merupakan peta sebab-akibat ringkas untuk Optimisasi Preferensi Langsung, bukan klaim bahwa setiap implementasi menggunakan lima komponen perangkat lunak. Sebagian sistem menggabungkan beberapa tahap, sedangkan sistem lainnya mengulang tahap-tahap tersebut dalam satu siklus. Peta ini tetap berguna karena mengharuskan setiap perubahan informasi atau wewenang memiliki penanggung jawab, masukan, keluaran, dan pengujian.

1. Kumpulkan Prompt dengan Pasangan Respons Berperingkat: Masukan dan Asumsi dalam Optimisasi Preferensi Langsung

Pada tahap Optimisasi Preferensi Langsung ini, sistem harus mengumpulkan prompt dengan pasangan respons berperingkat. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi tersebut dari alur kerja RLHF yang mula-mula melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima menuju tahap Optimisasi Preferensi Langsung ini dimulai dari tujuan yang dinyatakan dan seharusnya berakhir dengan hasil yang dapat digunakan untuk menilai preferensi relatif kebijakan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada titik serah terima. Jejak tersebut memungkinkan tim mendeteksi apakah data preferensi dapat memberi penghargaan pada gaya, kepanjangan jawaban, atau bias pemberi anotasi alih-alih ketepatan yang mendasarinya, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

2. Nilai Preferensi Relatif Kebijakan: Representasi atau Keputusan dalam Optimisasi Preferensi Langsung

Pada tahap Optimisasi Preferensi Langsung ini, sistem harus menilai preferensi relatif kebijakan. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi tersebut dari alur kerja RLHF yang mula-mula melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima menuju tahap Optimisasi Preferensi Langsung ini dimulai dengan mengumpulkan prompt beserta pasangan respons yang diberi peringkat, dan seharusnya berakhir dengan hasil yang dapat digunakan untuk membandingkannya dengan kebijakan acuan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Jejak itu memungkinkan tim mendeteksi apakah data preferensi justru memberi imbalan pada gaya, panjang lebar jawaban, atau bias anotator alih-alih ketepatan yang mendasarinya, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

3. Membandingkannya dengan Kebijakan Acuan: Transformasi Khas dalam Optimisasi Preferensi Langsung

Pada tahap Optimisasi Preferensi Langsung ini, sistem harus membandingkannya dengan kebijakan acuan. Pertanyaan pentingnya bukan sekadar apakah operasi itu berlangsung, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan tersebut valid. Peninjau seharusnya dapat membedakan operasi ini dari alur kerja RLHF yang terlebih dahulu melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima menuju tahap Optimisasi Preferensi Langsung ini dimulai dengan menilai preferensi relatif kebijakan dan seharusnya berakhir dengan hasil yang dapat mendukung pembaruan model secara langsung berdasarkan objektif preferensi. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Jejak itu memungkinkan tim mendeteksi apakah data preferensi justru memberi imbalan pada gaya, panjang lebar jawaban, atau bias anotator alih-alih ketepatan yang mendasarinya, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

4. Memperbarui Model Langsung Berdasarkan Objektif Preferensi: Batasan dan Verifikasi dalam Optimisasi Preferensi Langsung

Pada tahap Optimisasi Preferensi Langsung ini, sistem harus memperbarui model secara langsung berdasarkan objektif preferensi. Pertanyaan pentingnya bukan sekadar apakah operasi itu berlangsung, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan tersebut valid. Peninjau seharusnya dapat membedakan operasi ini dari alur kerja RLHF yang terlebih dahulu melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima menuju tahap Optimisasi Preferensi Langsung ini dimulai dengan membandingkannya dengan kebijakan acuan dan seharusnya berakhir dengan hasil yang dapat digunakan untuk mengevaluasi kebermanfaatan dan pergeseran yang tidak diinginkan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Jejak itu memungkinkan tim mendeteksi apakah data preferensi justru memberi imbalan pada gaya, panjang lebar jawaban, atau bias anotator alih-alih ketepatan yang mendasarinya, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

5. Mengevaluasi Kebermanfaatan dan Pergeseran yang Tidak Diinginkan: Keluaran, Umpan Balik, dan Aturan Penghentian dalam Optimisasi Preferensi Langsung

Pada tahap Optimisasi Preferensi Langsung ini, sistem harus mengevaluasi kebermanfaatan dan pergeseran yang tidak diinginkan. Pertanyaan pentingnya bukan sekadar apakah operasi itu berlangsung, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan tersebut valid. Peninjau seharusnya dapat membedakan operasi ini dari alur kerja RLHF yang terlebih dahulu melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima menuju tahap Optimisasi Preferensi Langsung ini dimulai dengan memperbarui model secara langsung berdasarkan objektif preferensi dan seharusnya berakhir dengan hasil yang dapat mendukung pemantauan atau keputusan akhir. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Jejak itu memungkinkan tim mendeteksi apakah data preferensi justru memberi imbalan pada gaya, panjang lebar jawaban, atau bias anotator alih-alih ketepatan yang mendasarinya, sebelum kelemahan yang sama memengaruhi keluaran yang berdampak besar.

Ikuti peta Optimisasi Preferensi Langsung dari awal hingga akhir untuk memahami proses produksi, dan telusuri dari akhir ke awal untuk mendiagnosis kegagalan. Analisis dari awal ke akhir menelaah bagaimana satu tahap menyediakan masukan bagi tahap berikutnya. Analisis dari akhir ke awal dimulai dari hasil yang keliru, lambat, mahal, atau tidak aman, lalu menelusuri asumsi sebelumnya yang memungkinkannya terjadi. Sering kali, melalui penelusuran balik inilah tim menemukan bahwa kesalahan penentu terjadi sebelum model menghasilkan apa pun.

Contoh Optimisasi Preferensi Langsung

Dengan dua jawaban yang tersedia, DPO meningkatkan kemungkinan relatif jawaban yang lebih disukai tanpa menjalankan putaran optimisasi imbalan daring.

Contoh ini informatif karena Optimisasi Preferensi Langsung dapat dikaitkan dengan masukan yang dapat diamati, keadaan perantara, dan hasil, alih-alih dinilai melalui demonstrasi yang dipoles. Pengujian yang ketat akan menyusun kasus biasa, sulit, dan sengaja dibuat menyesatkan berdasarkan skenario ini, mempertahankan tolok ukur tanpa teknik tersebut, serta mencatat kinerja rata-rata dan tingkat keparahan setiap kegagalan.

Ubah satu asumsi dalam contoh Optimisasi Preferensi Langsung ini, lalu ulangi analisisnya. Hilangkan masukan yang diperlukan, berikan sinyal yang bertentangan, batasi komputasi, ubah populasi pengguna, atau paksa sistem untuk tidak memberikan jawaban. Mekanisme yang hanya berhasil dalam satu demonstrasi yang disusun dengan cermat belum membuktikan bahwa mekanisme itu dapat digeneralisasi ke lingkungan operasional.

Optimisasi Preferensi Langsung vs. Jalan Pintas yang Paling Umum

Optimisasi Preferensi Langsung kerap disederhanakan menjadi alur RLHF yang mula-mula melatih model imbalan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan. Penyederhanaan itu menghapus batas yang justru mendefinisikan konsep tersebut. Akibatnya, pembeli bisa membandingkan produk yang tidak sebanding, peneliti dapat melebih-lebihkan hal yang dibuktikan oleh suatu eksperimen, dan operator mungkin memantau sinyal yang keliru setelah penerapan.

Perbandingan juga perlu menjelaskan unit analisisnya. Makalah tentang Optimisasi Preferensi Langsung mungkin hanya mengkaji model atau algoritme, sedangkan layanan yang diterapkan mencakup pengambilan informasi, perutean, penyimpanan tembolok, kebijakan, identitas, antarmuka pengguna, dan pemantauan. Dua produk dapat menggunakan istilah utama yang sama, tetapi menerapkan bagian tumpukan teknologi yang berbeda. Tanyakan komponen mana yang melakukan transformasi penentu dan komponen lain mana yang diperlukan untuk mencapai hasil yang dilaporkan.

Mengapa Optimisasi Preferensi Langsung Penting dalam Sistem AI Saat Ini

Optimisasi Preferensi Langsung penting saat ini karena sistem AI diberi konteks yang lebih panjang, lebih banyak modalitas, komputasi saat eksekusi yang lebih besar, akses alat yang lebih luas, serta keterhubungan yang lebih erat dengan keputusan organisasi. Dalam kondisi tersebut, hal yang sebelumnya tampak seperti detail penelitian dapat menentukan latensi, keamanan, aksesibilitas, biaya lingkungan, kualitas produk, atau akuntabilitas hukum.

Ukuran yang relevan bukanlah apakah Optimisasi Preferensi Langsung dapat menghasilkan satu hasil yang mengesankan. Yang penting adalah apakah teknik ini meningkatkan hasil yang bermakna dalam berbagai kondisi representatif dan melakukannya dengan lebih efektif daripada tolok ukur dasar yang lebih sederhana. Laporkan distribusi, kategori kegagalan, latensi ekor, penggunaan sumber daya, dan subkelompok yang terdampak, alih-alih merangkum semua hasil menjadi satu nilai rata-rata.

Pilihan teknis yang tepat bergantung pada beban kerja dan perangkat keras. Bandingkan dengan tolok ukur dasar yang sederhana, ukur kualitas pada irisan data yang representatif, serta pantau penggunaan memori, latensi, biaya, dan kemudahan pemeliharaan selain akurasi tolok ukur. Jika diterapkan secara khusus pada Optimisasi Preferensi Langsung, disiplin ini membuat bukti dapat digunakan lintas tim: tim lain dapat menilai apakah peningkatan yang diklaim kemungkinan tetap tercapai pada model, bahasa, platform perangkat keras, himpunan data, populasi pengguna, atau toleransi risiko yang berbeda.

Manfaat yang Dapat Dihasilkan Optimisasi Preferensi Langsung

Alasan terkuat untuk menggunakan Optimisasi Preferensi Langsung adalah kemampuannya menangani langsung hambatan yang memang ditujunya. Bergantung pada penerapannya, manfaatnya dapat berupa landasan yang lebih baik, representasi yang lebih setia, generalisasi yang lebih baik, latensi yang lebih rendah, perpindahan memori yang lebih sedikit, akuntabilitas yang lebih jelas, atau batas yang lebih aman antara usulan model dan tindakan nyata.

Manfaat sebaiknya dinyatakan sebagai keputusan dan ukuran. “Lebih cerdas” bukanlah kriteria penerimaan untuk Optimisasi Preferensi Langsung. Sasaran yang berguna dapat menetapkan tingkat kesalahan pada kasus sulit, pemulihan setelah muncul bukti yang bertentangan, biaya pada persentil tertentu dari lalu lintas, waktu tinjauan manusia, kalibrasi, atau persentase tindakan yang tetap berada dalam batas kewenangan yang telah ditetapkan.

Mode Kegagalan yang Mendefinisikan Optimisasi Preferensi Langsung

Keterbatasan utamanya adalah data preferensi dapat memberi penghargaan pada gaya, kepanjangan, atau bias anotator alih-alih kebenaran yang mendasarinya. Kegagalan ini bukan hal yang baru dipertimbangkan setelah pengembangan selesai. Sejak awal, kegagalan tersebut harus menjadi pertimbangan dalam pengumpulan data, arsitektur, perizinan, evaluasi, gerbang peluncuran, dan pemantauan Optimisasi Preferensi Langsung.

Kontrol untuk Direct Preference Optimization hanya berguna jika bekerja sebelum timbul konsekuensi yang mahal atau tidak dapat dipulihkan. Identifikasi tanda awal kegagalan yang dapat diamati, tetapkan ambang batas atau aturan, tunjuk penanggung jawab, lalu uji pemulihannya. Bergantung pada kasus penggunaannya, pemulihan dapat berarti tidak memberikan jawaban, beralih ke sistem yang lebih sederhana, meminta bukti tambahan, mengeskalasi masalah kepada seseorang, mengembalikan model ke versi sebelumnya, atau menghentikan tindakan sepenuhnya.

Rencana Evaluasi Direct Preference Optimization

Mulailah mengevaluasi Direct Preference Optimization dengan merumuskan keputusan yang harus didukung oleh bukti. Tentukan populasi operasional, konsekuensi hasil yang keliru, informasi yang benar-benar tersedia saat keputusan dibuat, serta alternatif paling sederhana yang tetap layak dipercaya. Dengan begitu, tolok ukur tidak berubah menjadi tujuan hanya karena mudah dijalankan.

Gunakan set pengujian yang belum pernah digunakan untuk perbandingan terkontrol, lalu validasi Direct Preference Optimization dalam lingkungan operasional bertahap. Evaluasi luring memudahkan perbandingan antarvarian; mode bayangan, uji canary, pembatasan laju, atau gerbang persetujuan menunjukkan bagaimana lalu lintas nyata, putaran umpan balik, dan perilaku orang memengaruhi kinerja. Tahap penerapan harus memiliki kondisi penghentian yang jelas, bukan berasumsi bahwa setiap peningkatan layak diterapkan sepenuhnya.

Buat versi untuk masukan yang diperlukan agar Direct Preference Optimization dapat direproduksi: data sumber, prapemrosesan, tokenizer atau encoder, bobot model, konfigurasi, prompt atau kebijakan, indeks pengambilan informasi, set evaluasi, asumsi perangkat keras, dan kode penyajian, jika relevan. Tanpa pelacakan asal-usul, tim tidak dapat mengetahui apakah perubahan hasil disebabkan oleh teknik tersebut, lingkungan, atau penyuntingan alur kerja yang luput dari perhatian.

Terakhir, tanyakan temuan seperti apa yang akan membantah klaim bahwa Direct Preference Optimization bermanfaat. Jika tidak ada hasil yang dapat membalikkan keputusan untuk mengadopsinya, evaluasi itu hanyalah pemasaran. Ambang penerimaan yang ditetapkan sebelumnya dan set konfirmasi yang disimpan mengubah proses tersebut menjadi bukti.

Pertanyaan yang Perlu Diajukan Sebelum Mengadopsi Direct Preference Optimization

• Tujuan: Hambatan terukur apa yang hendak diatasi dengan Direct Preference Optimization?
• Mekanisme: Pada tahap mana dari lima tahap itu transformasi khasnya berlangsung?
• Tolok ukur awal: Bagaimana kinerjanya dibandingkan dengan alur kerja RLHF yang terlebih dahulu melatih model penghargaan, lalu mengoptimalkan kebijakan dengan pembelajaran penguatan, atau dengan alternatif lain yang lebih sederhana?
• Bukti: Kasus umum, sulit, adversarial, dan kasus dari berbagai subkelompok apa saja yang telah diuji?
• Operasional: Biaya latensi, memori, komputasi, energi, pemeliharaan, dan peninjauan apa yang muncul pada skala besar?
• Risiko: Bagaimana tim akan mendeteksi bahwa data preferensi dapat lebih menguntungkan gaya, panjang jawaban, atau bias anotator daripada ketepatan yang mendasarinya?
• Pemulihan: Dapatkah sistem tidak memberikan jawaban, beralih ke opsi cadangan, kembali ke versi sebelumnya, atau mengeskalasi masalah sebelum terjadi bahaya?

Sumber Utama untuk Mempelajari Direct Preference Optimization

Sumber tepercaya untuk memulai kajian tentang bagian tumpukan AI di sekitar Direct Preference Optimization mencakup Attention Is All You Need, makalah penelitian LoRA, dan Direct Preference Optimization. Bacalah sumber-sumber tersebut bersama dokumentasi untuk model, set data, perangkat keras, dan yurisdiksi yang tepat. Sumber umum dapat menjelaskan mekanismenya, tetapi hanya bukti khusus penerapan yang dapat memastikan kesesuaian implementasi tertentu.

Hal yang Perlu Diingat tentang Direct Preference Optimization

Direct Preference Optimization adalah mekanisme yang terdefinisi dengan jelas di dalam sistem sos teknis yang lebih luas. Nilainya berasal dari peningkatan hasil tertentu dalam kondisi yang eksplisit, bukan dari namanya semata. Pemetaan lima tahap memperlihatkan aliran informasinya, perbandingan menjelaskan apa yang bukan termasuk di dalamnya, dan jalur kontrol menunjukkan titik intervensi yang tersedia bagi operator yang bertanggung jawab.

Panduan praktis untuk Direct Preference Optimization adalah menetapkan tujuan, membandingkannya dengan tolok ukur awal yang kredibel, menguji kegagalan yang paling penting, dan menyimpan bukti yang diperlukan untuk memantau perubahan. Dengan unsur-unsur tersebut, konsep ini menjadi pilihan rekayasa dan tata kelola yang dapat dievaluasi. Tanpa semua itu, konsep ini hanya menjadi nama yang menjanjikan, tetapi dikaitkan dengan risiko operasional yang belum diketahui.