Analogi & Step-Back Prompting: Menyelami Kemajuan Terbaru oleh Google DeepMind

Pendahuluan

Teknik prompt engineering berfokus pada membuat prompt yang efektif untuk memandu Model Bahasa Besar (LLM) seperti GPT-4 dalam menghasilkan respons yang diinginkan. Sebuah prompt yang dirancang dengan baik dapat menjadi perbedaan antara jawaban yang samar atau tidak akurat dan jawaban yang presisi dan mendalam.

Dalam ekosistem AI yang lebih luas, teknik prompt engineering adalah salah satu dari beberapa metode yang digunakan untuk menghasilkan informasi yang lebih akurat dan relevan dari model bahasa. Metode lainnya termasuk teknik seperti few-shot learning, di mana model diberikan beberapa contoh untuk membantu memahami tugas, dan fine-tuning, di mana model dilatih lebih lanjut pada dataset yang lebih kecil untuk mengkhususkan responsnya.

Google DeepMind (GOOGL ) baru-baru ini menerbitkan dua makalah yang membahas tentang teknik prompt engineering dan potensinya untuk meningkatkan respons pada berbagai situasi.

Makalah-makalah ini merupakan bagian dari eksplorasi berkelanjutan dalam komunitas AI untuk memperbaiki dan mengoptimalkan cara kita berkomunikasi dengan model bahasa, dan mereka menyediakan wawasan baru tentang struktur prompt untuk penanganan kueri dan interaksi database yang lebih baik.

Artikel ini membahas detail dari makalah-makalah penelitian ini, menjelaskan konsep, metodologi, dan implikasi dari teknik yang diusulkan, membuatnya dapat diakses bahkan oleh pembaca dengan pengetahuan terbatas dalam AI dan NLP.

Makalah 1: Model Bahasa Besar sebagai Pengguna Analogi

Makalah pertama, berjudul “Model Bahasa Besar sebagai Pengguna Analogi,” memperkenalkan pendekatan prompt baru yang disebut Analogical Prompting. Penulis, Michihiro Yasunaga, Xinyun Chen, dan lain-lain, mengambil inspirasi dari penalaran analogi—proses kognitif di mana manusia menggunakan pengalaman masa lalu untuk menangani masalah baru.

Konsep dan Metodologi Kunci

Analogical Prompting mendorong LLM untuk menghasilkan contoh atau pengetahuan yang relevan dalam konteks sebelum memecahkan masalah yang diberikan. Pendekatan ini menghilangkan kebutuhan akan contoh yang diberi label, menawarkan keumuman dan kenyamanan, dan menyesuaikan contoh yang dihasilkan dengan setiap masalah spesifik, memastikan adaptabilitas.

Kiri: Metode prompt tradisional untuk LLM bergantung pada input generik (0-shot CoT) atau memerlukan contoh yang diberi label (few-shot CoT). Kanan: Pendekatan baru meminta LLM untuk membuat contoh relevan sebelum memecahkan masalah, menghilangkan kebutuhan labeling sambil menyesuaikan contoh dengan setiap masalah unik

Contoh yang Dihasilkan Sendiri

Teknik pertama yang disajikan dalam makalah adalah contoh yang dihasilkan sendiri. Ide ini adalah untuk memanfaatkan pengetahuan luas yang dimiliki LLM selama pelatihan mereka untuk membantu mereka memecahkan masalah baru. Proses ini melibatkan penambahan instruksi pada masalah target yang meminta model untuk mengingat atau menghasilkan masalah dan solusi yang relevan.

Sebagai contoh, diberikan sebuah masalah, model diminta untuk mengingat tiga masalah yang berbeda dan relevan, menjelaskannya, dan menjelaskan solusinya. Proses ini dirancang untuk dilakukan dalam satu langkah, memungkinkan LLM untuk menghasilkan contoh relevan dan memecahkan masalah awal dengan lancar. Penggunaan simbol ‘#’ dalam prompt membantu dalam memstrukturkan respons, membuatnya lebih terorganisir dan lebih mudah bagi model untuk diikuti.

Keputusan teknis kunci yang disoroti dalam makalah termasuk penekanan pada menghasilkan contoh yang relevan dan beragam, adopsi pendekatan satu langkah untuk kenyamanan yang lebih besar, dan temuan bahwa menghasilkan tiga hingga lima contoh memberikan hasil terbaik.

Pengetahuan yang Dihasilkan Sendiri + Contoh

Teknik kedua, pengetahuan yang dihasilkan sendiri + contoh, diperkenalkan untuk menangani tantangan dalam tugas yang lebih kompleks, seperti generasi kode. Dalam skenario ini, LLM mungkin terlalu bergantung pada contoh tingkat rendah dan mengalami kesulitan untuk umum ketika memecahkan masalah target. Untuk memitigasi hal ini, penulis mengusulkan untuk memperkuat prompt dengan instruksi tambahan yang mendorong model untuk mengidentifikasi konsep inti dalam masalah dan menyediakan tutorial atau takeaway tingkat tinggi.

Satu pertimbangan kritis adalah urutan dalam menghasilkan pengetahuan dan contoh. Penulis menemukan bahwa menghasilkan pengetahuan sebelum contoh menghasilkan hasil yang lebih baik, karena membantu LLM untuk fokus pada pendekatan pemecahan masalah fundamental daripada hanya kesamaan tingkat permukaan.

Kelebihan dan Aplikasi

Pendekatan Analogical Prompting menawarkan beberapa kelebihan. Ini menyediakan contoh rinci penalaran tanpa kebutuhan labeling manual, menangani tantangan yang terkait dengan metode 0-shot dan few-shot chain-of-thought (CoT). Selain itu, contoh yang dihasilkan disesuaikan dengan masalah individu, menawarkan panduan yang lebih relevan daripada metode few-shot CoT tradisional, yang menggunakan contoh tetap.

Makalah ini menunjukkan efektivitas pendekatan ini di berbagai tugas penalaran, termasuk pemecahan masalah matematika, generasi kode, dan tugas penalaran lainnya dalam BIG-Bench.

Tabel di bawah ini menyajikan metrik kinerja dari berbagai metode prompt di berbagai arsitektur model. Secara khusus, metode “Contoh yang Dihasilkan Sendiri” secara konsisten mengungguli metode lain dalam hal akurasi. Dalam akurasi GSM8K, metode ini mencapai kinerja tertinggi pada model PaLM2 sebesar 81,7%. Demikian pula, untuk akurasi MATH, metode ini menduduki posisi teratas pada model GPT3.5-turbo sebesar 37,3%.

Kinerja pada tugas matematika, GSM8K dan MATH

Dalam tabel kedua, untuk model GPT3.5-turbo-16k dan GPT4, “Pengetahuan yang Dihasilkan Sendiri + Contoh” menunjukkan kinerja terbaik.

Kinerja pada tugas generasi kode Codeforces

Makalah 2: Ambil Langkah Mundur: Menghidupkan Penalaran melalui Abstraksi dalam Model Bahasa Besar

Ringkasan

Makalah kedua, “Ambil Langkah Mundur: Menghidupkan Penalaran melalui Abstraksi dalam Model Bahasa Besar” memperkenalkan teknik Step-Back Prompting, yang mendorong LLM untuk mengabstraksi konsep tingkat tinggi dan prinsip dari contoh rinci. Penulis, Huaixiu Steven Zheng, Swaroop Mishra, dan lain-lain, bertujuan untuk meningkatkan kemampuan penalaran LLM dengan memandu mereka untuk mengikuti jalur penalaran yang benar menuju solusi.

Menggambarkan STEP-BACK PROMPTING melalui dua fase Abstraksi dan Penalaran, yang dipandu oleh konsep dan prinsip kunci.

Mari kita buat contoh yang lebih sederhana menggunakan pertanyaan matematika dasar untuk mendemonstrasikan teknik “Pertanyaan Langkah Mundur”:

Pertanyaan Asli: Jika kereta api bergerak dengan kecepatan 60 km/jam dan menempuh jarak 120 km, berapa lama waktu yang dibutuhkan?

Opsional:

3 jam
2 jam
1 jam
4 jam
Jawaban Asli [Tidak Benar]: Jawaban yang benar adalah 1).

Pertanyaan Langkah Mundur: Apa rumus dasar untuk menghitung waktu yang diperlukan dengan kecepatan dan jarak yang diberikan?

Prinsip:
Untuk menghitung waktu, kita menggunakan rumus:
Waktu = Jarak / Kecepatan

Jawaban Akhir:
Menggunakan rumus, Waktu = 120 km / 60 km/jam = 2 jam.
Jawaban yang benar adalah 2) 2 jam.

Walaupun LLM saat ini dapat dengan mudah menjawab pertanyaan di atas, contoh ini hanya untuk mendemonstrasikan bagaimana teknik langkah mundur bekerja. Untuk skenario yang lebih menantang, teknik yang sama dapat diterapkan untuk membedah dan menangani masalah secara sistematis. Berikut adalah contoh yang lebih kompleks yang ditunjukkan dalam makalah:

STEP-BACK PROMPTING pada dataset Kimia MMLU

Konsep dan Metodologi Kunci

Inti dari Step-Back Prompting terletak pada kemampuannya untuk membuat LLM mengambil langkah mundur, mendorong mereka untuk melihat gambaran besar daripada terjebak dalam detail. Ini dicapai melalui serangkaian prompt yang dirancang dengan hati-hati yang memandu LLM untuk mengabstraksi informasi, menghasilkan konsep tingkat tinggi, dan menerapkan konsep ini untuk memecahkan masalah yang diberikan.

Proses ini dimulai dengan LLM yang dipandu untuk mengabstraksi detail dari contoh yang diberikan, mendorongnya untuk fokus pada konsep dan prinsip yang mendasarinya. Langkah ini sangat penting karena menetapkan panggung untuk LLM untuk mendekati masalah dari perspektif yang lebih terinformasi dan berprinsip.

Setelah konsep tingkat tinggi dihasilkan, konsep ini digunakan untuk memandu LLM melalui langkah-langkah penalaran menuju solusi. Panduan ini memastikan bahwa LLM tetap pada jalur yang benar, mengikuti jalur logis dan kohern yang didasarkan pada konsep dan prinsip yang diabstraksi.

Penulis melakukan serangkaian eksperimen untuk memvalidasi efektivitas Step-Back Prompting, menggunakan model PaLM-2L di berbagai tugas penalaran yang menantang. Tugas-tugas ini termasuk masalah STEM, Pertanyaan Pengetahuan, dan Penalaran Multi-Langkah, menyediakan testbed komprehensif untuk mengevaluasi teknik ini.

Peningkatan Signifikan di Berbagai Tugas

Hasilnya sangat mengesankan, dengan Step-Back Prompting menghasilkan peningkatan kinerja yang signifikan di semua tugas. Sebagai contoh, teknik ini meningkatkan kinerja PaLM-2L pada MMLU Fisika dan Kimia sebesar 7% dan 11%, masing-masing. Demikian pula, teknik ini meningkatkan kinerja pada TimeQA sebesar 27% dan pada MuSiQue sebesar 7%.

Kinerja STEP-BACK PROMPTING vs CoT

Hasil ini menekankan potensi Step-Back Prompting untuk secara signifikan meningkatkan kemampuan penalaran LLM.

Kesimpulan

Kedua makalah dari Google DeepMind memperkenalkan pendekatan inovatif untuk teknik prompt engineering, yang bertujuan untuk meningkatkan kemampuan penalaran model bahasa besar. Analogical Prompting memanfaatkan konsep penalaran analogi, mendorong model untuk menghasilkan contoh dan pengetahuan mereka sendiri, mengarah pada pemecahan masalah yang lebih adaptif dan efisien. Di sisi lain, Step-Back Prompting berfokus pada abstraksi, memandu model untuk menghasilkan konsep tingkat tinggi dan prinsip, yang pada gilirannya meningkatkan kemampuan penalaran mereka.

Makalah-makalah penelitian ini menyediakan wawasan berharga dan metodologi yang dapat diterapkan di berbagai domain, mengarah pada model bahasa yang lebih cerdas dan lebih maju. Ketika kita terus menjelajahi dan memahami kerumitan teknik prompt engineering, pendekatan ini berfungsi sebagai batu loncatan penting menuju pencapaian sistem AI yang lebih maju dan sopistikasi.