Analogical & Step-Back Prompting: A Dive into Recent Advancements by Google DeepMind

Pendahuluan

Teknik prompt engineering berfokus pada membuat prompt yang efektif untuk memandu Large Language Models (LLM) seperti GPT-4 dalam menghasilkan respons yang diinginkan. Sebuah prompt yang dirancang dengan baik dapat menjadi perbedaan antara jawaban yang samar atau tidak akurat dan jawaban yang presisi dan mendalam.

Dalam ekosistem AI yang lebih luas, teknik prompt engineering adalah salah satu dari beberapa metode yang digunakan untuk mengekstrak informasi yang lebih akurat dan relevan dari model bahasa. Metode lainnya termasuk teknik seperti few-shot learning, di mana model diberi beberapa contoh untuk membantu memahami tugas, dan fine-tuning, di mana model dilatih lebih lanjut pada dataset yang lebih kecil untuk mengkhususkan responsnya.

Google DeepMind telah menerbitkan dua makalah yang menyelami teknik prompt engineering dan potensinya untuk meningkatkan respons pada berbagai situasi.

Makalah-makalah ini merupakan bagian dari eksplorasi berkelanjutan di komunitas AI untuk memperbaiki dan mengoptimalkan cara kita berkomunikasi dengan model bahasa, dan mereka menyediakan wawasan baru tentang struktur prompt untuk penanganan kueri dan interaksi database yang lebih baik.

Artikel ini menyelami detail dari makalah penelitian ini, menjelaskan konsep, metode, dan implikasi dari teknik yang diusulkan, membuatnya dapat diakses bahkan oleh pembaca dengan pengetahuan terbatas di AI dan NLP.

Makalah 1: Large Language Models sebagai Analogical Reasoners

Makalah pertama, berjudul “Large Language Models sebagai Analogical Reasoners,” memperkenalkan pendekatan prompt baru yang disebut Analogical Prompting. Penulis, Michihiro Yasunaga, Xinyun Chen, dan lain-lain, mengambil inspirasi dari penalaran analogis—proses kognitif di mana manusia menggunakan pengalaman masa lalu untuk menyelesaikan masalah baru.

Konsep dan Metodologi Utama

Analogical Prompting mendorong LLM untuk menghasilkan contoh atau pengetahuan yang relevan dalam konteks sebelum melanjutkan untuk menyelesaikan masalah yang diberikan. Pendekatan ini menghilangkan kebutuhan akan contoh yang dilabeli, menawarkan keumuman dan kenyamanan, dan menyesuaikan contoh yang dihasilkan dengan setiap masalah spesifik, memastikan adaptabilitas.

Kiri: Metode prompting LLM tradisional bergantung pada input generik (0-shot CoT) atau memerlukan contoh yang dilabeli (few-shot CoT). Kanan: Pendekatan baru meminta LLM untuk menghasilkan contoh yang relevan sebelum menyelesaikan masalah, menghilangkan kebutuhan labeling sambil menyesuaikan contoh dengan setiap masalah unik

Contoh yang Dihasilkan Sendiri

Teknik pertama yang disajikan dalam makalah adalah contoh yang dihasilkan sendiri. Ide ini adalah untuk memanfaatkan pengetahuan yang luas yang dimiliki LLM selama pelatihan mereka untuk membantu mereka menyelesaikan masalah baru. Proses ini melibatkan penambahan masalah target dengan instruksi yang meminta model untuk mengingat atau menghasilkan masalah dan solusi yang relevan.

Misalnya, diberikan sebuah masalah, model diminta untuk mengingat tiga masalah yang berbeda dan relevan, menjelaskannya, dan menjelaskan solusinya. Proses ini dirancang untuk dilakukan dalam satu langkah, memungkinkan LLM untuk menghasilkan contoh yang relevan dan menyelesaikan masalah awal dengan lancar. Penggunaan simbol ‘#’ dalam prompt membantu dalam struktur respons, membuatnya lebih terorganisir dan lebih mudah untuk model untuk diikuti.

Keputusan teknis yang disoroti dalam makalah termasuk penekanan pada menghasilkan contoh yang relevan dan beragam, adopsi pendekatan satu langkah untuk kenyamanan yang lebih besar, dan temuan bahwa menghasilkan tiga hingga lima contoh menghasilkan hasil terbaik.

Pengetahuan yang Dihasilkan Sendiri + Contoh

Teknik kedua, pengetahuan yang dihasilkan sendiri + contoh, diperkenalkan untuk menangani tantangan dalam tugas yang lebih kompleks, seperti generasi kode. Dalam skenario ini, LLM mungkin terlalu bergantung pada contoh tingkat rendah dan kesulitan untuk menggeneralisasi saat menyelesaikan masalah target. Untuk mengatasi ini, penulis mengusulkan untuk memperkuat prompt dengan instruksi tambahan yang mendorong model untuk mengidentifikasi konsep inti dalam masalah dan menyediakan tutorial atau takeaway tingkat tinggi.

Pertimbangan kritis adalah urutan di mana pengetahuan dan contoh dihasilkan. Penulis menemukan bahwa menghasilkan pengetahuan sebelum contoh menghasilkan hasil yang lebih baik, karena membantu LLM untuk fokus pada pendekatan penyelesaian masalah yang mendasar daripada hanya kesamaan permukaan.

Kelebihan dan Aplikasi

Pendekatan prompting analogis menawarkan beberapa kelebihan. Ini menyediakan contoh rinci tentang penalaran tanpa memerlukan labeling manual, menangani tantangan yang terkait dengan metode 0-shot dan few-shot chain-of-thought (CoT). Selain itu, contoh yang dihasilkan disesuaikan dengan masalah individu, menawarkan bimbingan yang lebih relevan daripada few-shot CoT tradisional, yang menggunakan contoh tetap.

Makalah ini menunjukkan efektivitas pendekatan ini di berbagai tugas penalaran, termasuk penyelesaian masalah matematika, generasi kode, dan tugas penalaran lainnya di BIG-Bench.

Tabel di bawah ini menyajikan metrik kinerja dari berbagai metode prompting di berbagai arsitektur model. Secara khusus, metode “Contoh yang Dihasilkan Sendiri” secara konsisten mengungguli metode lain dalam hal akurasi. Dalam akurasi GSM8K, metode ini mencapai kinerja tertinggi pada model PaLM2 sebesar 81,7%. Demikian pula, untuk akurasi MATH, metode ini berada di atas grafik pada GPT3.5-turbo sebesar 37,3%.

Kinerja pada tugas matematika, GSM8K dan MATH

Dalam tabel kedua, untuk model GPT3.5-turbo-16k dan GPT4, “Pengetahuan yang Dihasilkan Sendiri + Contoh” menunjukkan kinerja terbaik.

Kinerja pada tugas generasi kode Codeforces

Makalah 2: Ambil Langkah Mundur: Menghidupkan Penalaran melalui Abstraksi dalam Large Language Models

Ikhtisar

Makalah kedua, “Ambil Langkah Mundur: Menghidupkan Penalaran melalui Abstraksi dalam Large Language Models” menyajikan teknik Step-Back Prompting, yang mendorong LLM untuk mengabstraksi konsep tingkat tinggi dan prinsip dasar dari contoh rinci. Penulis, Huaixiu Steven Zheng, Swaroop Mishra, dan lain-lain, bertujuan untuk meningkatkan kemampuan penalaran LLM dengan memandu mereka untuk mengikuti jalur penalaran yang benar menuju solusi.

Menggambarkan STEP-BACK PROMPTING melalui dua fase Abstraksi dan Penalaran, yang dipandu oleh konsep dan prinsip kunci.

Mari kita buat contoh yang lebih sederhana menggunakan pertanyaan matematika dasar untuk mendemonstrasikan teknik “Pertanyaan Langkah Mundur”:

Pertanyaan Asli: Jika kereta api berjalan dengan kecepatan 60 km/jam dan menempuh jarak 120 km, berapa lama waktu yang dibutuhkan?

Opsi:

3 jam
2 jam
1 jam
4 jam
Jawaban Asli [Tidak Benar]: Jawaban yang benar adalah 1).

Pertanyaan Langkah Mundur: Apa rumus dasar untuk menghitung waktu yang diberikan kecepatan dan jarak?

Prinsip:
Untuk menghitung waktu, kita menggunakan rumus:
Waktu = Jarak / Kecepatan

Jawaban Akhir:
Menggunakan rumus, Waktu = 120 km / 60 km/jam = 2 jam.
Jawaban yang benar adalah 2) 2 jam.

Meskipun LLM saat ini dapat dengan mudah menjawab pertanyaan di atas, contoh ini hanya untuk mendemonstrasikan bagaimana teknik langkah mundur bekerja. Untuk skenario yang lebih menantang, teknik yang sama dapat diterapkan untuk membedah dan menangani masalah secara sistematis. Di bawah ini adalah contoh yang lebih kompleks yang ditunjukkan dalam makalah:

STEP-BACK PROMPTING pada dataset MMLU-Kimia

Konsep dan Metodologi Utama

Inti dari Step-Back Prompting terletak pada kemampuannya untuk membuat LLM mengambil langkah mundur, mendorong mereka untuk melihat gambaran yang lebih besar daripada terjebak dalam detail. Ini dicapai melalui serangkaian prompt yang dirancang dengan hati-hati yang memandu LLM untuk mengabstraksi informasi, menghasilkan konsep tingkat tinggi, dan menerapkan konsep ini untuk menyelesaikan masalah yang diberikan.

Proses ini dimulai dengan LLM yang diprompt untuk mengabstraksi detail dari contoh yang diberikan, mendorong mereka untuk fokus pada konsep dan prinsip dasar. Langkah ini sangat penting karena menetapkan panggung untuk LLM untuk mendekati masalah dari perspektif yang lebih terinformasi dan berprinsip.

Setelah konsep tingkat tinggi dihasilkan, mereka digunakan untuk memandu LLM melalui langkah-langkah penalaran menuju solusi. Bimbingan ini memastikan bahwa LLM tetap pada jalur yang benar, mengikuti jalur logis dan kohern yang didasarkan pada konsep dan prinsip yang diabstraksi.

Penulis melakukan serangkaian eksperimen untuk memvalidasi efektivitas Step-Back Prompting, menggunakan model PaLM-2L di berbagai tugas penalaran yang menantang. Tugas-tugas ini termasuk masalah STEM, Knowledge QA, dan Multi-Hop Reasoning, menyediakan testbed komprehensif untuk mengevaluasi teknik ini.

Peningkatan yang Substansial di Berbagai Tugas

Hasilnya sangat mengesankan, dengan Step-Back Prompting menghasilkan peningkatan kinerja yang substansial di semua tugas. Misalnya, teknik ini meningkatkan kinerja PaLM-2L pada MMLU Fisika dan Kimia sebesar 7% dan 11%, masing-masing. Demikian pula, itu memperkuat kinerja pada TimeQA sebesar 27% dan pada MuSiQue sebesar 7%.

Kinerja STEP-BACK PROMPTING vs CoT

Hasil ini menekankan potensi Step-Back Prompting untuk secara signifikan meningkatkan kemampuan penalaran LLM.

Kesimpulan

Kedua makalah dari Google DeepMind menyajikan pendekatan inovatif untuk teknik prompt engineering, yang bertujuan untuk meningkatkan kemampuan penalaran large language models. Analogical Prompting memanfaatkan konsep penalaran analogis, mendorong model untuk menghasilkan contoh dan pengetahuan mereka sendiri, mengarah pada penyelesaian masalah yang lebih adaptif dan efisien. Di sisi lain, Step-Back Prompting berfokus pada abstraksi, memandu model untuk menghasilkan konsep tingkat tinggi dan prinsip, yang pada gilirannya meningkatkan kemampuan penalaran mereka.

Makalah penelitian ini menyediakan wawasan dan metodologi yang berharga yang dapat diterapkan di berbagai domain, mengarah pada model bahasa yang lebih cerdas dan mampu. Ketika kita terus menjelajahi dan memahami kerumitan teknik prompt engineering, pendekatan ini berfungsi sebagai batu loncatan penting menuju pencapaian sistem AI yang lebih maju dan canggih.