Kemajuan Terbaru dalam Teknik Prompt Engineering: Panduan Lengkap

Teknik prompt engineering, seni dan ilmu dalam menciptakan prompt yang menghasilkan respons yang diinginkan dari LLM, telah menjadi area penelitian dan pengembangan yang sangat penting.

Dari meningkatkan kemampuan penalaran hingga memungkinkan integrasi yang mulus dengan alat dan program eksternal, kemajuan terbaru dalam teknik prompt engineering membuka horizon baru dalam kecerdasan buatan. Berikut kita akan membahas beberapa teknik dan strategi terbaru yang sedang membentuk masa depan teknik prompt engineering.

Teknik Prompt Engineering

Strategi Prompting Lanjutan untuk Pemecahan Masalah Kompleks

Sementara CoT prompting telah terbukti efektif untuk banyak tugas penalaran, peneliti telah mengeksplorasi strategi prompting yang lebih lanjut untuk menangani masalah yang lebih kompleks. Salah satu pendekatan adalah Least-to-Most Prompting, yang memecah masalah kompleks menjadi sub-masalah yang lebih kecil dan lebih mudah dikelola, yang kemudian dipecahkan secara independen dan kemudian digabungkan untuk mencapai solusi akhir.

Teknik inovatif lainnya adalah Tree of Thoughts (ToT) prompting, yang memungkinkan LLM untuk menghasilkan beberapa garis penalaran atau “pikiran” secara paralel, mengevaluasi kemajuan menuju solusi, dan kembali atau menjelajahi jalur alternatif jika diperlukan. Pendekatan ini menggunakan algoritma pencarian seperti breadth-first atau depth-first search, memungkinkan LLM untuk melakukan lookahead dan backtracking selama proses pemecahan masalah.

Mengintegrasikan LLM dengan Alat dan Program Eksternal

Sementara LLM sangat kuat, mereka memiliki keterbatasan bawaan, seperti ketidakmampuan untuk mengakses informasi yang mutakhir atau melakukan penalaran matematika yang presisi. Untuk mengatasi kelemahan ini, peneliti telah mengembangkan teknik yang memungkinkan LLM untuk berintegrasi secara mulus dengan alat dan program eksternal.

Salah satu contoh yang menonjol adalah Toolformer, yang mengajarkan LLM untuk mengidentifikasi skenario yang memerlukan penggunaan alat eksternal, menentukan alat mana yang harus digunakan, memberikan input yang relevan, dan menggabungkan output alat ke dalam respons akhir. Pendekatan ini melibatkan pembangunan dataset sintetis yang menunjukkan penggunaan yang tepat dari berbagai API teks-ke-teks.

Kerangka kerja inovatif lainnya, Chameleon, menggunakan pendekatan “plug-and-play”, yang memungkinkan kontroler LLM berbasis pusat untuk menghasilkan program bahasa alami yang menggabungkan dan mengeksekusi berbagai alat, termasuk LLM, model visi, mesin pencari web, dan fungsi Python. Pendekatan modular ini memungkinkan Chameleon untuk menangani tugas penalaran yang kompleks dan multimodal dengan memanfaatkan kekuatan berbagai alat dan model.

Strategi Prompting Dasar

Prompting Zero-Shot

Prompting zero-shot melibatkan menggambarkan tugas dalam prompt dan meminta model untuk menyelesaikannya tanpa contoh. Misalnya, untuk menerjemahkan “keju” ke dalam bahasa Prancis, prompt zero-shot mungkin adalah:

Pendekatan ini sederhana tetapi dapat dibatasi oleh ketidakjelasan deskripsi tugas.

Prompting Few-Shot

Prompting few-shot memperbaiki prompting zero-shot dengan memasukkan beberapa contoh tugas. Misalnya:

Metode ini mengurangi ketidakjelasan dan memberikan panduan yang lebih jelas bagi model, memanfaatkan kemampuan pembelajaran dalam konteks LLM.

Prompting Instruksi

Prompting instruksi secara eksplisit menggambarkan output yang diinginkan, yang sangat efektif dengan model yang dilatih untuk mengikuti instruksi. Misalnya:

Model seperti GPT-4 telah dilatih khusus untuk mengikuti instruksi tersebut dengan akurat.

Teknik Prompting Lanjutan

Meningkatkan Kemampuan Penalaran dengan Chain-of-Thought Prompting

Salah satu kemajuan terbesar dalam teknik prompt engineering adalah pengembangan Chain-of-Thought (CoT) prompting. Teknik ini bertujuan untuk menghasilkan dan meningkatkan kemampuan penalaran LLM dengan mendorong mereka untuk menghasilkan proses penalaran langkah demi langkah atau rasional sebelum memberikan jawaban akhir.

Kiri: Metode tradisional prompting LLM bergantung pada input generik (0-shot CoT) atau memerlukan contoh yang dilabeli (few-shot CoT). Kanan: Pendekatan baru memprompts LLM untuk membuat contoh relevan sebelum pemecahan masalah, menghilangkan kebutuhan labeling sambil mengkustomisasi contoh untuk setiap masalah unik

CoT prompting bekerja dengan mempresentasikan LLM dengan contoh yang tidak hanya mencakup input dan output, tetapi juga langkah-langkah penalaran intermediate atau “rantai pikiran” yang menuju ke solusi. Dengan belajar dari contoh-contoh ini, LLM dapat kemudian menghasilkan rantai pikirannya sendiri ketika dihadapkan pada masalah baru, meningkatkan kemampuannya untuk menangani tugas penalaran yang kompleks.

Contoh:

Input: Natalie memiliki 3 apel, dan dia ingin membaginya secara merata dengan 2 temannya. Berapa banyak apel yang akan setiap orang dapatkan? Rantai Pikiran: Oke, mari kita pecah ini langkah demi langkah:

1. Natalie memiliki 3 apel
2. Dia ingin membaginya secara merata dengan 2 temannya
3. Jadi, ada 3 orang secara total (Natalie dan 2 temannya)
4. Untuk membagi apel secara merata, kita bagi jumlah total apel (3) dengan jumlah orang (3)
5. 3 dibagi 3 adalah 1
6. Jadi, setiap orang akan mendapatkan 1 apel. Output: Setiap orang akan mendapatkan 1 apel.

Dengan menghasilkan proses penalaran secara eksplisit, LLM seperti GPT-3 dan Codex telah menunjukkan perbaikan signifikan dalam tugas aritmatika, penalaran umum, dan simbolis.

Konsistensi Diri

Konsistensi diri meningkatkan keandalan CoT prompting dengan menghasilkan beberapa rantai pikiran dan mengambil suara mayoritas pada jawaban akhir. Metode ini mitigasi dampak dari jalur penalaran yang salah.

Prompting Least-to-Most

Prompting least-to-most memecah masalah kompleks menjadi sub-masalah yang lebih sederhana, menyelesaikan setiap sub-masalah secara berurutan, dan menggunakan konteks solusi sebelumnya untuk memandu langkah-langkah berikutnya. Pendekatan ini bermanfaat untuk tugas penalaran multi-langkah.

Kemajuan Terbaru dalam Teknik Prompt Engineering

Teknik prompt engineering terus berkembang, dan beberapa teknik inovatif telah muncul untuk meningkatkan kinerja model bahasa besar (LLM). Mari kita jelajahi beberapa metode terbaru ini secara rinci:

Auto-CoT (Automatic Chain-of-Thought Prompting)

Apa Itu: Auto-CoT adalah metode yang mengotomatisasi generasi rantai penalaran untuk LLM, menghilangkan kebutuhan untuk contoh yang dibuat secara manual. Teknik ini menggunakan prompting CoT zero-shot, di mana model dipandu untuk berpikir langkah demi langkah untuk menghasilkan rantai penalarannya.
Bagaimana Cara Kerjanya:

1. Prompting CoT Zero-Shot: Model diberikan prompt sederhana seperti “Mari kita berpikir langkah demi langkah” untuk mendorong penalaran yang terperinci.
2. Keanekaragaman dalam Demonstrasi: Auto-CoT memilih pertanyaan yang beragam dan menghasilkan rantai penalaran untuk pertanyaan-pertanyaan tersebut, memastikan berbagai jenis masalah dan pola penalaran.

Kelebihan:

• Otomatisasi: Mengurangi upaya manual yang diperlukan untuk membuat demonstrasi penalaran.
• Kinerja: Pada berbagai tugas penalaran benchmark, Auto-CoT telah mencapai atau melampaui kinerja prompting CoT manual.

Prompting Berbasis Kompleksitas

Apa Itu: Teknik ini memilih contoh dengan kompleksitas tertinggi (yaitu, jumlah langkah penalaran terbanyak) untuk dimasukkan dalam prompt. Tujuannya adalah untuk meningkatkan kinerja model pada tugas yang memerlukan beberapa langkah penalaran.
Bagaimana Cara Kerjanya:

1. Pemilihan Contoh: Prompt dipilih berdasarkan jumlah langkah penalaran yang mereka miliki.
2. Konsistensi Berbasis Kompleksitas: Selama decoding, beberapa rantai penalaran disampling, dan suara mayoritas diambil dari rantai yang paling kompleks.

Kelebihan:

• Kinerja yang Ditingkatkan: Akurasi yang jauh lebih baik pada tugas penalaran multi-langkah.
• Keandalan: Efektif bahkan di bawah distribusi prompt yang berbeda dan data yang berisik.

Progressive-Hint Prompting (PHP)

Apa Itu: PHP mengembangkan jawaban model secara iteratif dengan menggunakan rasional yang dihasilkan sebelumnya sebagai petunjuk. Metode ini memanfaatkan respons model sebelumnya untuk memandu menuju jawaban yang benar melalui beberapa iterasi.
Bagaimana Cara Kerjanya:

1. Jawaban Awal: Model menghasilkan jawaban dasar menggunakan prompt standar.
2. Petunjuk dan Peningkatan: Jawaban awal ini kemudian digunakan sebagai petunjuk dalam prompt berikutnya untuk memperbaiki jawaban.
3. Proses Iteratif: Proses ini berlanjut hingga jawaban stabil selama iterasi berturut-turut.

Kelebihan:

• Akurasi: Perbaikan signifikan dalam akurasi penalaran.
• Efisiensi: Mengurangi jumlah jalur sampel yang diperlukan, meningkatkan efisiensi komputasi.

Decomposed Prompting (DecomP)

Apa Itu: DecomP memecah tugas kompleks menjadi sub-tugas yang lebih sederhana, masing-masing ditangani oleh prompt atau model yang spesifik. Pendekatan modular ini memungkinkan penanganan masalah yang lebih efektif.
Bagaimana Cara Kerjanya:

1. Pemecahan Tugas: Masalah utama dipecah menjadi sub-tugas yang lebih kecil.
2. Pengelola Sub-Tugas: Setiap sub-tugas dikelola oleh model atau prompt yang khusus.
3. <strong:Integrasi Modular: Pengelola ini dapat dioptimalkan, diganti, atau digabungkan sesuai kebutuhan untuk menyelesaikan tugas kompleks.

Kelebihan:

• Fleksibilitas: Mudah untuk diperbaiki dan ditingkatkan pada sub-tugas tertentu.
• Skalabilitas: Menangani tugas dengan konteks panjang dan sub-tugas kompleks secara efektif.

Hypotheses-to-Theories (HtT) Prompting

Apa Itu: HtT menggunakan proses penemuan ilmiah di mana model menghasilkan dan memverifikasi hipotesis untuk menyelesaikan masalah kompleks. Metode ini melibatkan pembuatan perpustakaan aturan dari hipotesis yang diverifikasi, yang kemudian digunakan oleh model untuk penalaran.
Bagaimana Cara Kerjanya:

1. Tahap Induksi: Model menghasilkan aturan potensial dan memverifikasinya melawan contoh pelatihan.
2. Pembuatan Perpustakaan Aturan: Aturan yang diverifikasi dikumpulkan untuk membentuk perpustakaan aturan.
3. Tahap Deduksi: Model menerapkan aturan-aturan ini pada masalah baru, menggunakan perpustakaan aturan untuk memandu penalarannya.

Kelebihan:

• Akurasi: Mengurangi kemungkinan kesalahan dengan mengandalkan himpunan aturan yang diverifikasi.
• Transferabilitas: Aturan yang dipelajari dapat ditransfer ke model dan bentuk masalah yang berbeda.

Teknik Prompting yang Ditingkatkan dengan Alat

Toolformer

Toolformer mengintegrasikan LLM dengan alat eksternal melalui API teks-ke-teks, memungkinkan model untuk menggunakan alat-alat ini untuk menyelesaikan masalah yang tidak bisa diselesaikan sebelumnya. Misalnya, LLM bisa memanggil API kalkulator untuk melakukan operasi aritmatika.

Chameleon

Chameleon menggunakan kontroler LLM berbasis pusat untuk menghasilkan program yang menggabungkan berbagai alat untuk menyelesaikan tugas penalaran yang kompleks. Pendekatan ini memanfaatkan berbagai alat, termasuk model visi dan mesin pencari web, untuk meningkatkan kemampuan pemecahan masalah.

GPT4Tools

GPT4Tools melakukan fine-tuning pada LLM sumber terbuka untuk menggunakan alat multimodal melalui pendekatan self-instruct, menunjukkan bahwa model non-proprieter juga bisa memanfaatkan alat eksternal untuk kinerja yang lebih baik.

Gorilla dan HuggingGPT

Baik Gorilla maupun HuggingGPT mengintegrasikan LLM dengan model pembelajaran dalam yang spesifik yang tersedia online. Sistem-sistem ini menggunakan proses fine-tuning yang sadar pencarian dan pendekatan perencanaan dan koordinasi, masing-masing, untuk menyelesaikan tugas kompleks yang melibatkan beberapa model.

Model Bahasa yang Dibantu Program (PALs) dan Program Pikiran (PoTs)

Selain mengintegrasikan dengan alat eksternal, peneliti juga telah menjelajahi cara untuk meningkatkan kemampuan pemecahan masalah LLM dengan menggabungkan bahasa alami dengan konstruksi pemrograman. Model Bahasa yang Dibantu Program (PALs) dan Program Pikiran (PoTs) adalah dua pendekatan yang memanfaatkan kode untuk meningkatkan proses penalaran LLM.

PALs memprompts LLM untuk menghasilkan rasional yang menggabungkan bahasa alami dengan kode (misalnya, Python), yang kemudian dapat dijalankan untuk menghasilkan solusi akhir. Pendekatan ini menangani kasus kegagalan umum di mana LLM menghasilkan penalaran yang benar tetapi jawaban akhir yang salah.

Serupa, PoTs menggunakan perpustakaan matematika simbolik seperti SymPy, memungkinkan LLM untuk mendefinisikan simbol dan ekspresi matematika yang dapat digabungkan dan dievaluasi menggunakan fungsi solve SymPy. Dengan mendelegasikan perhitungan kompleks ke interpreter kode, teknik-teknik ini memisahkan penalaran dari komputasi, memungkinkan LLM untuk menangani masalah yang lebih rumit secara efektif.

Memahami dan Menggunakan Jendela Konteks

Kinerja LLM sangat bergantung pada kemampuan mereka untuk memproses dan memanfaatkan konteks yang diberikan dalam prompt. Peneliti telah menyelidiki bagaimana LLM menangani konteks panjang dan dampak informasi yang tidak relevan pada output mereka.

Fenomena “Lost in the Middle” menyoroti bagaimana LLM cenderung memperhatikan informasi di awal dan akhir konteks, sementara informasi di tengah sering diabaikan atau “hilang”. Wawasan ini memiliki implikasi untuk teknik prompt engineering, karena penempatan informasi yang relevan dalam konteks dapat secara signifikan mempengaruhi kinerja.

Penelitian lain fokus pada mitigasi dampak merugikan dari konteks yang tidak relevan, yang dapat secara signifikan mengurangi kinerja LLM. Teknik seperti konsistensi diri, instruksi eksplisit untuk mengabaikan informasi yang tidak relevan, dan memasukkan contoh yang menunjukkan penyelesaian masalah dengan konteks yang tidak relevan dapat membantu LLM belajar untuk fokus pada informasi yang paling penting.

Meningkatkan Kemampuan Menulis dengan Strategi Prompting

Sementara LLM unggul dalam menghasilkan teks yang mirip dengan manusia, kemampuan menulis mereka dapat ditingkatkan lebih lanjut melalui strategi prompting khusus. Salah satu teknik tersebut adalah Skeleton-of-Thought (SoT) prompting, yang bertujuan untuk mengurangi latensi dekoding berurutan dengan meniru proses menulis manusia.

SoT prompting melibatkan memprompts LLM untuk menghasilkan kerangka atau outline jawaban terlebih dahulu, diikuti dengan panggilan API paralel untuk mengisi detail setiap elemen outline. Pendekatan ini tidak hanya meningkatkan latensi inferensi tetapi juga dapat meningkatkan kualitas penulisan dengan mendorong LLM untuk merencanakan dan membangun outputnya secara lebih efektif.

Strategi prompting lainnya, Chain of Density (CoD) prompting, fokus pada meningkatkan kepadatan informasi dari ringkasan yang dihasilkan LLM. Dengan menambahkan entitas secara iteratif ke dalam ringkasan sambil menjaga panjang tetap, CoD prompting memungkinkan pengguna untuk menjelajahi trade-off antara kesingkatan dan kelengkapan, akhirnya menghasilkan ringkasan yang lebih informatif dan mudah dibaca.

Arah Baru dan Tren Masa Depan

Teknik Prompt Engineering Lanjutan

Bidang teknik prompt engineering terus berkembang, dengan peneliti terus menjelajahi frontir baru dan mendorong batas apa yang mungkin dilakukan dengan LLM. Beberapa arah baru termasuk:

1. Prompting Aktif: Teknik yang memanfaatkan prinsip pembelajaran aktif berbasis ketidakpastian untuk mengidentifikasi dan melabeli contoh yang paling berguna untuk menyelesaikan masalah penalaran tertentu.
2. Prompting Multimodal: Perluasan strategi prompting untuk menangani input multimodal yang menggabungkan teks, gambar, dan modalitas data lainnya.
3. Pengembangan Otomatis Prompt: Pengembangan teknik optimasi untuk menghasilkan prompt yang efektif secara otomatis, disesuaikan dengan tugas atau domain tertentu.
4. Interpretabilitas dan Penjelasan: Eksplorasi teknik prompting yang meningkatkan interpretabilitas dan penjelasan output LLM, memungkinkan transparansi dan kepercayaan yang lebih baik dalam proses pengambilan keputusan mereka.

Ketika LLM terus berkembang dan menemukan aplikasi di berbagai domain, teknik prompt engineering akan memainkan peran kunci dalam membuka potensi penuh mereka. Dengan memanfaatkan teknik prompting terbaru dan strategi, peneliti dan praktisi dapat mengembangkan solusi AI yang lebih kuat, andal, dan spesifik tugas yang mendorong batas apa yang mungkin dilakukan dengan pemrosesan bahasa alami.

Kesimpulan

Bidang teknik prompt engineering untuk model bahasa besar terus berkembang, dengan peneliti terus mendorong batas apa yang mungkin dilakukan. Dari meningkatkan kemampuan penalaran dengan teknik seperti Chain-of-Thought prompting hingga mengintegrasikan LLM dengan alat dan program eksternal, kemajuan terbaru dalam teknik prompt engineering membuka horizon baru dalam kecerdasan buatan.