ChatGPT & Teknik Pengembangan Prompt Lanjutan: Menggerakkan Evolusi AI

OpenAI telah memainkan peran penting dalam mengembangkan alat revolusioner seperti OpenAI Gym, yang dirancang untuk melatih algoritma penguatan, dan model GPT-n. Sorotan juga diberikan pada DALL-E, model AI yang membuat gambar dari input teks. Salah satu model yang telah mendapatkan perhatian besar adalah ChatGPT OpenAI, contoh yang cemerlang di bidang Large Language Models.

GPT-4: Teknik Pengembangan Prompt

ChatGPT telah mengubah lanskap chatbot, menawarkan respons yang mirip manusia terhadap input pengguna dan memperluas aplikasinya di berbagai domain – dari pengembangan dan pengujian perangkat lunak hingga komunikasi bisnis, dan bahkan pembuatan puisi.

Di tangan bisnis dan individu, GPT-4, misalnya, dapat berfungsi sebagai reservoir pengetahuan yang tak terbatas, mahir dalam subjek yang berkisar dari Matematika dan Biologi hingga Studi Hukum. Model AI yang canggih dan mudah diakses seperti ini berpotensi untuk mendefinisikan kembali masa depan pekerjaan, pembelajaran, dan kreativitas.

Model generatif seperti GPT-4 dapat menghasilkan data baru berdasarkan input yang ada. Atribut pembeda ini memungkinkan mereka untuk melakukan tugas yang beragam, termasuk menghasilkan teks, gambar, musik, dan video.

Dalam konteks ChatGPT dan model OpenAI, prompt adalah input yang diberikan oleh pengguna kepada model, biasanya dalam bentuk teks. Prompt berfungsi sebagai sarana utama untuk mengontrol output yang dihasilkan oleh model ini, membuatnya sangat penting untuk percakapan yang sukses dan relevan.

Dampak Kualitas Prompt

Menggunakan prompt yang terdefinisi dengan baik adalah kunci untuk terlibat dalam percakapan yang berguna dan bermakna dengan sistem AI. Prompt yang tidak terdefinisi dengan baik dapat menghasilkan output yang tidak berguna bagi pengguna dan bahkan dapat menyebabkan konten yang menyesatkan.

Untuk menunjukkan dampak kualitas prompt, mari kita bandingkan dua prompt yang berbeda yang diberikan kepada ChatGPT. Prompt pertama, yang tidak terdefinisi dengan baik dan mengasumsikan pengetahuan sebelumnya, menghasilkan respons yang potensial tidak berguna bagi pengguna. Di sisi lain, prompt kedua menyediakan lebih banyak konteks dan contoh, memastikan respons yang lebih relevan dan dapat dipahami.

Prompt 1: “Beritahu saya tentang Jaringan Saraf Konvolusi.”

Respons 1: “Jaringan Saraf Konvolusi (CNN) adalah jaringan perceptron multi-lapis yang terdiri dari lapisan yang sepenuhnya terhubung dan lapisan pooling. Mereka umumnya digunakan dalam tugas pengenalan gambar. Prosesnya melibatkan menerapkan filter pada gambar input dan menurunkan ukurannya menggunakan lapisan pooling.”

Prompt 2: “Saya ingin mempelajari tentang Jaringan Saraf Konvolusi, tetapi saya tidak memiliki pengetahuan sebelumnya tentang Jaringan Saraf Buatan. Bisakah Anda memberikan penjelasan yang ramah bagi pemula dan contoh tentang bagaimana CNN digunakan dalam pengenalan gambar?”

Respons 2: “Jaringan Saraf Konvolusi (CNN) adalah jenis jaringan saraf yang utamanya digunakan untuk tugas pengenalan gambar. Berbeda dengan jaringan saraf lainnya, mereka menggunakan lapisan konvolusi dan lapisan pooling untuk memproses gambar. Bayangkan Anda memiliki gambar seekor kucing. CNN dapat mengidentifikasi fitur-fitur yang berbeda dalam gambar, seperti telinga, mata, dan ekor, dengan menerapkan filter dan menurunkan ukurannya menggunakan lapisan pooling. Proses ini membuat CNN sangat efektif untuk mengenali objek dalam gambar.”

Dengan membandingkan kedua respons, jelas bahwa prompt yang terdefinisi dengan baik menghasilkan respons yang lebih relevan dan ramah bagi pengguna. Desain dan rekayasa prompt adalah disiplin yang berkembang yang bertujuan untuk mengoptimalkan kualitas output model AI seperti ChatGPT.

Dalam bagian selanjutnya dari artikel ini, kita akan memasuki ranah metodologi lanjutan yang dirancang untuk memperbaiki Model Bahasa Besar (LLM), seperti teknik pengembangan prompt dan taktik. Ini termasuk pembelajaran beberapa contoh, ReAct, rantai pemikiran, RAG, dan lain-lain.

Teknik Pengembangan Lanjutan

Sebelum kita melanjutkan, penting untuk memahami masalah utama dengan LLM, yang disebut ‘halusinasi’. Dalam konteks LLM, ‘halusinasi’ mengacu pada kecenderungan model untuk menghasilkan output yang mungkin tampak masuk akal tetapi tidak berakar pada kenyataan atau konteks input yang diberikan.

Masalah ini ditekankan dalam kasus pengadilan baru-baru ini di mana seorang pengacara pertahanan menggunakan ChatGPT untuk penelitian hukum. Alat AI, yang gagal karena masalah halusinasi, mengutip kasus hukum yang tidak ada. Kesalahan ini memiliki konsekuensi signifikan, menyebabkan kebingungan dan merusak kredibilitas selama proses pengadilan. Insiden ini merupakan peringatan yang jelas tentang kebutuhan mendesak untuk mengatasi masalah ‘halusinasi’ dalam sistem AI.

Penjelajahan kita ke dalam teknik pengembangan prompt bertujuan untuk memperbaiki aspek-aspek LLM ini. Dengan meningkatkan efisiensi dan keamanan mereka, kita membuka jalan bagi aplikasi inovatif seperti ekstraksi informasi. Selain itu, ini memungkinkan integrasi LLM dengan alat dan sumber data eksternal, memperluas jangkauan potensial penggunaannya.

Pembelajaran Nol dan Beberapa Contoh: Mengoptimalkan dengan Contoh

Transformator Prapengajaran (GPT-3) menandai titik penting dalam pengembangan model AI generatif, karena memperkenalkan konsep ‘pembelajaran beberapa contoh.’ Metode ini merupakan permainan yang berubah karena kemampuannya untuk beroperasi secara efektif tanpa kebutuhan akan penyetelan yang komprehensif. Kerangka GPT-3 dibahas dalam makalah, “Model Bahasa adalah Pembelajar Beberapa Contoh” di mana penulis menunjukkan bagaimana model ini unggul dalam berbagai kasus penggunaan tanpa memerlukan dataset atau kode kustom.

Tidak seperti penyetelan, yang memerlukan upaya terus-menerus untuk menyelesaikan kasus penggunaan yang berbeda, model beberapa contoh menunjukkan kemampuan adaptasi yang lebih mudah ke berbagai aplikasi. Sementara penyetelan mungkin menyediakan solusi yang kuat dalam beberapa kasus, itu bisa mahal dalam skala, membuat penggunaan model beberapa contoh menjadi pendekatan yang lebih praktis, terutama ketika diintegrasikan dengan pengembangan prompt.

Bayangkan Anda mencoba menerjemahkan bahasa Inggris ke bahasa Perancis. Dalam pembelajaran beberapa contoh, Anda akan memberikan GPT-3 beberapa contoh terjemahan seperti “sea otter -> loutre de mer”. GPT-3, sebagai model canggih, kemudian dapat melanjutkan untuk memberikan terjemahan yang akurat. Dalam pembelajaran nol, Anda tidak akan memberikan contoh, dan GPT-3 masih dapat menerjemahkan bahasa Inggris ke bahasa Perancis secara efektif.

Istilah ‘pembelajaran beberapa contoh’ berasal dari ide bahwa model diberikan sejumlah contoh terbatas untuk ‘belajar’. ‘Belajar’ dalam konteks ini tidak melibatkan pembaruan parameter atau bobot model, melainkan mempengaruhi kinerja model.

Pembelajaran Beberapa Contoh seperti yang Ditunjukkan dalam Makalah GPT-3

Pembelajaran nol mengambil konsep ini lebih jauh. Dalam pembelajaran nol, tidak ada contoh penyelesaian tugas yang diberikan dalam model. Model diharapkan untuk berkinerja baik berdasarkan pelatihan awal, membuat metode ini ideal untuk skenario jawaban pertanyaan domain terbuka seperti ChatGPT.

Dalam banyak kasus, model yang mahir dalam pembelajaran nol dapat berkinerja baik ketika diberikan beberapa contoh atau bahkan satu contoh. Kemampuan untuk beralih antara skenario pembelajaran nol, satu contoh, dan beberapa contoh menekankan adaptabilitas model besar, meningkatkan potensi aplikasi mereka di berbagai domain.

Metode pembelajaran nol menjadi semakin umum. Metode ini ditandai dengan kemampuan mereka untuk mengenali objek yang tidak terlihat selama pelatihan. Berikut adalah contoh praktis dari Prompt Beberapa Contoh:

"Terjemahkan frasa bahasa Inggris berikut ke bahasa Perancis:

'sea otter' diterjemahkan ke 'loutre de mer'
'sky' diterjemahkan ke 'ciel'
Apa yang diterjemahkan 'cloud' ke dalam bahasa Perancis?'"

Dengan memberikan model beberapa contoh dan kemudian mengajukan pertanyaan, kita dapat secara efektif memandu model untuk menghasilkan output yang diinginkan. Dalam kasus ini, GPT-3 kemungkinan akan menerjemahkan ‘cloud’ ke ‘nuage’ dalam bahasa Perancis secara akurat.

Kita akan mempelajari lebih lanjut tentang nuansa teknik pengembangan prompt dan peran pentingnya dalam mengoptimalkan kinerja model selama inferensi. Kita juga akan melihat bagaimana itu dapat digunakan untuk membuat solusi yang efektif biaya dan dapat diskalakan di berbagai kasus penggunaan.

Seiring kita menjelajahi kompleksitas teknik pengembangan prompt dalam model GPT, penting untuk menyoroti posting sebelumnya ‘Panduan Utama untuk Teknik Pengembangan Prompt di ChatGPT‘. Panduan ini memberikan wawasan tentang strategi untuk menginstruksikan model AI secara efektif di berbagai kasus penggunaan.

Dalam diskusi sebelumnya, kita membahas metode prompt dasar untuk model bahasa besar (LLM) seperti pembelajaran nol dan beberapa contoh, serta prompting instruksi. Menguasai teknik-teknik ini sangat penting untuk mengatasi tantangan yang lebih kompleks dari pengembangan prompt yang akan kita jelajahi di sini.

Pembelajaran beberapa contoh dapat terbatas karena jendela konteks yang terbatas dari sebagian besar LLM. Selain itu, tanpa perlindungan yang tepat, LLM dapat salah mengarahkan output yang potensial berbahaya. Banyak model juga berjuang dengan tugas penalaran atau mengikuti instruksi multi-langkah.

Mengingat keterbatasan ini, tantangan terletak pada pemanfaatan LLM untuk menangani tugas yang kompleks. Solusi yang jelas mungkin adalah mengembangkan LLM yang lebih canggih atau memperbaiki yang ada, tetapi itu bisa memerlukan upaya yang substansial. Jadi, pertanyaan yang muncul adalah: bagaimana kita dapat mengoptimalkan model saat ini untuk perbaikan pemecahan masalah?

Sangat menarik juga untuk menjelajahi bagaimana teknik ini berinteraksi dengan aplikasi kreatif dalam ‘Menguasai Seni AI: Panduan Ringkas untuk Midjourney dan Teknik Pengembangan Prompt‘ yang menjelaskan bagaimana fusi seni dan AI dapat menghasilkan karya seni yang luar biasa.

Rantai Pemikiran

Rantai pemikiran memanfaatkan sifat auto-regresi yang melekat pada model bahasa besar (LLM), yang sangat baik dalam memprediksi kata berikutnya dalam urutan yang diberikan. Dengan meminta model untuk menjelaskan proses pemikirannya, itu memicu generasi ide yang lebih menyeluruh dan sistematis, yang cenderung sejalan dengan informasi yang akurat. Ini berasal dari kecenderungan model untuk memproses dan menyampaikan informasi dengan cara yang terstruktur dan teratur, mirip dengan seorang ahli yang menjelaskan konsep kompleks kepada pendengar. Pernyataan sederhana seperti “jelaskan langkah demi langkah…” seringkali cukup untuk memicu output yang lebih rinci dan terperinci.

Rantai Pemikiran Nol

Sementara prompting rantai pemikiran konvensional memerlukan pelatihan sebelumnya dengan demonstrasi, area yang muncul adalah prompting rantai pemikiran nol. Pendekatan ini, yang diperkenalkan oleh Kojima et al. (2022), secara inovatif menambahkan frasa “Mari kita pikirkan langkah demi langkah” ke prompt asli.

Mari kita buat prompt lanjutan di mana ChatGPT diminta untuk meringkas poin-poin kunci dari makalah penelitian AI dan NLP.

Dalam demonstrasi ini, kita akan menggunakan kemampuan model untuk memahami dan meringkas informasi kompleks dari teks akademis. Menggunakan pendekatan pembelajaran beberapa contoh, mari kita ajari ChatGPT untuk meringkas temuan kunci dari makalah penelitian AI dan NLP:

1. Judul Makalah: "Perhatian Adalah Yang Anda Butuhkan"
Poin Kunci: Memperkenalkan model transformer, menekankan pentingnya mekanisme perhatian daripada lapisan berulang untuk tugas transduksi urutan.

2. Judul Makalah: "BERT: PRA-Pelatihan Transformer Dalam untuk Pemahaman Bahasa"
Poin Kunci: Memperkenalkan BERT, menunjukkan efikasi dari model berarah ganda yang dipra-pelatih, mencapai hasil terbaik di berbagai tugas NLP.

Sekarang, dengan konteks dari contoh ini, ringkas poin kunci dari makalah berikut:

Judul Makalah: "Teknik Pengembangan Prompt dalam Model Bahasa Besar: Suatu Pemeriksaan"

Prompt ini tidak hanya mempertahankan rantai pemikiran yang jelas tetapi juga menggunakan pendekatan pembelajaran beberapa contoh untuk memandu model. Ini terkait dengan kata kunci kita dengan fokus pada domain AI dan NLP, khususnya meminta ChatGPT untuk melakukan operasi yang kompleks yang terkait dengan teknik pengembangan prompt: meringkas makalah penelitian.

ReAct Prompt

ReAct, atau “Alasan dan Bertindak”, diperkenalkan oleh Google (GOOGL ) dalam makalah “ReAct: Mengoptimalkan Alasan dan Bertindak dalam Model Bahasa“, dan merevolusi cara model bahasa berinteraksi dengan tugas, meminta model untuk secara dinamis menghasilkan jejak alasan verbal dan tindakan spesifik tugas.

Bayangkan seorang koki di dapur: mereka tidak hanya melakukan serangkaian tindakan (memotong sayuran, merebus air, mengaduk bahan) tetapi juga terlibat dalam alasan verbal atau bicara dalam hati (“sekarang sayuran sudah dipotong, saya harus meletakkan panci di atas kompor”). Dialog mental ini membantu dalam merencanakan proses, beradaptasi dengan perubahan tiba-tiba (“saya kehabisan minyak zaitun, saya akan menggunakan mentega sebagai gantinya”), dan mengingat urutan tugas. ReAct meniru kemampuan manusia ini, memungkinkan model untuk belajar tugas baru dengan cepat dan membuat keputusan yang kuat, seperti yang dilakukan manusia dalam situasi baru atau tidak pasti.

ReAct dapat menangani halusinasi, masalah umum dengan sistem Rantai Pemikiran (CoT). CoT, meskipun merupakan teknik yang efektif, kekurangan kemampuan untuk berinteraksi dengan dunia luar, yang dapat menyebabkan halusinasi fakta dan propagasi kesalahan. ReAct, di sisi lain, mengkompensasi ini dengan berinteraksi dengan sumber informasi eksternal. Interaksi ini memungkinkan sistem untuk tidak hanya memvalidasi alasanannya tetapi juga memperbarui pengetahuannya berdasarkan informasi terbaru dari dunia luar.

Prinsip kerja dasar ReAct dapat dijelaskan melalui contoh dari HotpotQA, tugas yang memerlukan penalaran tingkat tinggi. Ketika menerima pertanyaan, model ReAct memecah pertanyaan menjadi bagian yang dapat dikelola dan membuat rencana tindakan. Model menghasilkan jejak alasan (pemikiran) dan mengidentifikasi tindakan yang relevan. Mungkin memutuskan untuk mencari informasi tentang Apple (AAPL ) Remote di sumber eksternal seperti Wikipedia (tindakan), dan memperbarui pemahamannya berdasarkan informasi yang diperoleh (pengamatan). Melalui langkah-langkah pemikiran-tindakan-pengamatan yang berulang, ReAct dapat mengambil informasi untuk mendukung alasanannya sambil memperbarui apa yang perlu diambil selanjutnya.

Catatan:

HotpotQA adalah dataset yang berasal dari Wikipedia, terdiri dari 113k pasangan pertanyaan-jawaban yang dirancang untuk melatih sistem AI dalam penalaran kompleks, karena pertanyaan memerlukan penalaran melalui beberapa dokumen untuk menjawab. Di sisi lain, CommonsenseQA 2.0, yang dibangun melalui permainan, mencakup 14.343 pertanyaan ya/tidak dan dirancang untuk menantang pemahaman AI tentang pengetahuan umum, karena pertanyaan-pertanyaan ini sengaja dibuat untuk menyesatkan model AI.

Prosesnya mungkin terlihat seperti ini:

1. Pemikiran: “Saya perlu mencari Apple Remote dan perangkat yang kompatibel dengannya.”
2. Tindakan: Mencari “perangkat yang kompatibel dengan Apple Remote” di sumber eksternal.
3. Pengamatan: Mendapatkan daftar perangkat yang kompatibel dengan Apple Remote dari hasil pencarian.
4. Pemikiran: “Berdasarkan hasil pencarian, beberapa perangkat, selain Apple Remote, dapat mengontrol program yang dirancang untuk berinteraksi dengannya.”

Hasilnya adalah proses dinamis yang berbasis penalaran yang dapat berkembang berdasarkan informasi yang diinteraksikan, mengarah ke respons yang lebih akurat dan dapat diandalkan.

Visualisasi perbandingan dari empat metode prompting – Standar, Rantai Pemikiran, Hanya Tindakan, dan ReAct, dalam menyelesaikan HotpotQA dan AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Mendesain agen ReAct adalah tugas yang spesifik, mengingat kemampuannya untuk mencapai tujuan yang kompleks. Misalnya, agen percakapan yang dibangun berdasarkan model ReAct dasar, mengintegrasikan memori percakapan untuk menyediakan interaksi yang lebih kaya. Namun, kompleksitas tugas ini disederhanakan oleh alat seperti Langchain, yang telah menjadi standar untuk merancang agen-agen ini.

Prompt yang Setia pada Konteks

Makalah ‘Prompt yang Setia pada Konteks untuk Model Bahasa Besar‘ menekankan bahwa meskipun Model Bahasa Besar (LLM) telah menunjukkan kesuksesan besar dalam tugas NLP yang didorong oleh pengetahuan, ketergantungan berlebihan mereka pada pengetahuan parametri dapat menyebabkan mereka salah dalam tugas yang sensitif terhadap konteks. Misalnya, ketika model bahasa dilatih pada fakta yang sudah ketinggalan zaman, itu dapat menghasilkan jawaban yang salah jika mengabaikan petunjuk kontekstual.

Masalah ini jelas dalam kasus konflik pengetahuan, di mana konteks berisi fakta yang berbeda dari pengetahuan pra-pelatihan LLM. Pertimbangkan kasus di mana Model Bahasa Besar (LLM), yang dipelajari dengan data sebelum Piala Dunia 2022, diberikan konteks yang menunjukkan bahwa Prancis memenangkan turnamen. Namun, LLM, yang bergantung pada pengetahuan pra-pelatihannya, terus menyatakan bahwa juara sebelumnya, yaitu tim yang memenangkan pada 2018, masih merupakan juara bertahan. Ini menunjukkan kasus klasik ‘konflik pengetahuan’.

Pada intinya, konflik pengetahuan dalam LLM muncul ketika informasi baru yang diberikan dalam konteks bertentangan dengan pengetahuan pra-pelatihan yang dimiliki model. Kecenderungan model untuk bergantung pada pelatihan sebelumnya daripada konteks yang baru diberikan dapat menghasilkan output yang salah. Di sisi lain, halusinasi dalam LLM adalah generasi respons yang mungkin tampak masuk akal tetapi tidak berakar pada data pelatihan model atau konteks yang diberikan.

Masalah lain muncul ketika konteks yang diberikan tidak mengandung informasi yang cukup untuk menjawab pertanyaan dengan akurat, situasi yang dikenal sebagai prediksi dengan abstain. Misalnya, jika LLM diminta tentang pendiri Microsoft (MSFT ) berdasarkan konteks yang tidak menyediakan informasi ini, sebaiknya LLM harus menghindari menebak.

Lebih Banyak Contoh Konflik Pengetahuan dan Kekuatan Abstain

Untuk meningkatkan kesetiaan konteks LLM dalam skenario ini, peneliti menyarankan serangkaian strategi prompting. Strategi ini bertujuan untuk membuat respons LLM lebih sesuai dengan konteks daripada mengandalkan pengetahuan yang terkodekan.

Salah satu strategi adalah membingkai prompt sebagai pertanyaan berdasarkan opini, di mana konteks ditafsirkan sebagai pernyataan narator, dan pertanyaan berkaitan dengan opini narator ini. Pendekatan ini memfokuskan perhatian LLM pada konteks yang disajikan daripada mengandalkan pengetahuan pra-pelatihan.

Menambahkan demonstrasi kontrafaktual ke prompt juga telah diidentifikasi sebagai cara efektif untuk meningkatkan kesetiaan dalam kasus konflik pengetahuan. Demonstrasi ini menyajikan skenario dengan fakta palsu, yang memandu model untuk memperhatikan konteks dengan lebih teliti untuk memberikan respons yang akurat.

Pelatihan Instruksi

Pelatihan instruksi adalah fase pembelajaran terawasi yang memanfaatkan pemberian model dengan instruksi spesifik, misalnya, “Jelaskan perbedaan antara matahari terbit dan matahari terbenam.” Instruksi ini dipasangkan dengan jawaban yang sesuai, seperti, “Matahari terbit mengacu pada saat matahari muncul di cakrawala di pagi hari, sedangkan matahari terbenam menandai titik di mana matahari menghilang di bawah cakrawala di sore hari.” Melalui metode ini, model secara efektif belajar untuk mematuhi dan melaksanakan instruksi.

Pendekatan ini secara signifikan mempengaruhi proses prompting LLM, menyebabkan perubahan radikal dalam gaya prompting. LLM yang telah diperbarui dengan instruksi memungkinkan eksekusi tugas nol-shot segera, menyediakan kinerja tugas yang mulus. Jika LLM belum diperbarui, pendekatan pembelajaran beberapa contoh mungkin diperlukan, yang melibatkan beberapa contoh dalam prompt Anda untuk memandu model menuju respons yang diinginkan.

“Pelatihan Instruksi dengan GPT-4” membahas upaya untuk menggunakan GPT-4 untuk menghasilkan data pengikut instruksi untuk pelatihan LLM. Mereka menggunakan dataset kaya, yang terdiri dari 52.000 entri pengikut instruksi unik dalam bahasa Inggris dan Cina.

Dataset ini memainkan peran kunci dalam pelatihan instruksi model LLaMA, seri LLM sumber terbuka, menghasilkan kinerja nol-shot yang ditingkatkan pada tugas baru. Proyek-proyek terkenal seperti Stanford Alpaca telah secara efektif menggunakan Pelatihan Diri-Instruksi, metode yang efisien untuk menyelaraskan LLM dengan niat manusia, menggunakan data yang dihasilkan oleh model pengajar instruksi yang diperbarui.

Tujuan utama penelitian pelatihan instruksi adalah untuk meningkatkan kemampuan generalisasi nol-shot dan beberapa shot dari LLM. Skalabilitas data dan model lebih lanjut dapat memberikan wawasan berharga. Dengan ukuran data GPT-4 saat ini sebesar 52K dan ukuran model LLaMA dasar sebesar 7 miliar parameter, ada potensi besar untuk mengumpulkan lebih banyak data pengikut instruksi GPT-4 dan menggabungkannya dengan sumber data lain, mengarah ke pelatihan model LLaMA yang lebih besar untuk kinerja yang unggul.

STaR: Bootstrapping Penalaran dengan Penalaran

Potensi LLM sangat terlihat dalam tugas penalaran kompleks seperti matematika atau penalaran umum. Namun, proses memicu model bahasa untuk menghasilkan rasionalisasi – serangkaian justifikasi langkah demi langkah atau “rantai pemikiran” – memiliki tantangannya sendiri. Ini sering memerlukan konstruksi dataset rasionalisasi besar atau pengorbanan akurasi karena ketergantungan pada inferensi beberapa contoh saja.

“Pengajar Diri Penalaran” (STaR) menawarkan solusi inovatif untuk tantangan ini. STaR menggunakan loop sederhana untuk terus-menerus memperbaiki kemampuan penalaran model. Proses iteratif ini dimulai dengan menghasilkan rasionalisasi untuk menjawab beberapa pertanyaan menggunakan beberapa contoh rasional. Jika jawaban yang dihasilkan tidak benar, model mencoba lagi untuk menghasilkan rasionalisasi, kali ini memberikan jawaban yang benar. Model kemudian diperbarui dengan semua rasionalisasi yang menghasilkan jawaban benar, dan proses ini diulangi.

Metodologi STaR

Untuk mengilustrasikan ini dengan contoh praktis, pertimbangkan pertanyaan “Apa yang dapat digunakan untuk membawa anjing kecil?” dengan pilihan jawaban yang berkisar dari kolam renang hingga keranjang. Model STaR menghasilkan rasionalisasi, mengidentifikasi bahwa jawaban harus sesuatu yang dapat membawa anjing kecil dan menyimpulkan bahwa keranjang, yang dirancang untuk membawa barang, adalah jawaban yang benar.

Pendekatan STaR unik karena memanfaatkan kemampuan penalaran pra-ada model bahasa. STaR menggunakan proses penghasilan dan penyempurnaan rasionalisasi secara mandiri, memperbarui kemampuan penalaran model secara iteratif. Namun, loop STaR memiliki keterbatasannya. Model mungkin gagal menyelesaikan masalah baru dalam set pelatihan karena tidak menerima sinyal pelatihan langsung untuk masalah yang gagal diselesaikan. Untuk mengatasi masalah ini, STaR memperkenalkan rasionalisasi. Untuk setiap masalah yang model gagal jawab dengan benar, STaR menghasilkan rasionalisasi baru dengan memberikan model jawaban yang benar, yang memungkinkan model untuk melakukan penalaran balik.

STaR, oleh karena itu, berdiri sebagai metode bootstrapping yang dapat diskalakan yang memungkinkan model untuk belajar menghasilkan rasionalisasi mereka sendiri sambil juga belajar menyelesaikan masalah yang semakin sulit. Penerapan STaR telah menunjukkan hasil yang menjanjikan dalam tugas yang melibatkan aritmatika, masalah kata matematika, dan penalaran umum. Pada CommonsenseQA, STaR meningkatkan kinerja dibandingkan dengan baseline beberapa contoh dan baseline yang diperbarui untuk memprediksi jawaban langsung dan berkinerja setara dengan model yang 30 kali lebih besar.

Prompt Konteks yang Ditandai

Konsep ‘Prompt Konteks yang Ditandai‘ berputar di sekitar memberikan model AI dengan lapisan konteks tambahan dengan menandai informasi tertentu dalam input. Tag-tag ini pada dasarnya bertindak sebagai penanda jalan untuk AI, memandu bagaimana untuk menafsirkan konteks dengan akurat dan menghasilkan respons yang relevan dan faktual.

Bayangkan Anda sedang berbicara dengan teman tentang topik tertentu, katakanlah ‘catur’. Anda membuat pernyataan dan kemudian menandainya dengan referensi, seperti ‘(sumber: Wikipedia)’. Sekarang, teman Anda, yang dalam hal ini adalah model AI, tahu persis dari mana informasi Anda berasal. Pendekatan ini bertujuan untuk membuat respons AI lebih dapat diandalkan dengan mengurangi risiko halusinasi, atau generasi fakta palsu.

Aspek unik dari prompt konteks yang ditandai adalah potensinya untuk meningkatkan ‘kecerdasan kontekstual’ model AI. Misalnya, makalah ini menunjukkan ini menggunakan serangkaian pertanyaan yang beragam yang diambil dari sumber seperti artikel Wikipedia yang diringkas pada berbagai subjek dan bagian dari buku yang baru diterbitkan. Pertanyaan-pertanyaan ini ditandai, memberikan model AI dengan konteks tambahan tentang sumber informasi.

Lapisan konteks tambahan ini dapat sangat bermanfaat ketika menghasilkan respons yang tidak hanya akurat tetapi juga mematuhi konteks yang diberikan, membuat output AI lebih dapat diandalkan dan tepercaya.

Kesimpulan: Melihat ke Teknik yang Janjikan dan Arah Masa Depan

ChatGPT OpenAI menunjukkan potensi yang belum dipetakan dari Model Bahasa Besar (LLM) dalam menangani tugas kompleks dengan efisiensi yang mengesankan. Teknik lanjutan seperti pembelajaran beberapa contoh, ReAct, rantai pemikiran, dan STaR, memungkinkan kita untuk memanfaatkan potensi ini di berbagai aplikasi. Ketika kita mempelajari lebih lanjut tentang nuansa metodologi ini, kita menemukan bagaimana mereka membentuk lanskap AI, menawarkan interaksi yang lebih kaya dan lebih aman antara manusia dan mesin.

Meskipun tantangan seperti konflik pengetahuan, ketergantungan berlebihan pada pengetahuan parametri, dan potensi halusinasi, model AI ini, dengan pengembangan prompt yang tepat, telah terbukti menjadi alat transformatif. Pelatihan instruksi, prompting yang setia pada konteks, dan integrasi dengan sumber data eksternal lebih lanjut memperkuat kemampuan mereka untuk bernalar, belajar, dan beradaptasi.