ChatGPT & Teknik Rekayasa Prompt Lanjutan: Mengemudi Evolusi AI

OpenAI telah memainkan peran penting dalam mengembangkan alat revolusioner seperti OpenAI Gym, yang dirancang untuk melatih algoritma penguatan, dan model GPT-n. Sorotan juga diberikan pada DALL-E, model AI yang membuat gambar dari input teks. Salah satu model yang telah mendapatkan perhatian besar adalah ChatGPT dari OpenAI, sebuah contoh yang cemerlang di bidang Large Language Models.

GPT-4: Teknik Rekayasa Prompt

ChatGPT telah mengubah lanskap chatbot, menawarkan respons yang mirip manusia terhadap input pengguna dan memperluas aplikasinya di berbagai domain – dari pengembangan dan pengujian perangkat lunak hingga komunikasi bisnis, dan bahkan pembuatan puisi.

Dalam genggaman bisnis dan individu, GPT-4, misalnya, dapat berfungsi sebagai reservoir pengetahuan yang tak terbatas, mahir dalam subjek yang berkisar dari Matematika dan Biologi hingga Studi Hukum. Model AI yang canggih dan mudah diakses seperti ini berpotensi untuk mendefinisikan kembali masa depan pekerjaan, pembelajaran, dan kreativitas.

Model generatif seperti GPT-4 dapat menghasilkan data baru berdasarkan input yang ada. Atribut ini memungkinkan mereka untuk melakukan berbagai tugas, termasuk menghasilkan teks, gambar, musik, dan video.

Dalam konteks ChatGPT dan model OpenAI, prompt adalah input yang diberikan oleh pengguna kepada model, biasanya dalam bentuk teks. Prompt berfungsi sebagai sarana utama untuk mengontrol output yang dihasilkan oleh model ini, membuatnya sangat penting untuk percakapan yang sukses dan relevan.

Dampak Kualitas Prompt

Menggunakan prompt yang terdefinisi dengan baik adalah kunci untuk melakukan percakapan yang berguna dan bermakna dengan sistem AI. Prompt yang tidak terdefinisi dengan baik dapat menghasilkan output yang tidak berguna bagi pengguna dan bahkan dapat menyebabkan konten yang menyesatkan.

Untuk menunjukkan dampak kualitas prompt, mari kita bandingkan dua prompt yang berbeda yang diberikan kepada ChatGPT. Prompt pertama, yang tidak terdefinisi dengan baik dan mengasumsikan pengetahuan sebelumnya, menghasilkan respons yang tidak berguna bagi pengguna. Di sisi lain, prompt kedua memberikan lebih banyak konteks dan contoh, memastikan respons yang lebih relevan dan dapat dipahami.

Prompt 1: “Beritahu saya tentang Jaringan Saraf Konvolusi.”

Respons 1: “Jaringan Saraf Konvolusi (CNN) adalah jaringan perceptron multi-lapis yang terdiri dari lapisan yang terhubung sepenuhnya dan lapisan pooling. Mereka umumnya digunakan dalam tugas pengenalan gambar. Prosesnya melibatkan menerapkan filter pada gambar input dan menurunkan ukurannya menggunakan lapisan pooling.”

Prompt 2: “Saya ingin mempelajari tentang Jaringan Saraf Konvolusi, tetapi saya tidak memiliki pengetahuan sebelumnya tentang Jaringan Saraf Buatan. Bisakah Anda memberikan penjelasan yang ramah bagi pemula dan contoh tentang bagaimana CNN digunakan dalam pengenalan gambar?”

Respons 2: “Jaringan Saraf Konvolusi (CNN) adalah jenis jaringan saraf yang utamanya digunakan untuk tugas pengenalan gambar. Tidak seperti jaringan saraf lainnya, mereka menggunakan lapisan konvolusi dan lapisan pooling untuk memproses gambar. Bayangkan Anda memiliki gambar seekor kucing. CNN dapat mengidentifikasi fitur yang berbeda dalam gambar, seperti kumis, telinga, dan ekor, dengan menerapkan filter dan menurunkan ukuran gambar menggunakan lapisan pooling. Proses ini membuat CNN sangat efektif untuk mengenali objek dalam gambar.”

Dengan membandingkan kedua respons, jelas bahwa prompt yang terdefinisi dengan baik menghasilkan respons yang lebih relevan dan ramah bagi pengguna. Desain prompt dan rekayasa adalah disiplin yang berkembang yang bertujuan untuk mengoptimalkan kualitas output model AI seperti ChatGPT.

Dalam bagian selanjutnya dari artikel ini, kita akan memasuki dunia metodologi lanjutan yang bertujuan untuk memperbaiki Large Language Models (LLM), seperti teknik dan taktik rekayasa prompt, termasuk few-shot learning, ReAct, chain-of-thought, RAG, dan lainnya.

Teknik Rekayasa Lanjutan

Sebelum kita melanjutkan, penting untuk memahami masalah utama dengan LLM, yang disebut ‘halusinasi’. Dalam konteks LLM, ‘halusinasi’ menandakan kecenderungan model ini untuk menghasilkan output yang mungkin tampak masuk akal tetapi tidak berakar pada kenyataan faktual atau konteks input yang diberikan.

Masalah ini diperjelas dalam kasus pengadilan baru-baru ini di mana seorang pengacara pertahanan menggunakan ChatGPT untuk penelitian hukum. Alat AI, gagal karena masalah halusinasi, mengutip kasus hukum yang tidak ada. Insiden ini menjadi peringatan yang jelas tentang kebutuhan mendesak untuk mengatasi masalah ‘halusinasi’ dalam sistem AI.

Penjelajahan kita ke dalam teknik rekayasa prompt bertujuan untuk memperbaiki aspek-aspek LLM ini. Dengan meningkatkan efisiensi dan keamanan mereka, kita membuka jalan bagi aplikasi inovatif seperti ekstraksi informasi. Selain itu, ini membuka pintu untuk mengintegrasikan LLM dengan alat dan sumber data eksternal, memperluas jangkauan penggunaan potensial mereka.

Belajar Nol dan Belajar Sedikit: Mengoptimalkan dengan Contoh

Generative Pretrained Transformers (GPT-3) menandai titik balik penting dalam pengembangan model AI generatif, karena memperkenalkan konsep ‘belajar sedikit‘. Metode ini merupakan perubahan besar karena kemampuannya untuk beroperasi secara efektif tanpa kebutuhan pelatihan menyeluruh. Kerangka GPT-3 dibahas dalam makalah “Language Models are Few Shot Learners” di mana penulis menunjukkan bagaimana model ini unggul di berbagai kasus penggunaan tanpa memerlukan dataset atau kode khusus.

Tidak seperti pelatihan menyeluruh, yang memerlukan upaya terus-menerus untuk memecahkan kasus penggunaan yang berbeda, model belajar sedikit menunjukkan kemampuan adaptasi yang lebih mudah ke berbagai aplikasi. Sementara pelatihan menyeluruh mungkin menyediakan solusi yang kuat dalam beberapa kasus, itu bisa mahal dalam skala, membuat penggunaan model belajar sedikit menjadi pendekatan yang lebih praktis, terutama ketika diintegrasikan dengan rekayasa prompt.

Bayangkan Anda mencoba menerjemahkan bahasa Inggris ke bahasa Perancis. Dalam belajar sedikit, Anda akan memberikan GPT-3 beberapa contoh terjemahan seperti “sea otter -> loutre de mer”. GPT-3, sebagai model canggih, kemudian dapat melanjutkan memberikan terjemahan yang akurat.

Istilah ‘belajar sedikit’ berasal dari gagasan bahwa model diberikan sejumlah terbatas contoh untuk ‘belajar’ dari. Penting untuk dicatat bahwa ‘belajar’ dalam konteks ini tidak melibatkan pembaruan parameter atau bobot model, melainkan mempengaruhi kinerja model.

Belajar Sedikit seperti yang Ditunjukkan dalam Makalah GPT-3

Belajar nol mengambil konsep ini lebih jauh. Dalam belajar nol, tidak ada contoh tugas yang diberikan dalam model. Model diharapkan untuk berkinerja dengan baik berdasarkan pelatihan awal, membuat metode ini ideal untuk skenario jawaban pertanyaan domain terbuka seperti ChatGPT.

Dalam banyak kasus, model yang mahir dalam belajar nol dapat berkinerja dengan baik ketika diberikan contoh belajar sedikit atau bahkan contoh tunggal. Kemampuan untuk beralih antara skenario belajar nol, tunggal, dan sedikit menunjukkan kemampuan adaptasi model besar, meningkatkan potensi aplikasi mereka di berbagai domain.

Metode belajar nol menjadi semakin populer. Metode ini ditandai dengan kemampuan mengenali objek yang tidak terlihat selama pelatihan. Berikut adalah contoh praktis dari Prompt Belajar Sedikit:

"Terjemahkan kalimat berikut dari bahasa Inggris ke bahasa Perancis:

'sea otter' diterjemahkan menjadi 'loutre de mer'
'sky' diterjemahkan menjadi 'ciel'
Apa yang diterjemahkan 'cloud' dalam bahasa Perancis?"

Dengan memberikan model beberapa contoh dan kemudian mengajukan pertanyaan, kita dapat secara efektif memandu model untuk menghasilkan output yang diinginkan. Dalam kasus ini, GPT-3 kemungkinan akan menerjemahkan ‘cloud’ ke ‘nuage’ dalam bahasa Perancis dengan benar.

Kita akan mempelajari lebih dalam tentang nuansa-nuansa teknik rekayasa prompt dan peran pentingnya dalam mengoptimalkan kinerja model selama inferensi. Kita juga akan melihat bagaimana itu dapat digunakan secara efektif untuk menciptakan solusi yang hemat biaya dan scalable di berbagai kasus penggunaan.

Saat kita menjelajahi kompleksitas teknik rekayasa prompt dalam model GPT, penting untuk menyoroti posting terakhir kami ‘Panduan Esensial untuk Rekayasa Prompt di ChatGPT‘. Panduan ini memberikan wawasan tentang strategi untuk menginstruksikan model AI secara efektif di berbagai kasus penggunaan.

Dalam diskusi sebelumnya, kita membahas metode prompt dasar untuk model bahasa besar (LLM) seperti belajar nol dan belajar sedikit, serta prompting instruksi. Menguasai teknik-teknik ini sangat penting untuk mengatasi tantangan yang lebih kompleks dari rekayasa prompt yang akan kita jelajahi di sini.

Belajar sedikit dapat terbatas karena jendela konteks yang terbatas dari sebagian besar LLM. Selain itu, tanpa pengaman yang tepat, LLM dapat terkecoh untuk menghasilkan output yang berpotensi berbahaya. Banyak model juga bergelut dengan tugas penalaran atau mengikuti instruksi multi-langkah.

Dengan demikian, tantangan terletak pada memanfaatkan LLM untuk menangani tugas kompleks. Solusi yang jelas mungkin adalah mengembangkan LLM yang lebih canggih atau memperbaiki yang ada, tetapi itu bisa memerlukan upaya yang substansial. Jadi, pertanyaan yang muncul: bagaimana kita dapat mengoptimalkan model saat ini untuk perbaikan pemecahan masalah?

Sangat menarik juga untuk menjelajahi bagaimana teknik ini berinteraksi dengan aplikasi kreatif dalam Unite AI’s ‘Menguasai Seni AI: Panduan Ringkas untuk Midjourney dan Rekayasa Prompt‘ yang menjelaskan bagaimana fusi seni dan AI dapat menghasilkan karya seni yang luar biasa.

Prompt Rantai-Pikiran

Prompt rantai-pikiran memanfaatkan sifat auto-regresif dari model bahasa besar (LLM), yang unggul dalam memprediksi kata berikutnya dalam urutan yang diberikan. Dengan meminta model untuk menjelaskan proses pikirannya, itu memicu generasi ide yang lebih menyeluruh dan sistematis, yang cenderung sejalan dengan informasi yang akurat. Keselarasan ini berasal dari kecenderungan model untuk memproses dan menyampaikan informasi dengan cara yang berpikir dan teratur, seperti seorang ahli manusia yang membimbing pendengar melalui konsep kompleks. Pernyataan sederhana seperti “jelaskan langkah demi langkah…” sering cukup untuk memicu output yang lebih panjang dan detail.

Prompt Rantai-Pikiran Nol-Shot

Sementara prompting rantai-pikiran konvensional memerlukan pelatihan sebelumnya dengan demonstrasi, area yang muncul adalah prompting rantai-pikiran nol-shot. Pendekatan ini, diperkenalkan oleh Kojima et al. (2022), secara inovatif menambahkan frasa “Mari kita pikirkan langkah demi langkah” ke prompt asli.

Mari kita buat prompt lanjutan di mana ChatGPT ditugaskan untuk meringkas poin-poin kunci dari makalah penelitian AI dan NLP.

Dalam demonstrasi ini, kita akan menggunakan kemampuan model untuk memahami dan meringkas informasi kompleks dari teks akademis. Menggunakan pendekatan belajar sedikit, kita akan mengajar ChatGPT untuk meringkas temuan kunci dari makalah penelitian AI dan NLP:

1. Judul Makalah: "Perhatian Adalah Yang Anda Butuhkan"
Poin Kunci: Memperkenalkan model transformer, menekankan pentingnya mekanisme perhatian daripada lapisan berulang untuk tugas transduksi urutan.

2. Judul Makalah: "BERT: Prapengaturan Transformer Dalam untuk Pemahaman Bahasa"
Poin Kunci: Memperkenalkan BERT, menunjukkan efektivitas prapengaturan model berarah ganda dalam, sehingga mencapai hasil terbaik di berbagai tugas NLP.

Sekarang, dengan konteks dari contoh ini, ringkas temuan kunci dari makalah berikut:

Judul Makalah: "Rekayasa Prompt dalam Model Bahasa Besar: Suatu Pemeriksaan"

Prompt ini tidak hanya mempertahankan rantai pikiran yang jelas tetapi juga menggunakan pendekatan belajar sedikit untuk memandu model. Ini terkait dengan kata kunci kami dengan fokus pada domain AI dan NLP, khususnya meminta ChatGPT untuk melakukan operasi kompleks yang terkait dengan rekayasa prompt: meringkas makalah penelitian.

ReAct Prompt

ReAct, atau “Alasan dan Bertindak”, diperkenalkan oleh Google dalam makalah “ReAct: Menggabungkan Alasan dan Bertindak dalam Model Bahasa“, dan merevolusi cara model bahasa berinteraksi dengan tugas, meminta model untuk secara dinamis menghasilkan jejak alasan verbal dan tindakan khusus tugas.