Model Bahasa Besar dan AI Generatif telah menunjukkan kesuksesan luar biasa pada berbagai tugas Pemrosesan Bahasa Alami. Setelah menguasai bidang NLP, tantangan berikutnya bagi peneliti GenAI dan LLM adalah untuk mengeksplorasi bagaimana model bahasa besar dapat bertindak secara otonom di dunia nyata dengan kesenjangan generasi yang diperpanjang dari teks ke aksi, sehingga mewakili paradigma yang signifikan dalam pencarian Kecerdasan Buatan Umum. Permainan online dianggap sebagai fondasi pengujian yang sesuai untuk mengembangkan agen yang diwakili oleh model bahasa besar yang berinteraksi dengan lingkungan visual dengan cara yang sama seperti manusia.

Misalnya, dalam permainan simulasi online populer Minecraft, agen pembuat keputusan dapat digunakan untuk membantu pemain dalam menjelajahi dunia serta mengembangkan keterampilan untuk membuat alat dan menyelesaikan tugas. Contoh lain dari agen LLM yang berinteraksi dengan lingkungan visual dapat ditemukan dalam permainan online lainnya, The Sims, di mana agen telah menunjukkan kesuksesan luar biasa dalam interaksi sosial dan menampilkan perilaku yang menyerupai manusia. Namun, dibandingkan dengan permainan yang ada, permainan pertarungan taktis mungkin terbukti menjadi pilihan yang lebih baik untuk mengukur kemampuan model bahasa besar untuk bermain permainan virtual. Alasan utama mengapa permainan taktis membuat benchmark yang lebih baik adalah karena tingkat kemenangan dapat diukur secara langsung, dan lawan yang konsisten, termasuk pemain manusia dan AI, selalu tersedia.

Berikutnya, POKELLMON bertujuan untuk menjadi agen yang diwakili oleh model bahasa besar pertama yang mencapai kinerja setara manusia pada permainan taktis, serupa dengan yang terlihat dalam pertarungan Pokémon. Pada intinya, kerangka kerja POKELLMON mencakup tiga strategi utama.

1. Pembelajaran penguatan kontekstual yang mengonsumsi umpan balik berbasis teks yang berasal dari pertarungan secara instan untuk memperbaiki kebijakan secara iteratif.
2. Generasi yang ditingkatkan dengan pengetahuan yang mengambil pengetahuan eksternal untuk mengatasi halusinasi, memungkinkan agen untuk bertindak secara tepat dan ketika diperlukan.
3. Generasi aksi konsisten untuk meminimalkan situasi peralihan panik ketika agen menghadapi lawan yang kuat dan ingin menghindari menghadapinya.

Artikel ini bertujuan untuk membahas kerangka kerja POKELLMON secara mendalam, dan kami menjelajahi mekanisme, metodologi, arsitektur kerangka kerja serta perbandingannya dengan kerangka kerja yang ada. Kami juga akan membahas bagaimana kerangka kerja POKELLMON menunjukkan strategi pertarungan yang menyerupai manusia, serta kemampuan pengambilan keputusan yang tepat waktu, mencapai tingkat kemenangan yang menghormat sekitar 50%. Jadi, mari kita mulai.

POKELLMON: Agen Paritas Manusia dengan LLM untuk Pertarungan Pokémon

Pertumbuhan kemampuan dan efisiensi Model Bahasa Besar dan AI Generatif dalam beberapa tahun terakhir telah luar biasa, terutama pada tugas NLP. Baru-baru ini, pengembang dan peneliti AI telah bekerja pada cara untuk membuat AI Generatif dan LLM lebih menonjol dalam skenario dunia nyata dengan kemampuan untuk bertindak secara otonom dalam situasi fisik dan nyata. Untuk mencapai kinerja otonom dalam situasi fisik dan nyata, peneliti dan pengembang mempertimbangkan permainan sebagai fondasi pengujian yang sesuai untuk mengembangkan agen yang diwakili oleh model bahasa besar yang berinteraksi dengan lingkungan visual dengan cara yang menyerupai perilaku manusia.

Sebelumnya, pengembang telah mencoba mengembangkan agen yang diwakili oleh model bahasa besar pada permainan simulasi virtual seperti Minecraft dan The Sims, meskipun diyakini bahwa permainan taktis seperti Pokémon mungkin menjadi pilihan yang lebih baik untuk mengembangkan agen tersebut. Pertarungan Pokémon memungkinkan pengembang untuk mengevaluasi kemampuan pelatih untuk bertarung dalam permainan Pokémon yang terkenal, dan menawarkan beberapa kelebihan dibandingkan dengan permainan taktis lainnya. Karena ruang aksi dan keadaan diskrit, dapat diterjemahkan menjadi teks tanpa kehilangan informasi. Gambar berikut mengilustrasikan pertarungan Pokémon khas di mana pemain diminta untuk menghasilkan aksi untuk dilakukan pada setiap giliran yang diberikan keadaan saat ini dari Pokémon dari kedua sisi. Pengguna memiliki opsi untuk memilih dari lima Pokémon yang berbeda dan ada total empat gerakan dalam ruang aksi. Selain itu, permainan membantu mengurangi stres pada waktu inferensi dan biaya inferensi untuk LLM karena format bergantian menghilangkan kebutuhan akan gameplay intensif. Sebagai hasilnya, kinerja tergantung terutama pada kemampuan penalaran model bahasa besar.

POKELLMON: Metodologi dan Arsitektur

Kerangka kerja dan arsitektur keseluruhan dari kerangka kerja POKELLMON diilustrasikan pada gambar berikut.

Pada setiap giliran, kerangka kerja POKELLMON menggunakan aksi sebelumnya dan umpan balik berbasis teks yang sesuai untuk memperbaiki kebijakan secara iteratif serta meningkatkan informasi keadaan saat ini dengan pengetahuan eksternal seperti efek kemampuan/gerakan atau hubungan keuntungan/kelemahan. Untuk informasi yang diberikan sebagai input, kerangka kerja POKELLMON menghasilkan beberapa aksi secara independen, lalu memilih aksi yang paling konsisten sebagai output akhir.

Pembelajaran Penguatan Kontekstual

Pemain manusia dan atlet sering membuat keputusan tidak hanya berdasarkan keadaan saat ini, tetapi juga merefleksikan umpan balik dari aksi sebelumnya serta pengalaman pemain lain. Aman untuk mengatakan bahwa umpan balik positif membantu pemain belajar dari kesalahan mereka dan mencegah mereka melakukan kesalahan yang sama berulang kali. Tanpa umpan balik yang tepat, agen POKELLMON mungkin tetap pada aksi kesalahan yang sama, seperti yang ditunjukkan pada gambar berikut.

Seperti yang dapat dilihat, agen dalam permainan menggunakan gerakan berbasis air melawan karakter Pokémon yang memiliki kemampuan “Kulit Kering” yang memungkinkan untuk meniadakan kerusakan dari serangan berbasis air. Permainan mencoba untuk memperingatkan pengguna dengan menampilkan pesan “Imun” di layar yang mungkin memicu pemain manusia untuk mempertimbangkan kembali aksi mereka dan mengubahnya, bahkan tanpa mengetahui tentang “Kulit Kering”. Namun, hal ini tidak termasuk dalam deskripsi keadaan untuk agen, sehingga agen melakukan kesalahan yang sama lagi.

Untuk memastikan bahwa agen POKELLMON belajar dari kesalahan sebelumnya, kerangka kerja menerapkan pendekatan Pembelajaran Penguatan Kontekstual. Pembelajaran penguatan adalah pendekatan populer dalam pembelajaran mesin, dan membantu pengembang dengan memperbaiki kebijakan karena memerlukan imbalan numerik untuk mengevaluasi aksi. Karena model bahasa besar memiliki kemampuan untuk menafsirkan dan memahami bahasa, deskripsi teks telah muncul sebagai bentuk baru dari imbalan untuk LLM. Dengan memasukkan umpan balik berbasis teks dari aksi sebelumnya, agen POKELLMON dapat memperbaiki kebijakannya secara iteratif dan instan, yaitu Pembelajaran Penguatan Kontekstual. Kerangka kerja POKELLMON mengembangkan empat jenis umpan balik,

1. Kerusakan aktual yang disebabkan oleh serangan berdasarkan perbedaan HP selama dua giliran berturut-turut.
2. Efektivitas serangan. Umpan balik menunjukkan efektivitas serangan dalam hal tidak memiliki efek atau imun, tidak efektif, atau sangat efektif karena efek kemampuan/gerakan atau keuntungan tipe.
3. Urutan prioritas untuk mengeksekusi gerakan. Karena statistik yang tepat untuk karakter Pokémon lawan tidak tersedia, umpan balik urutan prioritas memberikan perkiraan kasar kecepatan.
4. Efek aktual dari gerakan yang dieksekusi pada lawan. Baik serangan dan status mungkin menghasilkan hasil seperti pulihkan HP, boost statistik atau debuff, atau menginfeksi kondisi seperti membeku, luka bakar, atau racun.

Selain itu, penggunaan pendekatan Pembelajaran Penguatan Kontekstual menghasilkan peningkatan kinerja yang signifikan seperti yang ditunjukkan pada gambar berikut.

Ketika dibandingkan dengan kinerja asli pada GPT-4, tingkat kemenangan meningkat sekitar 10% serta peningkatan sekitar 13% pada skor pertarungan. Selain itu, seperti yang ditunjukkan pada gambar berikut, agen mulai menganalisis dan mengubah aksi jika gerakan yang dieksekusi pada giliran sebelumnya tidak sesuai dengan harapan.

Generasi yang Ditingkatkan dengan Pengetahuan atau KAG

Meskipun penerapan Pembelajaran Penguatan Kontekstual membantu mengatasi halusinasi hingga batas tertentu, hal ini masih dapat menghasilkan konsekuensi fatal sebelum agen menerima umpan balik. Misalnya, jika agen memutuskan untuk bertarung melawan Pokémon tipe api dengan Pokémon tipe rumput, yang pertama kemungkinan akan menang dalam satu giliran. Untuk mengurangi halusinasi lebih lanjut dan meningkatkan kemampuan pengambilan keputusan agen, kerangka kerja POKELLMON menerapkan pendekatan Generasi yang Ditingkatkan dengan Pengetahuan atau KAG, sebuah teknik yang menggunakan pengetahuan eksternal untuk meningkatkan generasi.

Sekarang, ketika model menghasilkan empat jenis umpan balik di atas, model mengannotate gerakan Pokémon dan informasi yang memungkinkan agen untuk menurunkan hubungan keuntungan tipe secara mandiri. Dalam upaya untuk mengurangi halusinasi yang terkandung dalam penalaran lebih lanjut, kerangka kerja POKELLMON secara eksplisit mengannotate keuntungan tipe dan kelemahan Pokémon lawan dan Pokémon agen dengan deskripsi yang memadai. Selain itu, sulit untuk mengingat gerakan dan kemampuan dengan efek yang berbeda dari Pokémon, terutama karena ada banyak di antaranya. Tabel berikut menunjukkan hasil dari generasi yang ditingkatkan dengan pengetahuan. Perlu diingat bahwa dengan menerapkan pendekatan Generasi yang Ditingkatkan dengan Pengetahuan, kerangka kerja POKELLMON dapat meningkatkan tingkat kemenangan sekitar 20% dari 36% menjadi 55%.

Selain itu, pengembang mengamati bahwa ketika agen diberikan pengetahuan eksternal tentang Pokémon, agen mulai menggunakan gerakan khusus pada waktu yang tepat, seperti yang ditunjukkan pada gambar berikut.

Generasi Aksi Konsisten

Model yang ada menunjukkan bahwa penerapan pendekatan prompting dan penalaran dapat meningkatkan kemampuan LLM dalam menyelesaikan tugas yang kompleks. Sebagai gantinya untuk menghasilkan aksi satu-shot, kerangka kerja POKELLMON mengevaluasi strategi prompting yang ada, termasuk CoT atau Rantai Pemikiran, ToT atau Pohon Pemikiran, dan Konsistensi Diri. Untuk Rantai Pemikiran, agen pertama-tama menghasilkan pemikiran yang menganalisis skenario pertarungan saat ini dan mengeluarkan aksi yang dikondisikan pada pemikiran. Untuk Konsistensi Diri, agen menghasilkan tiga kali aksi dan memilih output yang telah menerima jumlah suara maksimum. Akhirnya, untuk pendekatan Pohon Pemikiran, kerangka kerja menghasilkan tiga aksi seperti pada pendekatan Konsistensi Diri, tetapi memilih aksi yang dianggap terbaik setelah mengevaluasi semuanya sendiri. Tabel berikut merangkum kinerja dari pendekatan prompting.

Hanya ada satu aksi untuk setiap giliran, yang berarti bahwa bahkan jika agen memutuskan untuk beralih dan lawan memutuskan untuk menyerang, Pokémon yang beralih akan menerima kerusakan. Biasanya agen memutuskan untuk beralih karena ingin mengalihkan Pokémon yang tidak berada di medan perang, dan dengan demikian Pokémon yang beralih dapat menahan kerusakan, karena tahan terhadap gerakan lawan. Namun, seperti yang disebutkan sebelumnya, untuk agen dengan penalaran CoT, bahkan jika lawan yang kuat memaksa beberapa rotasi, agen bertindak tidak konsisten dengan misi, karena mungkin tidak ingin beralih ke Pokémon tetapi beberapa Pokémon dan kembali, yang kami sebut sebagai peralihan panik. Peralihan panik menghilangkan kemampuan untuk mengambil gerakan dan dengan demikian kekalahan.

POKELLMON: Hasil dan Eksperimen

Sebelum kita membahas hasilnya, penting untuk memahami lingkungan pertarungan. Pada awal giliran, lingkungan menerima pesan permintaan aksi dari server dan akan merespons pesan tersebut pada akhir, yang juga berisi hasil eksekusi dari giliran sebelumnya.

1. Pertama, lingkungan memparse pesan dan memperbarui variabel keadaan lokal, 2. kemudian menerjemahkan variabel keadaan menjadi teks. Deskripsi teks memiliki empat bagian utama: 1. Informasi tim sendiri, yang berisi atribut Pokémon di lapangan dan di luar lapangan (tidak digunakan).
2. Informasi tim lawan, yang berisi atribut Pokémon lawan di lapangan dan di luar lapangan (beberapa informasi tidak diketahui).
3. Informasi lapangan, yang mencakup cuaca, bahaya masuk, dan medan.
4. Informasi log giliran sebelumnya, yang berisi aksi sebelumnya dari kedua Pokémon dan disimpan dalam antrian log. LLM mengambil keadaan yang diterjemahkan sebagai input dan mengeluarkan aksi untuk langkah berikutnya. Aksi kemudian dikirim ke server dan dieksekusi pada waktu yang sama dengan aksi yang dilakukan oleh manusia.

Pertarungan Melawan Pemain Manusia

Tabel berikut menggambarkan kinerja agen POKELLMON melawan pemain manusia.

Seperti yang dapat dilihat, agen POKELLMON menunjukkan kinerja yang setara dengan pemain tangga yang memiliki tingkat kemenangan yang lebih tinggi dibandingkan dengan pemain yang diundang serta memiliki pengalaman pertarungan yang luas.

Analisis Kemampuan Pertarungan

Kerangka kerja POKELLMON jarang membuat kesalahan dalam memilih gerakan yang efektif dan beralih ke Pokémon yang sesuai berkat strategi Generasi yang Ditingkatkan dengan Pengetahuan.

Seperti yang ditunjukkan pada contoh di atas, agen menggunakan hanya satu Pokémon untuk mengalahkan seluruh tim lawan karena agen dapat memilih gerakan serangan yang paling efektif untuk lawan dalam situasi tersebut. Selain itu, kerangka kerja POKELLMON juga menunjukkan strategi penghabisan yang menyerupai manusia. Beberapa Pokémon memiliki gerakan “Beracun” yang dapat menyebabkan kerusakan tambahan pada setiap giliran, sedangkan gerakan “Pulihkan” memungkinkan Pokémon untuk memulihkan HP-nya. Dengan mengambil keuntungan dari hal ini, agen pertama-tama meracuni Pokémon lawan dan menggunakan gerakan Pulihkan untuk mencegah diri dari pingsan.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang POKELLMON, sebuah pendekatan yang memungkinkan model bahasa besar untuk bermain pertarungan Pokémon melawan manusia secara otonom. POKELLMON bertujuan untuk menjadi agen yang diwakili oleh model bahasa besar pertama yang mencapai kinerja setara manusia pada permainan taktis, serupa dengan yang terlihat dalam pertarungan Pokémon. Kerangka kerja POKELLMON memperkenalkan tiga strategi kunci: Pembelajaran Penguatan Kontekstual yang mengonsumsi umpan balik berbasis teks sebagai “imbalan” untuk memperbaiki kebijakan secara iteratif tanpa pelatihan, Generasi yang Ditingkatkan dengan Pengetahuan yang mengambil pengetahuan eksternal untuk mengatasi halusinasi dan memastikan agen bertindak secara tepat dan ketika diperlukan, dan Generasi Aksi Konsisten yang mencegah masalah peralihan panik ketika menghadapi lawan yang kuat.