Google Membayangkan Sistem Pertanyaan seperti GPT-3, Tanpa Hasil Pencarian

Sebuah makalah baru dari empat peneliti Google mengusulkan sebuah sistem ‘ahli’ yang dapat menjawab pertanyaan pengguna dengan otoritatif tanpa menampilkan daftar hasil pencarian yang mungkin, serupa dengan paradigma Q&A yang telah mendapat perhatian publik melalui kemunculan GPT-3 selama setahun terakhir.

Makalah tersebut, berjudul Rethinking Search: Making Experts out of Dilettantes, menyatakan bahwa standar saat ini menampilkan pengguna dengan daftar hasil pencarian sebagai respons terhadap pertanyaan adalah ‘beban kognitif’, dan mengusulkan perbaikan dalam kemampuan sistem pemrosesan bahasa alami (NLP) untuk memberikan respons yang otoritatif dan definitif.

Di bawah model yang diusulkan dari ‘ahli’, orakel lintas domain, ribuan sumber hasil pencarian yang mungkin akan dimasukkan ke dalam model bahasa alih-alih tersedia secara eksplisit sebagai sumber daya eksplorasi untuk pengguna mengevaluasi dan menavigasi sendiri. Sumber: https://arxiv.org/pdf/2105.02274.pdf

Makalah tersebut, dipimpin oleh Donald Metzler di Google Research, mengusulkan perbaikan dalam jenis respons orakel multi-domain yang dapat diperoleh dari model bahasa autoregresif deep learning seperti GPT-3. Perbaikan utama yang diusulkan adalah a) model tersebut dapat secara akurat mengutip sumber yang menginformasikan respons, dan b) model tersebut dapat mencegah ‘halusinasi’ respons atau mengarang materi sumber yang tidak ada, yang saat ini merupakan masalah dengan arsitektur tersebut.

Pelatihan dan Kemampuan Multi-Domain

Selain itu, model bahasa yang diusulkan, yang digambarkan dalam makalah sebagai ‘Satu Model untuk semua Tugas Pencarian Informasi’, akan dilatih pada berbagai domain, termasuk gambar dan teks. Model tersebut juga perlu memahami tentang provenance pengetahuan, yang tidak ada dalam arsitektur GPT-3.

‘Untuk menggantikan indeks dengan satu model terpadu, harus memungkinkan model itu sendiri untuk memiliki pengetahuan tentang semesta pengidentifikasi dokumen, sama seperti indeks tradisional. Salah satu cara untuk melakukan ini adalah dengan beralih dari model bahasa tradisional ke model korpus yang secara bersamaan memodelkan hubungan antara istilah, dokumen, dan dokumen-dokumen.’

Dalam gambar di atas, dari makalah, tiga pendekatan dalam menanggapi pertanyaan pengguna: kiri, model bahasa yang implisit dalam hasil pencarian algoritmik Google telah memilih dan memprioritaskan ‘jawaban terbaik’, tetapi telah meninggalkannya sebagai hasil teratas dari banyak hasil. Tengah, respons konversasional GPT-3, yang berbicara dengan otoritas, tetapi tidak membenarkan klaim atau mengutip sumber. Kanan, sistem ahli yang diusulkan menggabungkan ‘respons terbaik’ dari hasil pencarian yang diperingkat langsung ke dalam jawaban didaktik, dengan catatan kaki gaya akademis (tidak ditampilkan dalam gambar asli) yang menunjukkan sumber yang menginformasikan respons.

Menghilangkan Hasil yang Beracun dan Tidak Akurat

Peneliti mencatat bahwa sifat dinamis dan terus diperbarui dari indeks pencarian adalah tantangan untuk sepenuhnya direplikasi dalam model pembelajaran mesin seperti ini. Misalnya, di mana sumber yang pernah dipercaya telah dilatih langsung ke dalam pemahaman model tentang dunia, menghilangkan pengaruhnya (misalnya, setelah sumber tersebut dicabut) mungkin lebih sulit daripada hanya menghapus URL dari hasil pencarian, karena konsep data dapat menjadi abstrak dan banyak direpresentasikan selama pelatihan.

Selain itu, model seperti itu perlu terus dilatih untuk memberikan tingkat responsif yang sama terhadap artikel dan publikasi baru seperti yang saat ini disediakan oleh Google melalui pengindeksan sumber yang konstan. Secara efektif, ini berarti peluncuran terus menerus dan otomatis, berbeda dengan rezim saat ini, di mana perubahan kecil dilakukan pada bobot dan pengaturan algoritma pencarian bebas, tetapi algoritma itu sendiri biasanya hanya diperbarui secara tidak teratur.

Permukaan Serangan untuk Orakel Ahli Terpusat

Model terpusat yang terus mengasimilasi dan menggeneralisasi data baru dapat mengubah permukaan serangan untuk pertanyaan pencarian.

Saat ini, penyerang dapat memperoleh keuntungan dengan mencapai peringkat tinggi untuk domain atau halaman yang berisi informasi yang salah atau kode berbahaya. Di bawah naungan ‘ahli’ orakel yang lebih tidak transparan, kesempatan untuk mengalihkan pengguna ke domain serangan sangat berkurang, tetapi kemungkinan serangan data beracun sangat meningkat.

Ini karena sistem yang diusulkan tidak menghilangkan algoritma peringkat pencarian, tetapi menyembunyikannya dari pengguna, secara efektif mengotomatisasi prioritas hasil teratas, dan memasukkannya (atau mereka) ke dalam pernyataan didaktik. Pengguna berbahaya telah lama dapat mengatur serangan terhadap algoritma pencarian Google, untuk menjual produk antivirus palsu, mengarahkan pengguna ke domain yang menyebarkan malware, atau untuk tujuan manipulasi politik, di antara banyak kasus lainnya.

Bukan AGI

Peneliti menekankan bahwa sistem seperti itu tidak mungkin memenuhi syarat sebagai Kecerdasan Buatan Umum (AGI), dan menempatkan prospek responsor ahli universal dalam konteks pemrosesan bahasa alami, yang tunduk pada semua tantangan yang dihadapi model tersebut saat ini.

Makalah tersebut menguraikan lima persyaratan untuk respons ‘berkualitas tinggi’:

1: Otoritas
Seperti dengan algoritma peringkat saat ini, ‘otoritas’ tampaknya berasal dari kutipan dari domain berkualitas tinggi yang dianggap otoritatif dalam dirinya sendiri. Peneliti mengamati:

‘Respons harus menghasilkan konten dengan menarik dari sumber yang sangat otoritatif. Ini adalah alasan lain mengapa membangun koneksi yang lebih eksplisit antara urutan istilah dan metadata dokumen sangat penting. Jika semua dokumen dalam korpus dianotasi dengan skor otoritatif, skor tersebut harus dipertimbangkan saat melatih model, menghasilkan respons, atau keduanya.’

Meskipun peneliti tidak menyarankan bahwa hasil pencarian tradisional akan menjadi tidak tersedia jika orakel ahli jenis ini terbukti efektif dan populer, makalah tersebut secara keseluruhan menyajikan sistem peringkat tradisional, dan daftar hasil pencarian, dalam cahaya sistem pengambilan informasi yang sudah ketinggalan zaman.

‘Fakta bahwa peringkat adalah komponen kritis dari paradigma ini adalah gejala bahwa sistem pengambilan menyediakan pengguna dengan pilihan jawaban potensial, yang menyebabkan beban kognitif yang cukup signifikan pada pengguna. Keinginan untuk mengembalikan jawaban alih-alih daftar hasil yang diperingkat adalah salah satu faktor pendorong untuk mengembangkan sistem pertanyaan dan jawaban. ‘

2: Transparansi
Peneliti mengomentari:

‘Kapan pun memungkinkan, provenance informasi yang disajikan kepada pengguna harus tersedia bagi mereka. Apakah ini sumber utama informasi? Jika tidak, apa sumber utamanya?’

3: Menangani Bias
Makalah tersebut mencatat bahwa model bahasa pra-dilatih dirancang tidak untuk mengevaluasi kebenaran empiris, tetapi untuk menggeneralisasi dan memprioritaskan tren dominan dalam data. Makalah tersebut mengakui bahwa direktif ini membuka model untuk serangan (seperti yang terjadi dengan chatbot rasialis Microsoft yang tidak disengaja pada 2016), dan bahwa sistem tambahan akan diperlukan untuk melindungi terhadap respons sistem yang bias.
4: Mengaktifkan Berbagai Pandangan
Makalah tersebut juga mengusulkan mekanisme untuk memastikan pluralitas pandangan:

‘Respons yang dihasilkan harus mewakili berbagai perspektif yang beragam tetapi tidak boleh mempolarisasi. Misalnya, untuk pertanyaan tentang topik kontroversial, kedua sisi topik harus diliput dalam cara yang adil dan seimbang. Ini jelas memiliki kaitan erat dengan bias model.’

5: Bahasa yang Dapat Diakses
Selain menyediakan terjemahan akurat dalam kasus di mana respons otoritatif dianggap dalam bahasa yang berbeda, makalah tersebut menyarankan bahwa respons yang dikapsulkan harus ‘ditulis dalam istilah yang mungkin sesederhana mungkin’.