Rintisan AI Diffbot Membaca Internet Publik untuk Mencapai Generasi Teks Berbasis Fakta

Kemajuan baru-baru ini dalam pemrosesan bahasa alami dan generasi teks yang dicapai oleh OpenAI melalui model bahasa GPT-2 dan GPT-3 sangat mengesankan, dapat menghasilkan teks yang terlihat seperti tulisan asli manusia. Sayangnya, meskipun model ini sangat baik dalam menulis teks yang terdengar alami, mereka tidak dilengkapi untuk menulis teks yang faktual. Model bahasa canggih menggabungkan kalimat dari kata-kata yang paling masuk akal dalam konteks, tanpa memperhatikan kebenaran klaim dalam teks yang dihasilkan. Seperti yang dilaporkan oleh MIT technology review, sebuah rintisan yang dikenal sebagai Diffbot bertujuan untuk memecahkan masalah ini dengan memiliki AI yang mengekstrak sebanyak mungkin fakta dari internet.

Diffbot adalah sebuah rintisan yang berharap membuat AI lebih berguna untuk tugas generasi teks praktis seperti auto-mengisi spreadsheet dan auto-mengisi kalimat atau kode. Agar teks yang dihasilkan oleh AI dapat diandalkan, AI itu sendiri perlu dapat dipercaya dan harus memiliki konsep tentang pernyataan faktual vs. fiksi. Pendekatan Diffbot untuk memberikan program generasi teks kemampuan untuk menghasilkan pernyataan faktual dimulai dengan mengumpulkan sejumlah besar teks dari hampir seluruh web publik. Diffbot memparse teks dalam beberapa bahasa dan membagi teks menjadi set triplet berbasis fakta, dengan subjek, objek, dan kata kerja dari sebuah fakta digunakan untuk menghubungkan satu konsep dengan konsep lain. Misalnya, mungkin mewakili fakta tentang Bill Gates dan Microsoft (MSFT ) seperti ini:

Bill Gates adalah pendiri Microsoft. Microsoft adalah perusahaan teknologi komputer.

Diffbot mengambil semua fakta singkat ini dan menggabungkannya untuk membuat grafik pengetahuan. Grafik pengetahuan menciptakan jaringan hubungan antara konsep, sering dengan alasan yang membantu dalam pembuatan kesimpulan baru berdasarkan hubungan ini. Dengan kata lain, grafik pengetahuan menggunakan data penghubung, dan mereka dapat membantu algoritma pembelajaran mesin untuk memodelkan domain pengetahuan. Grafik pengetahuan sebenarnya telah ada selama beberapa dekade dan banyak peneliti AI awal menganggapnya sebagai alat penting untuk memungkinkan AI memahami dunia manusia. Namun, grafik pengetahuan biasanya dibuat dengan tangan, yang merupakan proses yang sulit dan melelahkan. Mengotomatisasi pembuatan grafik pengetahuan dapat memungkinkan AI untuk mencapai pemahaman kontekstual yang jauh lebih besar dan menghasilkan teks yang berbasis fakta.

Google (GOOGL ) mulai menggunakan grafik pengetahuan beberapa tahun yang lalu untuk membantu dalam menyediakan ringkasan informasi ketika topik populer dicari. Grafik pengetahuan digunakan untuk menarik fakta paling relevan dan mewakilinya sebagai ringkasan. Diffbot ingin melakukan hal yang sama untuk setiap topik, tidak hanya topik paling populer. Ini memerlukan membangun grafik pengetahuan yang sangat besar, yang disusun dengan merayapi seluruh web publik, sesuatu yang hanya dilakukan oleh Google dan Microsoft. Diffbot memindai seluruh web dan memperbarui grafik pengetahuan dengan informasi baru setiap empat atau lima hari, dan selama sebulan itu menambahkan sekitar 100 juta hingga 150 juta entri.

Diffbot tidak membaca teks situs web seperti pengrawler web normal, melainkan menggunakan algoritma visi komputer untuk mengekstrak piksel mentah dari halaman web dan menarik data video, gambar, artikel, dan diskusi dari halaman. Ini mengidentifikasi elemen kunci dari halaman web dan kemudian mengekstrak fakta dalam berbagai bahasa, sesuai dengan skema triplet fakta tiga bagian.

Saat ini, Diffbot menawarkan akses gratis dan berbayar ke grafik pengetahuannya. Sementara peneliti dapat mengakses grafik secara gratis, perusahaan seperti DuckDuckGo dan Snapchat menggunakan untuk meringkas teks dan mengekstrak cuplikan berita populer. Sementara itu, Nike dan Adidas menggunakan platform untuk menemukan situs yang menjual produk palsu, yang memungkinkan karena Diffbot dapat menentukan situs mana yang sebenarnya menjual sepatu, bukan hanya membahas tentang mereka.

Di masa depan, Diffbot berencana untuk memperluas kemampuannya dan menambahkan antarmuka bahasa alami ke platform, yang dapat menjawab hampir semua pertanyaan yang Anda tanyakan dan mendukung jawaban dengan sumber. Idealnya, kemampuan Diffbot akan digabungkan dengan model sintesis bahasa yang kuat seperti GPT-3.