Mengajar AI untuk Memahami dan Menggunakan Gambar dalam Dialog

Peneliti dari Korea Selatan telah mengembangkan dataset yang dirancang untuk membantu penelitian tentang pemahaman AI tentang cara manusia menggunakan gambar dalam dialog, dan untuk membantu model bahasa alami berpartisipasi dalam perkembangan terbaru dalam komunikasi manusia.

Makalah ini, dari KAIST di Daedeok Innopolis, mencatat bahwa penelitian tentang sistem dialog multi-modal selama sepuluh tahun terakhir telah terhambat oleh dataset dan metodologi yang berfokus pada disiplin yang tidak terkait dengan topik, seperti visual question answering dan image captioning.

Dalam pendekatan lama, gambar dievaluasi di luar konteks leksikal dari percakapan, tanpa pemahaman tentang cara dialog ditingkatkan dan dikembangkan oleh respons gambar, dan tanpa skema lintas-domain untuk mendekode kontribusi visual pada wacana.

Gambar sebagai Faset Utama Dialog

Banyak pendekatan sebelumnya telah menjadi inisiatif atau pengembangan dari lengan penelitian AI Microsoft, yang pada 2017 juga meneliti topik percakapan multi-modal yang dimulai oleh gambar, bukan menggunakan gambar sebagai komponen dialog secara bebas.

Untuk mengatasi kekurangan data penelitian, peneliti Korea Selatan telah mengembangkan dataset 45.000 contoh dialog yang melibatkan penggunaan ad hoc gambar, tanpa fokus pada gambar ‘meme’ viral; yang terakhir, meskipun merupakan area minat dalam penelitian bahasa, dapat dianggap kurang menantang, karena makna gambar meme dapat ditebak lebih mudah melalui ribuan penggunaan dalam konteks pada platform media sosial.

Mengembangkan Ilustrasi sebagai Pengganti Teks

Untuk mengembangkan metode untuk transliterasi bilateral kata/frasa>gambar, peneliti Korea Selatan telah melatih sistem pembelajaran mesin untuk menggantikan bagian dari percakapan berbasis teks dengan konten gambar yang semantik relevan.

Arsitektur sistem Korea untuk menghasilkan dataset untuk penelitian dialog multi-modal. Sumber: https://arxiv.org/pdf/2107.08685.pdf

Praproses frasa target melibatkan penghapusan kata berhenti yang mungkin menghambat prediksi sally berikutnya dalam percakapan, dan pemangkasan pertukaran kualitas rendah melalui filter kesamaan kontekstual.

Untuk menguji utilitas dataset, peneliti menetapkan modul untuk memprediksi ‘giliran’ berikutnya dalam dialog sambil mempertimbangkan konteks percakapan dan gambar yang terlibat.

GUI evaluasi manusia yang digunakan dalam penelitian.

Lima dataset eksternal digunakan sebagai bahan dasar untuk dataset 45k (yang tersedia di GitHub). Tiga adalah elemen berbasis teks: DailyDialog, sebuah set berbasis teks multi-giliran yang dianotasi secara manual dari 2017; dan Facebook’s EmpatheticDialogues dan PersonaChat, keduanya dari 2018. Dua dataset berbasis gambar yang digunakan adalah MS-COCO dan Flicker30k.

Pasangan gambar/teks – skema JSON frasa dalam dataset, terkait dengan gambar (dalam contoh ini) dari database gambar Microsoft COCO.

Penggantian teks-ke-gambar untuk sistem ini ditenagai oleh jaringan pembelajaran mesin pra-terlatih Visual Semantic Reasoning Network (VSRN), yang dikembangkan pada 2019 di Northeastern University di Boston. VSRN diatur untuk beroperasi pada frasa yang dipilih secara manual dari dataset teks yang berkontribusi.

Membangun Keterkaitan

Keterkaitan dataset sumber dibangun dengan mengembangkan enam kombinasi dari setiap dataset dialog, terkait dengan contoh dalam setiap dataset gambar, dan dievaluasi selama beberapa putaran oleh manusia.

Penilaian manusia didasarkan pada tiga kriteria: konsistensi dengan konteks pertukaran; relevansi gambar dengan konsep inti yang gambar coba ungkapkan; dan seberapa besar gambar mengandung objek kunci dari kalimat target.

Memperhatikan kriteria terakhir, dapat ditegaskan bahwa skema yang dipilih oleh peneliti telah sebagian besar mengabaikan kemungkinan kemungkinan makna semantik gambar yang humoris, sarkastis, abstrak, atau metafisik yang mungkin disuntikkan ke dalam percakapan teks.

Namun, ini adalah pekerjaan seminal, dan harus dimulai dari suatu tempat, sementara upaya besar sedang dilakukan di tempat lain di sektor Pemrosesan Bahasa Alami (NLP) untuk memetakan contoh sarkasme, di antara contoh lain yang kurang nyata dari hubungan gambar/teks.

Pengujian

Untuk menguji kerangka kerja generasi data, peneliti menggunakan model pengambilan tiga bagian yang berdasarkan penelitian Image-Chat Facebook 2020. Modul ini terdiri dari Resnext-101 sebagai pengkode gambar; BERT Google untuk pengkode teks; dan modul fusi kustom untuk keduanya.

Sistem ini mencapai 50,35 dan 14,38 pada tugas prediksi kalimat saat ini dan berikutnya, meningkatkan baseline untuk setiap tugas.

Kemudian, dua peneliti diminta untuk membuat 100 dialog multi-modal dengan menyisipkan gambar ke dalam percakapan secara manual, dan menjalankan sistem melawan ‘percakapan multi-modal organik’ ini. Sistem dapat memprediksi pertukaran saat ini dan berikutnya dengan kesadaran konteks yang tinggi bahkan untuk contoh ad hoc ini.

Hasil pengujian sistem generasi dataset multi-modal Korea, menunjukkan korelasi tinggi antara kesamaan teks-ke-gambar dan skor pertanyaan berbasis manusia pada data yang sama.