Meningkatkan Graf Neural dengan Model Bahasa Besar: Panduan Utama

Graf adalah struktur data yang merepresentasikan hubungan kompleks di berbagai domain, termasuk jaringan sosial, basis pengetahuan, sistem biologis, dan banyak lagi. Dalam graf ini, entitas direpresentasikan sebagai node, dan hubungan mereka digambarkan sebagai edge.

Kemampuan untuk secara efektif merepresentasikan dan menalar tentang struktur relasional yang rumit ini sangat penting untuk memungkinkan kemajuan di bidang seperti ilmu jaringan, kemoinformatika, dan sistem rekomendasi.

Graf Neural Network (GNN) telah muncul sebagai kerangka kerja pembelajaran mesin dalam yang kuat untuk tugas pembelajaran graf. Dengan mengintegrasikan topologi graf ke dalam arsitektur jaringan neural melalui skema agregasi tetangga atau konvolusi graf, GNN dapat mempelajari representasi vektor berdimensi rendah yang mengkodekan baik fitur node dan peran struktural mereka. Ini memungkinkan GNN untuk mencapai kinerja terbaik pada tugas seperti klasifikasi node, prediksi tautan, dan klasifikasi graf di berbagai area aplikasi.

Sementara GNN telah menghasilkan kemajuan yang signifikan, beberapa tantangan utama masih ada. Mendapatkan data yang berlabel dengan kualitas tinggi untuk pelatihan model GNN yang terawasi dapat memakan biaya dan waktu. Selain itu, GNN dapat kesulitan dengan struktur graf yang heterogen dan situasi di mana distribusi graf pada waktu pengujian berbeda secara signifikan dari data pelatihan (generalisasi out-of-distribution).

Bersamaan dengan itu, Model Bahasa Besar (LLM) seperti GPT-4 dan LLaMA telah mengambil alih dunia dengan kemampuan pemahaman dan generasi bahasa alami yang luar biasa. Dilatih pada korpus teks besar dengan miliaran parameter, LLM menunjukkan kemampuan pembelajaran few-shot yang luar biasa, generalisasi di seluruh tugas, dan kemampuan penalaran yang umum yang sebelumnya dianggap sangat menantang bagi sistem AI.

Kesuksesan luar biasa dari LLM telah memicu eksplorasi untuk memanfaatkan kekuatan mereka untuk tugas pembelajaran graf. Di satu sisi, kemampuan pengetahuan dan penalaran dari LLM menawarkan kesempatan untuk meningkatkan model GNN tradisional. Di sisi lain, representasi terstruktur dan pengetahuan faktual yang melekat dalam graf dapat menjadi instrumental dalam mengatasi beberapa keterbatasan LLM, seperti halusinasi dan kurangnya interpretabilitas.

Graf Neural Network dan Pembelajaran Mandiri

Untuk memberikan konteks yang diperlukan, kita akan memeriksa konsep dan metode inti dalam graf neural network dan pembelajaran representasi graf mandiri.

Arsitektur Graf Neural Network

Arsitektur Graf Neural Network – sumber

Perbedaan utama antara jaringan neural dalam tradisional dan GNN terletak pada kemampuan mereka untuk beroperasi langsung pada data yang terstruktur graf. GNN mengikuti skema agregasi tetangga, di mana setiap node mengagregasi vektor fitur dari tetangganya untuk menghitung representasinya sendiri.

Banyak arsitektur GNN telah diusulkan dengan instantiasi yang berbeda dari fungsi pesan dan pembaruan, seperti Graph Convolutional Networks (GCNs), GraphSAGE, Graph Attention Networks (GATs), dan Graph Isomorphism Networks (GINs) di antaranya.

Lebih baru-baru ini, graf transformer telah mendapatkan popularitas dengan menyesuaikan mekanisme perhatian diri dari transformer bahasa alami untuk beroperasi pada data yang terstruktur graf. Beberapa contoh termasuk GraphormerTransformer dan GraphFormers. Model-model ini dapat menangkap ketergantungan jangka panjang di seluruh graf lebih baik daripada GNN murni berbasis tetangga.

Pembelajaran Mandiri pada Graf

Sementara GNN adalah model representasi yang kuat, kinerjanya sering kali terhambat oleh kurangnya dataset yang berlabel besar yang diperlukan untuk pelatihan terawasi. Pembelajaran mandiri telah muncul sebagai paradigma yang menjanjikan untuk mempratrain GNN pada data graf tidak berlabel dengan memanfaatkan tugas pretext yang hanya memerlukan struktur graf intrinsik dan fitur node.

Graf Mandiri

Beberapa tugas pretext umum yang digunakan untuk mempratrain GNN mandiri termasuk:

1. Prediksi Properti Node: Mengacak atau merusak sebagian atribut/node dan meminta GNN untuk merekonstruksinya.
2. Prediksi Tautan/Edge: Belajar untuk memprediksi apakah sebuah edge ada antara pasangan node, sering kali berdasarkan masking edge acak.
3. Pembelajaran Kontras: Maksimalkan kesamaan antara pandangan graf dari sampel graf yang sama sambil memisahkan pandangan dari graf yang berbeda.
4. Maksimisasi Informasi Bersama: Maksimalkan informasi bersama antara representasi node lokal dan representasi target seperti representasi graf global.

Tugas pretext seperti ini memungkinkan GNN untuk mengekstrak pola struktural dan semantik yang bermakna dari data graf tidak berlabel selama mempratrain. GNN yang dipratrain dapat kemudian difinetune pada subset yang berlabel relatif kecil untuk unggul dalam berbagai tugas hilir seperti klasifikasi node, prediksi tautan, dan klasifikasi graf.

Dengan memanfaatkan supervisi mandiri, GNN yang dipratrain pada dataset tidak berlabel besar menunjukkan generalisasi, kekuatan, dan efisiensi yang lebih baik dibandingkan dengan pelatihan dari awal. Namun, beberapa keterbatasan metode GNN mandiri tradisional masih ada, yang akan kita jelajahi untuk dimanfaatkan dengan LLM berikutnya.

Meningkatkan Pembelajaran Graf dengan Model Bahasa Besar

Integrasi Graf dan LLM – sumber

Kemampuan luar biasa dari LLM dalam memahami bahasa alami, penalaran, dan pembelajaran few-shot membuka peluang untuk meningkatkan berbagai aspek pipa pembelajaran graf. Kita akan menjelajahi beberapa arah penelitian kunci dalam ruang ini:

Tantangan utama dalam menerapkan GNN adalah mendapatkan representasi fitur node dan edge yang berkualitas tinggi, terutama ketika mereka mengandung atribut teks kaya seperti deskripsi, judul, atau abstrak. Secara tradisional, model embedding kata sederhana atau pra-dilatih telah digunakan, yang sering gagal menangkap semantik yang halus.

Karya terkini telah menunjukkan kekuatan memanfaatkan model bahasa besar sebagai pengkode teks untuk membangun representasi fitur node/edge yang lebih baik sebelum melewatinya ke GNN. Misalnya, Chen et al. menggunakan LLM seperti GPT-3 untuk mengkode atribut node teks, menunjukkan peningkatan kinerja yang signifikan atas embedding kata tradisional pada tugas klasifikasi node.

Selain pengkode teks yang lebih baik, LLM dapat digunakan untuk menghasilkan informasi tambahan dari atribut teks asli dalam cara semi-terawasi. TAPE menghasilkan label atau penjelasan potensial untuk node menggunakan LLM dan menggunakan ini sebagai fitur tambahan. KEA mengekstrak istilah dari atribut teks menggunakan LLM dan mendapatkan deskripsi rinci untuk istilah ini untuk mengaugmentasi fitur.

Dengan meningkatkan kualitas dan ekspresivitas fitur input, LLM dapat memperkenalkan kemampuan pemahaman bahasa alami yang unggul ke GNN, meningkatkan kinerja pada tugas hilir.

Mengurangi Ketergantungan pada Data yang Berlabel

Kelebihan utama dari LLM adalah kemampuan mereka untuk berkinerja dengan baik pada tugas baru dengan sedikit atau tanpa data yang berlabel, berkat pra-pelatihan mereka pada korpus teks besar. Kemampuan few-shot ini dapat dimanfaatkan untuk mengurangi ketergantungan GNN pada dataset yang berlabel besar.

Satu pendekatan adalah menggunakan LLM untuk secara langsung membuat prediksi pada tugas graf dengan menggambarkan struktur graf dan informasi node dalam prompt bahasa alami. Metode seperti InstructGLM dan GPT4Graph mempratrain LLM seperti LLaMA dan GPT-4 menggunakan prompt yang dirancang dengan hati-hati yang mengintegrasikan detail topologi graf seperti koneksi node, tetangga, dll. LLM yang dipratrain dapat kemudian menghasilkan prediksi untuk tugas seperti klasifikasi node dan prediksi tautan dalam cara zero-shot selama inferensi.

Sementara menggunakan LLM sebagai prediktor kotak hitam telah menunjukkan janji, kinerjanya menurun untuk tugas graf yang lebih kompleks di mana pemodelan struktur eksplisit bermanfaat. Beberapa pendekatan menggunakan LLM bersama dengan GNN – GNN mengkode struktur graf sementara LLM menyediakan pemahaman semantik yang ditingkatkan dari node dari deskripsi teks mereka.

Pemahaman Graf dengan Kerangka LLM – Sumber

GraphLLM menjelajahi dua strategi: 1) LLM sebagai Peningkat di mana LLM mengkode atribut node teks sebelum melewatinya ke GNN, dan 2) LLM sebagai Prediktor di mana LLM mengambil representasi intermediat GNN sebagai input untuk membuat prediksi akhir.

GLEM melangkah lebih jauh dengan mengusulkan algoritma EM variabel yang bergantian antara memperbarui komponen LLM dan GNN untuk peningkatan bersama.

Dengan mengurangi ketergantungan pada data yang berlabel melalui kemampuan few-shot dan pengayaan semi-terawasi, metode pembelajaran graf yang ditingkatkan dengan LLM dapat membuka kunci aplikasi baru dan meningkatkan efisiensi data.

Meningkatkan LLM dengan Graf

Sementara LLM telah sangat sukses, mereka masih menderita keterbatasan seperti halusinasi (menghasilkan pernyataan non-faktual), kurangnya interpretabilitas dalam proses penalaran mereka, dan ketidakmampuan untuk mempertahankan pengetahuan faktual yang konsisten.

Graf, terutama graf pengetahuan yang merepresentasikan informasi faktual terstruktur dari sumber yang dapat dipercaya, menawarkan jalur yang menjanjikan untuk mengatasi keterbatasan ini. Kita akan menjelajahi beberapa pendekatan yang muncul dalam arah ini:

Pra-Pelatihan LLM yang Ditingkatkan dengan Graf Pengetahuan

Mirip dengan cara LLM dipra-pelatih pada korpus teks besar, karya terkini telah menjelajahi pra-pelatihan mereka pada graf pengetahuan untuk memperkenalkan kesadaran faktual yang lebih baik dan kemampuan penalaran.

Beberapa pendekatan memodifikasi data input dengan menyederhanakan atau menyelaraskan triplet graf pengetahuan dengan teks bahasa alami selama pra-pelatihan. E-BERT menyelaraskan vektor entitas graf pengetahuan dengan embedding wordpiece BERT, sementara K-BERT membangun pohon yang berisi kalimat asli dan triplet graf pengetahuan yang relevan.