تعزيز الشبكات العصبية للرسوم البيانية باستخدام نماذج اللغة الكبيرة: الدليل النهائي

الرسوم البيانية هي هياكل بيانات تمثل علاقات معقدة عبر مجموعة واسعة من المجالات ، بما في ذلك الشبكات الاجتماعية والقواعد المعرفية والنظم البيولوجية وغيرها. في هذه الرسوم البيانية ، يتم تمثيل الكيانات على أنها عقد ، وعلاقاتها على أنها حواف.

القدرة على تمثيل وتفكير هذه الهياكل العلاقية المعقدة بشكل فعال أمر بالغ الأهمية لتمكين التقدم في مجالات مثل علم الشبكات والكيمياء الحاسوبية ونظم التوصية.

الشبكات العصبية للرسوم البيانية (GNNs) ظهرت كإطار قوي للتعلم العميق لمهام التعلم على الرسوم البيانية. من خلال دمج طوبولوجيا الرسم البياني في هيكل الشبكة العصبية من خلال التجميع الجوار أو التConvolution الجراف ، يمكن للشبكات العصبية للرسوم البيانية تعلم تمثيلات متجهات منخفضة الأبعاد ترميز سمات العقد ودورها الهيكلي. هذا يسمح للشبكات العصبية للرسوم البيانية بالحصول على أداء على مستوى الدولة في مهام مثل تصنيف العقد وتوقع الارتباط وتصنيف الرسم البياني عبر مجالات التطبيق المختلفة.

في حين أن الشبكات العصبية للرسوم البيانية قد drove تقدمًا كبيرًا ، لا تزال بعض التحديات الرئيسية. الحصول على بيانات تمييز عالية الجودة لتدريب نماذج الشبكات العصبية للرسوم البيانية الخاضعة للإشراف يمكن أن يكون مكلفًا ومستهلكًا للوقت. بالإضافة إلى ذلك ، يمكن للشبكات العصبية للرسوم البيانية أن تعاني من هياكل رسوم بيانية غير متجانسة وحالات حيث تختلف توزيع الرسم البياني في وقت الاختبار بشكل كبير عن بيانات التدريب (التعميم خارج التوزيع).

في نفس الوقت ، تم اختراق نماذج اللغة الكبيرة (LLMs) مثل GPT-4 و LLaMA العالم بفهمهم الطبيعي للغة والقدرة على توليد اللغة. تم تدريبها على مجموعات نصية ضخمة مع مليارات المعلمات ، تظهر نماذج اللغة الكبيرة قدرات تعلم قليلة الشوت وجENERALIZATION عبر المهام والتفكير العملي الذي كان يعتبر من الصعب على نظم الذكاء الاصطناعي.

النجاح الكبير لنماذج اللغة الكبيرة أثار استكشافات للاستفادة من قوتهم لمهام التعلم على الرسوم البيانية. من ناحية ، تقدم قدرات المعرفة والتفكير لنماذج اللغة الكبيرة فرصًا لتعزيز نماذج الشبكات العصبية التقليدية. من ناحية أخرى ، يمكن أن تكون التمثيلات الهيكلية والمعرفة الحقيقية المتأصلة في الرسوم البيانية مفيدة في معالجة بعض القيود الرئيسية لنماذج اللغة الكبيرة ، مثل الهلوسة ونقص القابلية للتفسير.

الشبكات العصبية للرسوم البيانية والتعلم الذاتي الإشرافي

للمساهمة في السياق اللازم ، سنستعرض أولاً المفهوم الأساسي والأساليب في الشبكات العصبية للرسوم البيانية والتعلم الذاتي على الرسوم البيانية.

هياكل الشبكات العصبية للرسوم البيانية

هيكل الشبكة العصبية للرسم البياني – المصدر

الفرق الرئيسي بين الشبكات العصبية التقليدية والشبكات العصبية للرسوم البيانية يكمن في khảيتهم للعمل مباشرة على بيانات هيكل الرسم البياني. تتبع الشبكات العصبية للرسوم البيانية مخطط تجميع الجوار ، حيث يجمع كل عقد متجهات الميزات من جيرانه لحساب تمثيله.

تم اقتراح العديد من هياكل الشبكات العصبية للرسوم البيانية مع تنفيذات مختلفة للوظائف الرسائلية والتحديثية ، مثل شبكات التجميع الجراف (GCNs) و GraphSAGE و شبكات الانتباه الجراف (GATs) و شبكات التماثل الجراف (GINs) وغيرها.

في الآونة الأخيرة ، اكتسبت المتحولات الجراف شعبية من خلال تعديل آليات الانتباه الذاتي من متحولات اللغة الطبيعية للعمل على بيانات هيكل الرسم البياني. بعض الأمثلة تشمل GraphormerTransformer و GraphFormers. هذه النماذج قادرة على التقاط التبعيات على المدى الطويل عبر الرسم البياني بشكل أفضل من الشبكات العصبية للرسوم البيانية القائمة على الجوار فقط.

التعلم الذاتي على الرسوم البيانية

في حين أن الشبكات العصبية للرسوم البيانية هي نماذج تمثيلية قوية ، غالبًا ما يتم حظر أدائها بسبب نقص مجموعات بيانات تمييز كبيرة مطلوبة لتدريب نماذج الشبكات العصبية للرسوم البيانية الخاضعة للإشراف. ظهر التعلم الذاتي كبديل واعد لتدريب الشبكات العصبية للرسوم البيانية على بيانات رسوم بيانية غير مُعنونة من خلال استغلال مهام مسبقة لا تتطلب إلا هيكل الرسم البياني الداخلي وميزات العقد.

الرسم البياني الذاتي

بعض المهام المسبقة الشائعة المستخدمة لتدريب الشبكات العصبية للرسوم البيانية الذاتية تشمل:

1. توقع خاصية العقد: إخفاء أو تقليل جزء من سمات العقد / الميزات وتكليف الشبكة العصبية بإعادة بنائها.
2. توقع الحافة / الارتباط: تعلم توقع وجود حافة بين زوج من العقد ، غالبًا على أساس إخفاء عشوائي للحواف.
3. التعلم بالتناقض: تعظيم الشبه بين مناظير الرسم البياني لنماذج الرسم البياني نفسه مع دفع مناظير من رسوم بيانية مختلفة.
4. تعظيم المعلومات المتبادلة: تعظيم المعلومات المتبادلة بين تمثيلات العقد المحلية وتمثيل هدف مثل التضمين العالمي للرسم البياني.

تسمح المهام المسبقة مثل هذه للشبكة العصبية للرسم البياني باستخراج أنماط هيكلية وсемантиكية معنوية من بيانات الرسم البياني غير المُعنونة خلال التدريب المسبق. يمكن بعد ذلك تعديل الشبكة العصبية للرسم البياني المُتدرب مسبقًا على مجموعات بيانات مُعنونة صغيرة لتحقيق التميز في مهام أسفل النهر مثل تصنيف العقد وتوقع الارتباط وتصنيف الرسم البياني.

من خلال الاستفادة من الإشراف الذاتي ، تظهر الشبكات العصبية للرسوم البيانية المُتدربة مسبقًا على مجموعات بيانات كبيرة غير مُعنونة أداءً أفضل ، ومرونة في التوزيعات ، وكفاءة أكثر من التدريب من الصفر. ومع ذلك ، لا تزال بعض القيود الرئيسية للأساليب التقليدية للشبكات العصبية للرسوم البيانية القائمة على الإشراف الذاتي ، والتي سنستكشف كيف يمكن لموديلات اللغة الكبيرة معالجتها فيما يلي.

تعزيز التعلم على الرسوم البيانية بموديلات اللغة الكبيرة

دمج الرسوم البيانية وموديلات اللغة الكبيرة – المصدر

القدرات الرائعة لموديلات اللغة الكبيرة في فهم اللغة الطبيعية والتفكير والتعلم القليل الشوت تقدم فرصًا لتعزيز جوانب متعددة من أنابيب التعلم على الرسوم البيانية. سنستكشف بعض الاتجاهات البحثية الرئيسية في هذا الفضاء:

تحدي رئيسي في تطبيق الشبكات العصبية للرسوم البيانية هو الحصول على تمثيلات ميزة عالية الجودة للعقد والحواف ، خاصة عندما تحتوي على سمات نصية غنية مثل الأوصاف والأسماء أو الملخصات. بشكل تقليدي ، تم استخدام طرق مثل كيس الكلمات أو نماذج التضمين المسبق ، والتي غالبًا ما تفشل في التقاط الدلالات الدقيقة.

أظهرت الأعمال الحديثة قوة الاستفادة من موديلات اللغة الكبيرة كمحuladoات نصية لإنشاء تمثيلات ميزة عقد/حافة أفضل قبل تمريرها إلى الشبكة العصبية للرسم البياني. على سبيل المثال ، Chen et al. يستخدمون موديلات اللغة الكبيرة مثل GPT-3 لتضمين سمات العقد النصية ، مما يظهر مكاسب كبيرة في الأداء على مهام تصنيف العقد مقارنة بالتضمين الكلاسيكي للكلمات.

بeyond محuladoات النص الأفضل ، يمكن استخدام موديلات اللغة الكبيرة لتوليد معلومات إضافية من سمات النص الأصلية بطريقة نصف إشرافية. TAPE يولد تسميات أو تفسيرات محتملة للعقد باستخدام موديل اللغة الكبيرة ويستخدم هذه كسمات إضافية.

من خلال تحسين جودة ووضوح الميزات الإدخالية ، يمكن لموديلات اللغة الكبيرة نقل قدراتها الفائقة في فهم اللغة الطبيعية إلى الشبكات العصبية للرسوم البيانية ، مما ي提高 الأداء على مهام أسفل النهر.

التخفيف من الاعتماد على البيانات المُعنونة

ميزة رئيسية لموديلات اللغة الكبيرة هي khảيتهم للأداء جيدًا في مهام جديدة مع القليل أو بدون بيانات مُعنونة ، بفضل تدريبهم على مجموعات نصية ضخمة. يمكن الاستفادة من هذه القدرة على التعلم القليل الشوت لتخفيف الاعتماد على مجموعات بيانات مُعنونة كبيرة.

一种 من النهج هي استخدام موديلات اللغة الكبيرة بشكل مباشر لصنع التنبؤات على مهام الرسم البياني من خلال وصف هيكل الرسم البياني ومعلومات العقد في عبارات لغة طبيعية. طرق مثل InstructGLM و GPT4Graph تعديل موديلات اللغة الكبيرة مثل LLaMA و GPT-4 باستخدام عبارات محددة بدقة تدمج تفاصيل هيكل الرسم البياني مثل اتصالات العقد والجوار إلخ. يمكن بعد ذلك للنموذج المعدّل توليد تنبؤات لمهام مثل تصنيف العقد وتوقع الارتباط بطريقة شوت صفر خلال الاستدلال.

في حين أظهر استخدام موديلات اللغة الكبيرة كمتنبئات كتلة وعدًا ، يتراجع أداؤهم لمهام الرسم البياني الأكثر تعقيدًا حيث يكون التمثيل الصريح لهيكل الرسم البياني مفيدًا. بعض النهج تستخدم موديلات اللغة الكبيرة بالتزامن مع الشبكات العصبية للرسوم البيانية – الشبكة العصبية للرسم البياني ترميز هيكل الرسم البياني بينما توفر موديل اللغة الكبيرة فهمًا семантиًا محسّنًا للعقد من وصفها النصي.

فهم الرسم البياني مع إطار موديل اللغة الكبيرة – المصدر

يستكشف GraphLLM استراتيجيتين: 1) موديلات اللغة الكبيرة كمحuladoات حيث تضمين موديلات اللغة الكبيرة سمات العقد النصية قبل تمريرها إلى الشبكة العصبية للرسم البياني، و 2) موديلات اللغة الكبيرة كمتنبئات حيث تأخذ موديل اللغة الكبيرة تمثيلات وسيطة للشبكة العصبية للرسم البياني كمدخلات لصنع التنبؤات النهائية.

يذهب GLEM إلى أبعد من ذلك من خلال اقتراح خوارزمية EM متباينة التي تتناوب بين تحديث مكونات موديل اللغة الكبيرة والشبكة العصبية للرسم البياني لتعزيزها المتبادل.

من خلال تقليل الاعتماد على البيانات المُعنونة من خلال قدرات التعلم القليل الشوت وتوليد شبه إشرافي ، يمكن لمهام التعلم على الرسوم البيانية المحسّنة بموديلات اللغة الكبيرة أن تفتح تطبيقات جديدة وتحسن كفاءة البيانات.

تعزيز موديلات اللغة الكبيرة بالرسوم البيانية

في حين أن موديلات اللغة الكبيرة حققت نجاحًا كبيرًا ، لا تزال تعاني من قيود رئيسية مثل الهلوسة (توليد عبارات غير حقيقية) ونقص القابلية للتفسير في عملية التفكير وعدم khảيتهم للحفاظ على معرفة حقيقية متسقة.

الرسوم البيانية ، خاصة الرسوم البيانية المعرفية التي تمثل معلومات حقيقية منظمة من مصادر موثوقة ، تقدم طرقًا واعدة لمعالجة هذه القيود. سنستكشف بعض النهج الناشئة في هذا الاتجاه:

تعزيز موديلات اللغة الكبيرة المسبقة بالرسوم البيانية

مشابه لتدريب موديلات اللغة الكبيرة على مجموعات نصية ضخمة ، استكشفت الأعمال الحديثة تدريبها على الرسوم البيانية لتعزيز الوعي بالحقيقة والتفكير.

بعض النهج تعدل البيانات الإدخالية ببساطة من خلال إضافة أو محاذاة ثلاثيات الرسوم البيانية مع النص الطبيعي خلال التدريب المسبق. E-BERT تمحاذي متجهات الكيانات في الرسوم البيانية مع تضمين كلمات BERT ، بينما يبني K-BERT أشجار تحتوي على الجملة الأصلية وثلاثيات الرسوم البيانية ذات الصلة.

دور موديلات اللغة الكبيرة في التعلم على الرسوم البيانية:

استكشف الباحثون عدة طرق لدمج موديلات اللغة الكبيرة في خط أنابيب التعلم على الرسوم البيانية ، كل منها له مميزاته وتطبيقاته الفريدة. هنا بعض الأدوار البارزة التي يمكن لموديلات اللغة الكبيرة لعبها:

1. موديل اللغة الكبيرة كمحulado: في هذا النهج ، تُستخدم موديلات اللغة الكبيرة لتعزيز السمات النصية المرتبطة بالعقد في الرسم البياني المُوسع. khảيتهم لتوليد التفسيرات أو الكيانات المعرفية أو التسميات الوهمية يمكن أن يعزز المعلومات السेमантиكية المتاحة للشبكة العصبية للرسم البياني ، مما يؤدي إلى تحسين تمثيلات العقد وأداء المهام أسفل النهر.

على سبيل المثال ، يعتمد نموذج TAPE (Text Augmented Pre-trained Encoders) على ChatGPT لتوليد تفسيرات وتسميات وهمية لأوراق الشبكة الإقتباسية ، والتي يتم بعد ذلك استخدامها لتعديل نموذج اللغة. يتم بعد ذلك إطعام التضمينات الناتجة إلى الشبكة العصبية للرسم البياني لتحقيق نتائج على مستوى الدولة في مهام تصنيف العقد وتوقع الارتباط.

2. موديل اللغة الكبيرة كمتنبئ: بدلاً من تعزيز الميزات الإدخالية ، يستخدم بعض النهج موديلات اللغة الكبيرة بشكل مباشر كمكونات متنبئة لمهام الرسم البياني. يتضمن هذا تحويل هيكل الرسم البياني إلى تمثيل نصي يمكن لموديل اللغة الكبيرة معالجته ، الذي يولد بعد ذلك الإخراج المطلوب ، مثل تسميات العقد أو التنبؤات على مستوى الرسم البياني.

مثال بارز هو نموذج GPT4Graph ، الذي يمثل الرسوم البيانية باستخدام لغة نمذجة الرسوم البيانية (GML) ويتعاون مع موديل اللغة الكبيرة القوي GPT-4 لتحقيق مهام التفكير على الرسوم البيانية بطريقة شوت صفر خلال الاستدلال.

3. محاذاة الشبكات العصبية للرسوم البيانية وموديلات اللغة الكبيرة: يركز خط آخر من البحث على محاذاة فضاءات التضمين للشبكات العصبية للرسوم البيانية وموديلات اللغة الكبيرة ، مما يسمح بالدمج السلس لل معلومات الهيكلية والсемантиكية. تعامل هذه النهج مع الشبكة العصبية للرسم البياني وموديل اللغة الكبيرة كوسائط منفصلة وتستخدم تقنيات مثل التعلم بالتناقض أو التقطير لتحقيق محاذاة بين تمثيلاتها.

على سبيل المثال ، يستخدم نموذج MoleculeSTM هدفًا تناقضيًا لمحاذاة تضمينات الشبكة العصبية للرسم البياني وموديل اللغة الكبيرة ، مما يسمح لموديل اللغة الكبيرة بدمج المعلومات الهيكلية من الشبكة العصبية للرسم البياني بينما تستفيد الشبكة العصبية للرسم البياني من المعرفة السемантиكية لموديل اللغة الكبيرة.

التحديات والحلول

في حين أن دمج موديلات اللغة الكبيرة والتعلم على الرسوم البيانية يحمل وعدًا كبيرًا ، هناك تحديات يجب معالجتها:

1. الكفاءة وال قابليّة للتوسيع: موديلات اللغة الكبيرة مشهورة بكونها مكلفة من حيث الموارد ، وتتطلب مليارات المعلمات وقدرة حسابية هائلة للتدريب والاستدلال. يمكن أن يكون هذا عائقًا كبيرًا لتنفيذ نماذج التعلم على الرسوم البيانية المحسّنة بموديلات اللغة الكبيرة في التطبيقات الحقيقية ، خاصة على الأجهزة المحدودة الموارد.

إحدى الحلول الواعدة هي التقطير المعرفي ، حيث يتم نقل المعرفة من موديل اللغة الكبيرة الكبير (مُعلم) إلى نموذج الشبكة العصبية للرسم البياني الأصغر والأكثر كفاءة (طالب).

2. تسرب البيانات والتقييم: موديلات اللغة الكبيرة يتم تدريبها على كميات هائلة من البيانات العامة ، والتي قد تشمل مجموعات اختبار من مجموعات البيانات الشائعة ، مما يؤدي إلى تسرب البيانات وتقييم مبالغ فيه. بدأ الباحثون بجمع مجموعات بيانات جديدة أو عينة بيانات الاختبار من فترات زمنية بعد قطع تدريب موديل اللغة الكبيرة لتخفيف هذه القضية.

إضافة إلى ذلك ، من المهم إنشاء معايير تقييم عادلة ومتكاملة لموديلات التعلم على الرسوم البيانية المحسّنة بموديلات اللغة الكبيرة لقياس قدراتها الحقيقية وتحقيق مقارنات ذات معنى.

3. النقل والقابلية للتفسير: في حين أن موديلات اللغة الكبيرة تتفوق في التعلم القليل الشوت ، لا تزال khảيتهم لنقل المعرفة عبر مجالات وتراكيب رسوم بيانية مختلفة تحديًا مفتوحًا. تحسين قابلية النقل لهذه النماذج هو اتجاه بحثي حاسم.

علاوة على ذلك ، تعزيز قابلية تفسير نماذج التعلم على الرسوم البيانية القائمة على موديلات اللغة الكبيرة أمر ضروري لبناء الثقة وتحقيق اعتمادها في التطبيقات الحساسة. الاستفادة من khảيتهم الفطرية في التفكير من خلال تقنيات مثل التحفيز السلس يمكن أن يساهم في تحسين القابلية للتفسير.

4. التكامل المتعدد الوسائط: الرسوم البيانية غالبًا ما تحتوي على أكثر من مجرد معلومات نصية ، حيث يمكن أن ترتبط العقد والحواف بموجات متعددة ، مثل الصور أو الصوت أو البيانات الرقمية. توسيع دمج موديلات اللغة الكبيرة في هذه الإعدادات المتعددة الوسائط للرسوم البيانية ي представляет فرصة مثيرة للبحث في المستقبل.

التطبيقات الحقيقية ودراسات الحالة

دمج موديلات اللغة الكبيرة والتعلم على الرسوم البيانية أظهرت بالفعل نتائج واعدة في تطبيقات حقيقية مختلفة:

1. توقع الخاصية الجزيئية: في مجال الكيمياء الحاسوبية واكتشاف الأدوية ، تم استخدام موديلات اللغة الكبيرة لتعزيز توقع الخاصيات الجزيئية من خلال دمج المعلومات الهيكلية من الرسوم البيانية الجزيئية. نموذج LLM4Mol ، على سبيل المثال ، يستخدم ChatGPT لتوليد تفسيرات لتمثيلات SMILES (Simplified Molecular-Input Line-Entry System) للجزيئات ، مما يؤدي إلى تحسين دقة مهام توقع الخاصية.
2. إكمال الرسم البياني المعرفي والتفكير: الرسوم البيانية المعرفية هي نوع خاص من هيكل الرسم البياني الذي يمثل كيانات العالم الحقيقي وعلاقاتها. تم استكشاف موديلات اللغة الكبيرة لمهام مثل إكمال الرسم البياني المعرفي والتفكير ، حيث يجب مراعاة هيكل الرسم البياني والمعلومات النصية (مثل وصف الكيانات) بشكل مشترك.
3. نظم التوصية: في مجال نظم التوصية ، غالبًا ما يتم استخدام هياكل الرسم البياني لتمثيل تفاعلات المستخدم والعنصر ، مع تمثيل المستخدمين والعناصر كعقد وتمثيل التفاعلات كحواف. يمكن لموديلات اللغة الكبيرة أن تعزز هذه الرسوم البيانية من خلال توليد معلومات جانبية للمستخدم أو تعزيز حواف التفاعل.

الختام

التلازم بين موديلات اللغة الكبيرة والتعلم على الرسوم البيانية ي представляет حقلًا مثيرًا في أبحاث الذكاء الاصطناعي. من خلال دمج التحيز الهيكلي للشبكات العصبية للرسوم البيانية مع khảيتهم الفائقة في فهم اللغة الطبيعية ، يمكننا فتح إمكانيات جديدة في مهام التعلم على الرسوم البيانية ، خاصة في الرسوم البيانية المُوسعة بالنص.

في حين تم إحراز تقدم كبير ، لا تزال هناك تحديات في مجالات مثل الكفاءة والقابلية للتوسيع والقابلية للتفسير. تقنيات مثل التقطير المعرفي ومعيار التقييم العادل والتكامل المتعدد الوسائط تفتح الطريق لتنفيذ نماذج التعلم على الرسوم البيانية المحسّنة بموديلات اللغة الكبيرة في التطبيقات الحقيقية.