تعليم الذكاء الاصطناعي على فهم واستخدام الصور في الحوار

قام باحثون من كوريا الجنوبية بتطوير مجموعة بيانات مصممة لمساعدة البحث في فهم الذكاء الاصطناعي للطريقة التي يستخدم بها البشر الصور في الحوار، ومساعدة نماذج اللغة الطبيعية على المشاركة في هذا التطور الحديث في الاتصالات البشرية.

الورقة، التي نشرت في KAIST في Daedeok Innopolis، تشير إلى أن البحث في أنظمة الحوار المتعددة الوسائط خلال العقد الماضي قد تعثر بسبب مجموعات البيانات والمنهجيات التي تركز على التخصصات المحيطية بالموضوع، مثل الأسئلة البصرية وتعريف الصور.

في هذه المناهج القديمة، يتم تقييم الصور خارج السياق اللفظي للحوار، دون فهم للطريقة التي يتم بها تعزيز وتطوير الحوار بواسطة استجابات الصور، ولا يوجد مخطط متقاطع للفهم الدقيق للمساهمات البصرية في الخطاب.

الصور كأجزاء أولية من الحوار

许多 من المناهج السابقة كانت مبادرات أو تطورات من ذراع البحث في شركة مايكروسوفت، والتي في عام 2017 cũng فحصت موضوع الحوارات المتعددة الوسائط التي تبدأ بصور، بدلاً من استخدام الصور بحرية كمركبات حوار.

为了解决 نقص في بيانات البحث، قام الباحثون الكوريون بتطوير مجموعة بيانات تضم 45,000 حالة حوار تتضمن استخدام الصور بشكل عفوي، دون التركيز على الصور الميمية؛ هذه الأخيرة، على الرغم من كونها مجالًا بحثيًا، يمكن القول إنها أقل تحديًا، لأن معنى الصور الميمية يمكن استخلاصه بسهولة أكبر من خلال آلاف الاستخدامات في سياقها على منصات التواصل الاجتماعي.

تطوير الرسومات كبديل للنص

为了 تطوير منهجية لترجمة الكلمات والعبارات إلى محتوى صوري، قام الباحثون الكوريون بتدريب نظام تعلم الآلة على استبدال أجزاء من حوار نصي بمحتوى صوري ذي معنى دقيق.

هيكل النظام الكوري لتوليد مجموعة بيانات للبحث في الحوار المتعدد الوسائط. مصدر: https://arxiv.org/pdf/2107.08685.pdf

تمت معالجة مسبقة للجمل المستهدفة بإزالة الكلمات المحظورة التي قد تمنع التنبؤ بالرد التالي في المحادثة، وتنقية التبادل الأقل جودة عبر مرشحات تشابه سياقية.

为了 اختبار فائدة مجموعة البيانات، قام الباحثون بتشغيل وحدة لتنبؤ الرد التالي في الحوار مع考虑 السياق للمحادثة والصور المشاركة.

واجهة التقييم البشري المستخدمة في البحث.

استخدمت خمس مجموعات بيانات خارجية كمواد أساسية لمجموعة البيانات 45k (التي متاحة على GitHub). ثلاثة منها هي عناصر نصية: حوار يومي، مجموعة نصية متعددة الدورات تم تعليمها يدويًا من عام 2017؛ وحوارات تعاطفية ومحادثات شخصية من فيسبوك، كلاهما من عام 2018. استخدمت مجموعتان من مجموعات البيانات الصورية: MS-COCO وFlicker30k.

أزواج الصور والنص – مخطط JSON للجمل في مجموعة البيانات، المرتبطة بالصور (في هذه المثال) من قاعدة بيانات الصور COCO التابعة لمايكروسوفت.

استخدم نظام الاستبدال النصي بالصورة الشبكة المعرفية البصرية (VSRN) المسبقة التدريب، التي طورت في عام 2019 في جامعة نورث إيسترن في بوسطن. تم تشغيل VSRN على الجمل المحددة يدويًا من مجموعات البيانات النصية المساهمة.

تحقيق الاتساق

تم تحقيق اتساق مجموعات البيانات الأصلية من خلال تطوير ستة مجموعات من كل مجموعة بيانات حوار، مرتبطة بمثيلاتها في كل مجموعة بيانات صور، وتقييمها على عدة جولات بواسطة بشر.

استند التقييم البشري على ثلاثة معايير: الاتساق مع سياق التبادل؛ صلة الصورة بالفكرة الأساسية التي تحاول الصورة التعبير عنها؛ ومدى احتواء الصورة على كائنات رئيسية من الجملة المستهدفة.

بناءً على المعيار الأخير، يمكن القول إن الخطة التي اختارها الباحثون قد أهملت إلى حد كبير إمكانية وجود احتمالات هزلية أو ساخرة أو مجردة أو ميتافيزيقية للمعنى الدلالي للصورة التي قد يتم حقنها في محادثة نصية.

然而، هذا هو عمل رائد، ويجب أن يبدأ من مكان ما، بينما تبذل جهود كبيرة في قطاع معالجة اللغة الطبيعية (NLP) لتحديد حالات الاستهزاء، من بين أمثلة أخرى غير ملموسة للعلاقة بين الصور والنص.

الاختبار

为了 اختبار إطار توليد البيانات، استخدم الباحثون نموذج استرجاع ثلاثي القسم يستند إلى بحث Image-Chat من فيسبوك لعام 2020. يتكون النموذج من Resnext-101 ككودر للصور؛ وBERT من جوجل ككودر للنص؛ ووحدة دمج مخصصة لهذين الكودرين.

حققت النظام نتائج 50.35 و14.38 في مهمة التنبؤ بالجملة الحالية والجملة التالية، مما يحسن من القيمة الأساسية لكل مهمة.

لاحقًا، تم تكليف两个 باحثين بإنشاء 100 حوار متعدد الوسائط عن طريق إدراج الصور في المحادثات يدويًا، وتنفيذ النظام على هذه المحادثات “العضوية” المتعددة الوسائط. كان النظام قادرًا على التنبؤ بالتبادلات الحالية واللاحقة بوعي cao حتى في هذه الأمثلة العفوية.

نتائج اختبار نظام توليد مجموعة البيانات المتعددة الوسائط الكوري، مما يظهر ارتباطًا عاليًا بين تشابه النص والصورة ودرجات الأسئلة القائمة على البشر على نفس البيانات.