مشروع Diffbot يقرأ الإنترنت العام كله لتحقيق توليد نص قائم على الحقائق

التقدم الأخير في معالجة اللغة الطبيعية وتوليد النص الذي حققته OpenAI من خلال نماذج اللغة GPT-2 و GPT-3 كان مثيرًا للإعجاب ، قادرًا على توليد نص يبدو كما لو كان كتبه إنسان حقيقي. للأسف ، على الرغم من أن هذه النماذج تتفوق في كتابة نص طبيعي الصوت ، إلا أنها لا تتمتع بالقدرة على كتابة نص دقيق. النماذج اللغوية المتقدمة تجمع الجمل معًا من الكلمات التي تجعل أكثر معنى في السياق ، دون إيلاء اهتمام للصدق المزعوم في النص المولَّد. كما ذكرتها مجلة MIT Technology Review ، تهدف شركة بدء تشغيل تسمى Diffbot إلى حل هذه المشكلة من خلال جعل الذكاء الاصطناعي يستخرج أكبر عدد من الحقائق من الإنترنت.

Diffbot هي شركة بدء تشغيل تهدف إلى جعل الذكاء الاصطناعي أكثر فائدة لمهام توليد النص العملي مثل ملء الجداول تلقائيًا واكتمال الجمل أو الشفرة. من أجل أن يكون النص المولَّد بواسطة الذكاء الاصطناعي موثوقًا به ، يجب أن يكون الذكاء الاصطناعي نفسه موثوقًا به ويجب أن يكون لديه بعض概念 للحقيقة مقابل العبارات الخيالية. يبدأ подход Diffbot في منح برنامج توليد النص القدرة على توليد عبارات دقيقة بجمع كميات هائلة من النص من معظم الإنترنت العام. يقوم Diffbot بتحليل النص في لغات متعددة ويقسم النص إلى مجموعات من الثلاثيات القائمة على الحقائق ، مع استخدام الفاعل والكائن والفعل لربط مفهوم بآخر. على سبيل المثال ، قد تمثل الحقائق المتعلقة ببيل غيتس ومايكروسوفت على النحو التالي:

بيل غيتس هو مؤسس شركة مايكروسوفت. مايكروسوفت هي شركة تكنولوجيا الحاسوب.

يأخذ Diffbot كل هذه الحقائق القصيرة ويربطها معًا لإنشاء مخطط معرفي. مخططات المعرفة تُنشئ شبكات علاقات بين المفاهيم ، غالبًا مع معالج مساعد يساعد في إنشاء استنتاجات جديدة بناءً على هذه العلاقات. بطريقة أخرى ، تستخدم مخططات المعرفة ربط البيانات ، ويمكنها مساعدة خوارزميات التعلم الآلي في نمذجة مجالات المعرفة. كانت مخططات المعرفة موجودة لفترة طويلة ، واعتبرها العديد من الباحثين في مجال الذكاء الاصطناعي أدوات مهمة لتمكين الذكاء الاصطناعي من فهم العالم البشري. ومع ذلك ، تم إنشاء مخططات المعرفة بشكل عام يدويًا ، وهو عملية صعبة ومؤلمة. يمكن توفير تلقين إنشاء مخططات المعرفة للذكاء الاصطناعي الحصول على فهم سياقي أكبر للمفاهيم وإنتاج نص دقيق.

بدأت جوجل في استخدام مخططات المعرفة منذ بضع سنوات لمساعدة في تقديم ملخصات للمعلومات عند البحث عن موضوع شائع. يتم استخدام مخطط المعرفة لاستخراج أكثر الحقائق الصحيحة وأدقها وتمثيلها كملخص. تريد Diffbot القيام بنفس الشيء لكل موضوع ، وليس فقط الموضوعات الشائعة. يتطلب ذلك بناء مخطط معرفي ضخم ، يُجمَع عن طريق تحليل الإنترنت العام كله ، وهو ما تفعله جوجل ومايكروسوفت فقط. يقوم Diffbot بفحص الإنترنت كله ويعيد تحديث مخطط المعرفة بمعلومات جديدة كل أربعة أو خمسة أيام ، ويضيف خلال شهر ما بين 100 مليون إلى 150 مليون إدخال.

Diffbot لا يقرأ نص موقع الويب مثل متصفحات الويب العادية ، بل يستخدم خوارزميات الرؤية الحاسوبية لاستخراج البكسل الخام لصفحة الويب واستخراج بيانات الفيديو والصورة والمقال والمناقشة من الصفحة. يحدد Diffbot العناصر الرئيسية للصفحة ثم يستخرج الحقائق بلغات متعددة ، وفقًا لschema الثلاثية.

Diffbot تقدم حاليًا وصولًا مدفوعًا ومجانيًا إلى مخططها المعرفي. في حين يمكن للباحثين الوصول إلى المخطط مجانًا ، تستخدم الشركات مثل DuckDuckGo وSnapchat المخطط لملخص النص واستخراج مقتطفات من الأخبار الشائعة. في غضون ذلك ، تستخدم Nike وAdidas المنصة للعثور على المواقع التي تبيع منتجات مقلدة ، وهو ما يتمكن Diffbot من القيام به لأنه يمكنه تحديد المواقع التي تبيع الحقائب بدلاً من مناقشتها فقط.

في المستقبل ، تهدف Diffbot إلى توسيع قدراتها وإضافة واجهة لغة طبيعية إلى المنصة ، قادرة على الإجابة على几乎 أي سؤال تسأله ومدعومة بمصادر. في الوضع المثالي ، ستتمدمج قدرات Diffbot مع نموذج 합성 لغة قوي مثل GPT-3.