لماذا يُعد الاسترجاع المعزز بالتوليد الحدود التالية لتحليل البيانات

يُصر ثلاثة من أصل أربعة أشخاص على أن منظماتهم تستخدم الذكاء الاصطناعي. ومع ذلك، ما زال معظم ذلك النشاط يركز على المحتوى غير المنظم: تلخيص الاجتماعات، وكتابة البريد الإلكتروني، وتحسين دعم العملاء.

ولكن من المفارقات أن الكثير من البيانات التي تدفع فعلاً قرارات الأعمال – التقارير المالية، وطاولات المستودعات، والمؤشرات الأساسية – لا تزال غير متأثرة بالذكاء الاصطناعي.

السبب لا يعود إلى نقص الطموح، بل إلى نقص الثقة. عندما يخطر ببال نموذج جملة، يمكن إصلاح ذلك غالباً؛ عندما يخطر ببال نموذج رقم، يكون ذلك كارثياً. لا يمكن لمدير المالية التوقيع على إجابة لا يمكن التحقق منها.

اليوم، تعيش البيانات المنظمة عبر عشرات الأنظمة، كل منها بقواعده و علاقاته الخاصة. جعل الذكاء الاصطناعي يعمل بشكل صحيح عبر تلك التعقيدات هو تحد أكثر صعوبة من أي برنامج محادثة.

تحتاج الشركات وفريقها – بما في ذلك المستخدمين غير التقنيين – إلى التفاعل مع بياناتهم بسهولة لخفض الاختناقات والحصول على رؤى سريعة ودقيقة. دون الحاجة إلى تعلم SQL.

تظهر بعض الحلول – دعونا نلقي نظرة على بعض الأمثلة البارزة، مع مزاياها وعيوبها.

الذكاء الاصطناعي والبيانات المنظمة – جسر بعيد المنال

على مدار السنوات القليلة الماضية، ظهرت عدة محاولات لجسر رؤى الذكاء الاصطناعي والبيانات المنظمة.

كثير من هذه المحاولات تأتي من عمالقة التكنولوجيا ذات الموارد والبيانات الكبيرة. قام Snowflake، على سبيل المثال، بتقديم Cortex Analyst، الذي يحاول السماح للمستخدمين بطرح أسئلة لغة طبيعية ضد مستودع بيانات Snowflake.

为了 تحسين الدقة، يمتلك Cortex طريقة لتوفير البيانات الوصفية الدلالية – ولكن النموذج محدود للغاية. أولاً، يجب بناؤه يدوياً، وحتى ذلك الحين، يمكنه العمل فقط على ما يصل إلى 10 جداول، وهو ليس كافياً حتى لشركة متوسطة الحجم. أي ارتفاع أكثر من ذلك، وتنهار الثقة، لأن الدقة تنخفض.

تتكرر القصة مع محاولات Databricks، التي اتبعت نهج text-to-SQL مع AI/BI Genie. يمكن تطبيق هذا الحل فقط بشكل فعال على نطاقات صغيرة، ويفقد الدقة مع مجموعات البيانات المتزايدة.

Microsoft Power BI Copilot يتبع نهج توليد سطحي، حيث يدمج الذكاء الاصطناعي مباشرة في لوحات التحكم لوصف الرسومات، وتقترح المقاييس، وكتابة التقارير. يعزز الاستكشاف ولكن لا يغير كيفية استدلال التحليلات أو التحقق منها. كل استجابة لا تزال تعتمد على حكم النموذج، وعندما يفشل ذلك الحكم، لا توجد سجلات مراجعة أو منطق محدد للعودة إليه.

تُشير هذه الأنظمة مجتمعة إلى الاتجاه الصحيح: نشر الذكاء الاصطناعي على بيانات الشركات المنظمة. لكنها تشترك أيضاً في عيب حرج. تعتمد على نموذج الذكاء الاصطناعي لتوليد SQL من اللغة الطبيعية، وعندما يكون SQL خاطئاً، وهو ما يحدث غالباً، يصبح مستخدم الأعمال عالقاً. لا يمكن لمدير تنفيذي الذي لا يستطيع قراءة SQL تشخيص أو تصحيح النتيجة. يتوقف الحوار.

هناك طريقة أخرى لمواجهة المشكلة وهي فهرسة أزواج الأسئلة والإجابات المحتملة مسبقاً. يتبع GARAGe من Ada هذا الأسلوب. يعمل جيداً في مجالات ضيقة حيث تكون الأسئلة قابلة للتنبؤ، ولكن الأداء ينخفض مع زيادة تعقيد البيانات. عندما تتكاثر الجداول وال مخططات، تصبح الفهرسة مسبقاً غير قابلة للإدارة بسرعة.

مسار مختلف: الاسترجاع المعزز بالتوليد

يقلب الاسترجاع المعزز بالتوليد (GAR) نهج RAG الحالي رأساً على عقب (يستخدم RAG مصدراً لتحسين الدقة).

بدلاً من طلب نموذج LLM كتابة SQL، يستخدم GAR الذكاء الاصطناعي لت理解 نية استفسار المستخدم، ثم يخلق خطوات الاستدلال لتوليد الإجابة.

في GAR، تتفاعل الاستفسارات مباشرة مع قاعدة المعرفة. يتم تجميعها بدلاً من توليدها، والاستفسار نفسه ينتج دائماً نفس الإجابة. سلسلة الاستدلال في GAR هي سجل دائم قابل للمراجعة، وليس محادثة عابرة، لذلك يمكن إعادة إنتاج سلسلة الاستدلال بأكملها.

يعني ذلك أن النتائج أكثر دقة بشكل كبير من محركات genAI العامة.

في جوهره، يفعل GAR ثلاثة أشياء:

1. يبني طبقة دلالية تلقائياً. يستخدم GAR الذكاء الاصطناعي لاكتشاف العلاقات والتعريفات التجارية عبر الأنظمة، ويوحد البيانات في نموذج واحد
2. يترجم نية العمل إلى لغة تحليلية عالية المستوى. هذه اللغة تلتقط الاستفسار على مستوى مفهوم العمل (“الإيرادات لكل زيارة من قبل مزود لربع الثاني”) وتنقل مباشرة إلى SQL.
3. يسجل كل خطوة من خطوات الاستدلال من أجل المراجعة. يمكن تتبع مصدر كل استجابة.

لماذا يهم هذا

من خلال تقييد الاستدلال إلى نموذج المعرفة الداخلي للأعمال، يمكن لـ GAR القضاء على الهلوسة وتقديم إجابات يمكن إثبات صحتها.

تتراكم التعريفات والمقاييس وأنماط الاستفسار مع مرور الوقت، مما يجعل الإجابات المستقبلية أكثر تخصيصاً لمستخدمها.

عنصر الثقة هو أمر بالغ الأهمية للمستخدمين التجاريين الذين يعتمدون على بياناتهم المنظمة لاتخاذ قرارات الأعمال المطلعة. مع تطبيق المزيد والمزيد من المنظمات للحلول الذكية المتقدمة، سيطالبون بإطارات عمل تقلل من خطر الهلوسة والخطأ إلى ما يقرب من الصفر.

يحدث ذلك عندما يرتبط الاستفسار مباشرة بالبيانات، وعندما يمكن للذكاء الاصطناعي العمل على مجموعات بيانات كبيرة دون انكسار، وعندما يتم تقديم الإجابات مع الاتساق والبرهان.