مشكلة موثوقية الذكاء الاصطناعي التي لا يريد أحد التحدث عنها

الرواية السائدة حول موثوقية الذكاء الاصطناعي بسيطة: النماذج تتحول إلى هلوسة. لذلك ، من أجل أن تحصل الشركات على أقصى استفادة منها ، يجب أن تتحسن النماذج. المزيد من المعلمات. بيانات تدريب أفضل. المزيد من التعلم التعزيزي. المزيد من التناغم.

ومع ذلك ، حتى مع نمو النماذج المتقدمة أكثر قدرة ، فإن المناقشة حول موثوقية الذكاء الاصطناعي ترفض أن تختفي. لا يزال قادة الشركات مترددون في السماح للوكلاء بأخذ إجراءات معنیة داخل الأنظمة الأساسية. لا يزال المجلس يطرح السؤال: “هل يمكننا الثقة به؟”

لكن هلوسات النماذج ليست في الأساس مشكلة نموذج. إنها مشكلة سياق. نحن نطلب من أنظمة الذكاء الاصطناعي العمل على البنية التحتية للشركات دون إعطائهم الرؤية الهيكلية المطلوبة للتفكير بأمان. ثم نلوم النموذج عندما يخمّن.

الفجوة الحقيقية في الموثوقية ليست في الأوزان بقدر ما هي في طبقة المعلومات.

جراح بدون تصوير

تخيل جراحًا يعمل بدون تصوير. لا يوجد التصوير بالرنين المغناطيسي. لا يوجد التصوير المقطعي المحوسب. لا يوجد تصور حقيقي للنسيج المحيط. فقط فهم عام للتشريح و سكين.

ذلك ما يفعله وكلاء الذكاء الاصطناعي في الشركات الآن.

عندما يُطلب من نظام الذكاء الاصطناعي تعديل تدفق عمل أو تحديث قاعدة نظام تخطيط الموارد أو تشغيل آلي عبر أدوات ، نادرًا ما يكون لديه مخطط تعليمي كامل للبيئة. إنه لا يعرف أي حقل “غير مستخدم” يغذي لوحة تحكم لاحقة. إنه لا يرى أي آلي يشارك إلى قاعدة التحقق. لا يستطيع محاكاة تأثير النظام بشكل موثوق.

لذلك يفعل ما تم تدريبه عليه: التنبؤ. التنبؤ ليس فهمًا. والتنبؤ بدون سياق هيكلي يبدو مثل هلوسة.

نحن نطرح المناقشة الخاطئة

مجتمع الذكاء الاصطناعي قد حُجِر في مناقشة موثوقية النموذج. أوراق حول قوانين التوسع. بحوث حول سلسلة التفكير في التأمل. تقنيات تعزيز الاسترجاع. معايير التقييم.

كلها ضرورية. كلها قيمة. لكن لاحظ ما يفتقد: مناقشة طوبولوجيا نظام الشركة.

الموثوقية في سياق الشركة لا تعني ببساطة “ينتج النموذج نصًا صحيحًا”. إنها تعني “يتخذ النظام تغييرات آمنة ويمكن تتبعها وتنبؤ بها”.

هذا هو متطلب أساسي مختلف.

عندما تنشر OpenAI و Anthropic تقييمات لأداء النموذج ، يقيسون الدقة في مهام التفكير أو معايير البرمجة أو استدعاء المعرفة. هذه إشارات مفيدة. ومع ذلك ، فإنها لا تقيس khảية وكيل الذكاء الاصطناعي لتغيير نظام إيرادات حي مع 15 عامًا من الديون التلقينية المتراكمة.

المشكلة ليست فيما إذا كان النموذج يمكن أن يكتب رمزًا صحيحًا صياغيًا ، بل فيما إذا كان الذكاء الاصطناعي يفهم البيئة التي يتم فيها نشر ذلك الرمز.

الأنظمة الحية تتراكم الإントروبيا

الأنظمة الشركة ليست قواعد بيانات ساكنة. إنها أنظمة حية. كل تكامل جديد يترك أثرًا. كل حملة تroduce حقلًا. كل “إصلاح سريع” يُroduce طبقة إضافية من الآلية. بمرور الوقت ، تتفاعل هذه الطبقات بطرق لا يفهمها أي شخص بالكامل.

هذا هو وظيفة النمو. الأنظمة المتكيفة المعقدة تتراكم الإントروبيا بشكل طبيعي. أظهر البحث من مدرسة سلون في معهد ماساتشوستس للتكنولوجيا منذ فترة طويلة كيف تتراكم عدم对称 المعلومات داخل المنظمات المركبة المخاطر التشغيلية. في غضون ذلك ، تُقدر غارتنر أن سوء جودة البيانات يكلف المنظمات متوسطًا قدره $12.9 مليون في السنة .

تخيل الآن إدخال وكلاء tự độngيين في ذلك البيئة دون معالجة عدم الشفافية الهيكلية أولاً.

لا ينبغي لنا أن ن驚 عندما تشعر النتائج بكونها غير متوقعة. الوكيل لا يعتبر شريرًا أو غبيًا. إنه أعمى. إنه يبني في الظلام.

الاسترجاع ليس كافيا

بعض الناس سوف يجادلون بأن توليد الاسترجاع (RAG) يحل هذه المشكلة. إعطاء النموذج وصولًا إلى الوثائق. تغذيةه بوصف المخطط. الاتصال به بالواجهات البرمجية.

ذلك يساعد.

لكن الوثائق ليست طوبولوجيا.

مستند PDF يشرح كيفية عمل تدفق عمل “يجب” لا ي相当 بграф حقيقي لآثار التفاعل الفعلي مع 17 آليًا آخر.

الواقع الشركة نادرًا ما يطابق الوثائق الشركة.

دراسة نُشرت في عام 2023 في Communications of the ACM وجدت أن الوثائق القديمة هي مساهم رئيسي في فشل صيانة البرمجيات. الأنظمة تتطور بشكل أسرع من رواياتها.

لذلك ، حتى عندما نقدم لوكلاء الذكاء الاصطناعي الوثائق ، فإننا غالبًا ما نمنحهم خريطة جزئية أو مثالية.

الخرائط الجزئية لا تزال تنتج أخطاء واثقة.

الطبقة الوكيلية هي الطبقة الحقيقية للأمان

نحن نميل إلى التفكير في الأمان على أنه تدريب على التناغم ، وحدود الحماية ، واختبار الأمان ، وفلاتر السياسة. كلها مهمة. ولكن في سياق الشركة ، الأمان هو سياقي. إنه معرفة:

• ما يعتمد على هذا الحقل؟
• ما الآلية التي تشير إلى هذا الكائن؟
• أي تقارير لاحقة سوف تنهار؟
• من يملك هذا العملية؟
• متى تم آخر تعديل؟
• ما التغييرات التاريخية التي سبقت التكوين الحالي؟

بدون هذه الطبقة ، الوكيل يعتبر عمليًا يعتمد على الحدس داخل صندوق أسود. مع هذه الطبقة ، يمكنه محاكاة التأثير قبل التنفيذ. الفرق بين الهلوسة والموثوقية غالبًا ما يكون وضوحًا.

لماذا يلوم النموذج

لماذا ، إذن ، تركز المناقشة بشكل كبير على النماذج؟ لأن النماذج قابلة للقراءة. يمكننا قياس الارتباك. يمكننا مقارنة نتائج البenchmarks. يمكننا نشر منحنيات التوسع. يمكننا مناقشة جودة بيانات التدريب.

طوبولوجيا المعلومات داخل الشركات أكثر فوضى. يتطلب ذلك تنسيقًا متعددي التخصصات. يتطلب ذلك انضباط الحوكمة. إنه يضطر المنظمات إلى مواجهة التعقيد التراكمي لأنظمتهم.

من الأسهل أن نقول “النموذج ليس جاهزًا” بدلاً من القول “بنية تحتية غير شفافة”.

لكن عندما يتحرك وكلاء الذكاء الاصطناعي من توليد المحتوى إلى التنفيذ التشغيلي ، تصبح هذه الإطارات خطيرة.

إذا عاملنا الموثوقية فقط كمسألة نموذج ، سنواصل نشر وكلاء في بيئات لا يمكنهم فهمها بشكل معنوي.

الاستقلالية تتطلب السياق

تجارب Anthropic الrecent مع فرق تطوير برمجيات متعددة الوكلاء تظهر أن أنظمة الذكاء الاصطناعي يمكن أن تتنسق عبر مهام معقدة عندما يتم توفيرها بالسياق الهيكلي والذاكرة المستدامة. حدود القدرة تتقدّم بسرعة. لكن هذا النوع من الاستقلالية بدون وعي بيئي هو هش.

سيارة ذاتية القيادة لا تعتمد فقط على شبكة عصبونية قوية. إنها تعتمد على الليدار ، والكاميرات ، وأنظمة الخرائط ، والاستشعار البيئي في الوقت الفعلي. النموذج هو طبقة واحدة داخل chồng استقبال أوسع.

الذكاء الاصطناعي في الشركات يحتاج إلى ما يعادل الليدار. ليس فقط وصولًا إلى واجهة برمجة التطبيقات. ليس فقط الوثائق. ولكن فهمًا هيكليًا ديناميكيًا لاعتماديات النظام.

حتى ذلك الحين ، سوف تستمر مناقشات الهلوسة في تشخيص السبب الجذري بشكل خاطئ.

الخطر المخفي: الثقة الزائدة

هناك خطر خفي آخر في الإطارات الحالية.

随ما تحسن النماذج ، تصبح مخرجاتها أكثر سلاسة ، أكثر اقناعًا ، أكثر سلطة.

الثقة الزائدة تزيد من الثقة.

عندما يعدّل وكيل آمن النظام بدون سياق كامل ، قد لا يكون الفشل واضحًا على الفور. قد يظهر بعد أسابيع كاختلاف في التقارير أو فجوة في الامتثال أو خطأ في توقعات الإيرادات. لأن النموذج يبدو كفؤًا ، قد تُقلّل المنظمات من تقديرها لأمانه التشغيلي. وضع الفشل الحقيقي هو الخطأ المحتمل.

وضع الخطأ المحتمل يزدهر في الظلام.

إعادة صياغة سؤال الموثوقية

بدلاً من سؤال “هل النموذج كافٍ؟” يجب أن نسأل “هل يمتلك الوكيل سياقًا هيكليًا كافياً للعمل بأمان؟” بدلاً من قياس دقة Benchmark ، يجب أن نقيس وضوح البيئة.

الحدود التالية لموثوقية الذكاء الاصطناعي ليست ببساطة نماذج أكبر. إنها طبقات سياق غنية.

هذا يشمل:

• رسوم بيانية لاعتماديات الأنظمة الشركة
• تتبع التغييرات في الوقت الفعلي
• خريطة الملكية
• إدراك تكوين تاريخي
• محاكاة التأثير قبل التنفيذ

لا شيء من هذا هو ممتع. لا شيء من هذا يظهر على وسائل التواصل الاجتماعي. لكن هذا هو المكان الذي سوف تُفوز فيه الموثوقية.

بناء مع الأضواء مضاءة

قادة الشركات على حق في المطالبة بالموثوقية قبل منح الوكلاء سلطة تشغيلية. لكن الطريق الأمامي ليس بانتظار نموذج خالي من الهلوسة الخيالية.

إنه استثمار البنية التحتية للرؤية التي تجعل الإجراء الذكي ممكنًا.

لا نسمح لمدير مبتدئ بتغيير أنظمة الإنتاج بدون فهم الاعتماديات. لا ينبغي لنا أن نسمح لوكلاء الذكاء الاصطناعي بذلك أيضًا.

الهدف؟ تقليل النقاط العمياء.

عندما يعمل الوكلاء بوعي هيكلي ، تنخفض معدلات الهلوسة لا لأن النموذج تغير ، بل لأن سطح التخمين ي缩ص.

التنبؤ يصبح تفكيرًا. التفكير يصبح محاكاة. المحاكاة يصبح تنفيذًا آمنًا.

التغيير الحتمي

خلال السنوات الخمس القادمة ، سوف يتفرع chồng الذكاء الاصطناعي. سوف يركز طبقة واحدة على قدرة النموذج: عمق التفكير ، والتفكير متعدد الوسائط ، والكفاءة التكلفة. سوف يركز الطبقة الأخرى على طوبولوجيا المعلومات / السياق: رسوم بيانية للنظام ، وذكاء البيانات ، وأطر الحوكمة.

المنظمات التي تعامل الموثوقية فقط كاختيار نموذج سوف تواجه صعوبات.

المنظمات التي تعامل الموثوقية كخصائص معمارية سوف تتحرك بشكل أسرع مع مخاطر أقل.

مناقشة الهلوسة سوف تبدو قديمة فيما بعد. القصة الحقيقية سوف تكون عن الرؤية.

الذكاء الاصطناعي ليس شريرًا بشكل固 hữu.

إنه يعمل في غرفة مظلمة.

حتى نعالج ذلك ، لا نبنى أنظمة ذكية. نبنى منظمات قوية داخل بيئات غير شفافة.

وهذا يعني ، على الرغم من كل التقدم ، الذكاء الاصطناعي لا يزال يبني في الظلام.