قادة الفكر

حوكمة الذكاء الاصطناعي تتجاوز النموذج

Zuzana Drotárová
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةفجوات المساءلة تسبب معظم إخفاقات الذكاء الاصطناعي في المؤسسات، وليس عيوب النماذج.
عرض المزيد
  • فجوات المساءلة تسبب معظم إخفاقات الذكاء الاصطناعي في المؤسسات، وليس عيوب النماذج.
  • تم تحميل شركة طيران كندا المسؤولية عن نصيحة خاطئة قدمها روبوت الدردشة الخاص بها بشأن أسعار الرحلات في حالات الوفاة.
  • الذكاء الاصطناعي الفاعل سيؤدي إلى تضخيم الفجوات الحالية في الحوكمة، حيث أن الإجراءات المستقلة تزيد من المخاطر.

تحذير: المشكلة ليست في النموذج

في عام 2023، أطلقت مدينة نيويورك روبوت المحادثة MyCity لمساعدة الشركات على التعامل مع اللوائح المعقدة. كانت الفكرة بسيطة: تسهيل الوصول إلى المعلومات القانونية.

لكن النظام قدّم عمليًا إجابات لم تكن خاطئة فحسب، بل مضللة قانونيًا أيضًا، من قواعد الإكراميات إلى التمييز في السكن وقوانين الدفع.

وكشف تدقيق لاحق أن 71.4% من تعليقات المستخدمين كانت سلبية. وبدلًا من إصلاح المشكلات الأساسية، اقتصرت الاستجابة على إضافة إخلاءات للمسؤولية. بل ظل روبوت المحادثة في المرحلة التجريبية لأكثر من عامين قبل إيقافه.

لم يكن الإخفاق تقنيًا. فقد انهار النظام في بيئة الإنتاج لغياب آلية تضمن الدقة، وعدم وضوح المساءلة، وانعدام وسيلة للتدخل عند حدوث خلل.

وهذا هو النمط الكامن وراء الذكاء الاصطناعي المؤسسي اليوم: تعمل التكنولوجيا، لكن المؤسسات ليست مهيأة لتشغيلها بصورة موثوقة بعد دخولها الخدمة.

من التجربة إلى الإنتاج: أين ينهار كل شيء؟

إنشاء مشروع تجريبي أمر مباشر نسبيًا: اختيار حالة استخدام ونموذج، وإعداد البيانات، والعثور على جهة داعمة. لكن تشغيل نظام في بيئة الإنتاج ينتمي إلى مستوى مختلف تمامًا.

يشبه الفارق الفرق بين القفز إلى مسبح والقفز من طبقة الستراتوسفير، كما فعل فيليكس باومغارتنر عام 2012. قوانين الفيزياء الأساسية واحدة، لكن الظروف مختلفة كليًا، وكذلك عواقب الإخفاق.

في بيئة الإنتاج، يدخل الذكاء الاصطناعي في مسارات فعلية لاتخاذ القرار، ويتفاعل مع العملاء، ويترتب عليه أثر قانوني وتشغيلي. هنا تبدأ الفجوات بالظهور، لا في النموذج بل في طريقة حوكمته.

وتكشف أوروبا ذلك قبل معظم المناطق. فاللوائح، مثل قانون الذكاء الاصطناعي الأوروبي وGDPR وNIS2، لا تبطئ التبني، بل تكشف قدرة المؤسسات على تشغيل الأنظمة في ظل قيود حقيقية.

في عام 2025، كانت 55% من الشركات الكبيرة في الاتحاد الأوروبي تستخدم الذكاء الاصطناعي بالفعل. فالتبني يحدث على نطاق واسع الآن، والتحدي هو ما يحدث بعد النشر.

عندئذ تبرز أسئلة تشغيلية أساسية لا يستطيع أحد الإجابة عنها غالبًا: من يتحمل مسؤولية مخرجات الذكاء الاصطناعي وقراراته المستقلة؟ ماذا يحدث عندما يتصرف النظام على نحو غير متوقع؟ ومن يكتشف المشكلة قبل أن تصل أضرارها إلى وسائل الإعلام؟

تقع المسؤولية القانونية على الشركة، لا على التكنولوجيا. فقد قدّم روبوت المحادثة التابع لشركة طيران كندا (AC.TO ) معلومات خاطئة لأحد العملاء عن أسعار التذاكر الخاصة بحالات وفاة الأقارب. اعتمد العميل عليها ثم رُفض طلبه لاسترداد المبلغ. وقضت جهة الفصل بأن شركة الطيران هي المسؤولة، لأن روبوت المحادثة ليس كيانًا مستقلًا.

المشكلة نفسها من زاوية أخرى: كشف نظام McHire التابع لماكدونالدز بيانات حساسة لما يقرب من 64 ألف متقدم. لم يكن السبب هجومًا متطورًا، بل استخدام «admin» و«123456» لتسجيل دخول المسؤول. بدا النظام متقدمًا، لكن الإخفاق كان بدائيًا.

إضافة الحوكمة إلى نظام يعمل بالفعل تعني أن الوقت قد فات. نشر النظام قرار تقني، أما تشغيله بموثوقية فقرار تنظيمي. وهذا ما تستهين به معظم الشركات.

من يتحمل مخاطر الذكاء الاصطناعي فعلًا؟ لا أحد.

هذا جوهر المشكلة، ومن المفارقة أنه الجانب الأقل نقاشًا. تدير تقنية المعلومات البنية التحتية، وتتولى الشؤون القانونية الامتثال، وتدفع فرق الأعمال حالات الاستخدام إلى الأمام. لكن لا أحد يتولى مخاطر الذكاء الاصطناعي من البداية إلى النهاية.

وينشأ عن ذلك مشكلتان فوريتان: يتباطأ قرار البدء لأن لا أحد يريد تحمل المسؤولية، ويتباطأ قرار الإيقاف بالقدر نفسه لأن لا أحد يعرف صاحب الصلاحية.

وتعكس البيانات ذلك. إذ إن أقل من 10% من حالات استخدام الذكاء الاصطناعي تنتقل من التجربة إلى الإنتاج، وتكافح معظم المؤسسات لتحقيق أثر تجاري قابل للقياس. وفي الوقت نفسه، تنشر مؤسسات كثيرة الذكاء الاصطناعي بالفعل، لكن وفقًا لـ مسح نضج الحوكمة، لم تكن لدى سوى 7% منها حوكمة جيدة التنظيم ومطبّقة باتساق.

لماذا يتكرر ذلك بهذه الصورة؟ لأن معظم الأطر والسياسات المؤسسية تحدد ما ينبغي أن يحدث، لا من يُساءل عندما يصبح الأمر حاسمًا. حين يبدأ النظام بإنتاج مخرجات خاطئة في منتصف ليل الجمعة، لا يعود السؤال نظريًا: من يتصرف؟ ومن يملك سلطة القرار؟

ويتفاقم ذلك مع التوسع. يمكن إدارة نظام واحد بصورة غير رسمية، لكن حين يصبح العدد ثلاثين تتشتت المسؤولية بين الفرق، ولا يملك أحد الصورة الكاملة.

بنك الكومنولث الأسترالي (CBA.AX ) مثال واضح. استبدل البنك 45 موظفًا في خدمة العملاء بروبوتات صوتية تعمل بالذكاء الاصطناعي، متوقعًا تراجع الطلب. لكنه لم يتراجع؛ بل زاد عدد المكالمات، وتدخل المديرون لمعالجة الضغط الزائد، واضطر البنك إلى إعادة توظيف الموظفين الخمسة والأربعين جميعًا. وعندما طُلب منه تبرير ذلك، لم يستطع إثبات أن الأتمتة خفّضت عبء العمل.

لم يتحقق أحد من الافتراضات قبل النشر، ولم يتحمل أحد مسؤولية النتيجة عندما فشلت. هكذا يبدو فراغ المساءلة في الممارسة.

وجود القواعد لا يكفي. لا بد من آلية

لا تفتقر معظم المؤسسات إلى السياسات، بل إلى أنظمة تعمل عند حدوث خلل.

تحدد السياسة ما ينبغي أن يحدث، وتحدد الآلية ما يحدث فعلًا: عندما ينتج النموذج مخرجات خاطئة، أو يغيّر المورّد شيئًا في الخلفية، أو يبدأ النظام بالتصرف على نحو غير متوقع.

ويتضح هذا الفارق في بيئة الإنتاج، حين تُتخذ القرارات في ظروف حقيقية.

تتبع هذه الإخفاقات نمطًا ثابتًا؛ ففي كل حالة تظهر الفجوات التشغيلية نفسها، وإن اختلف شكلها.

تحديد المسؤول أولًا

يحتاج كل نظام ذكاء اصطناعي منشور إلى مسؤول واضح يُساءل عنه: شخص واحد، لا فريق أو إدارة، يملك صلاحية اعتماده وتعليقه وإيقافه نهائيًا.

من دون ذلك، لا يمكن النشر السريع ولا التدخل الآمن. وكما يوضح مثال بنك الكومنولث، يؤدي غياب المسؤولية الواضحة مباشرة إلى إخفاق تشغيلي.

غالبًا ما يغيب الوضوح بشأن البيانات والأساس القانوني

تدخل أنظمة كثيرة الخدمة من دون توثيق تدفقات البيانات، أو التحقق من الأساس القانوني، أو توضيح الالتزامات السارية عند التشغيل الفعلي.

وتوضح إجراءات الجهة الرقابية الإيطالية ضد DeepSeek في عام 2025 هذا الأمر بجلاء. فلم تكن المشكلة جودة النموذج، بل العجز عن شرح كيفية معالجة البيانات الشخصية. وكانت النتيجة انقطاعًا مفاجئًا للخدمة عن المستخدمين الأوروبيين.

نادرًا ما يعكس الاختبار الاستخدام الفعلي

تُقيّم الأنظمة غالبًا في سيناريوهات تؤدي فيها جيدًا، لا في الحالات التي يكون للإخفاق فيها أكبر أثر.

وروبوت MyCity مثال واضح: لم تُكتشف قبل النشر الحالات الحدية الأساسية المتعلقة بقانون العمل أو التمييز السكني أو قواعد الدفع. وما إن تعامل معها مستخدمون فعليون حتى ظهرت الإخفاقات للعلن فورًا.

لا يقتصر الاختبار على الأداء؛ بل يهدف إلى اكتشاف مواضع إخفاق النظام قبل المستخدمين أو الجهات الرقابية أو الصحفيين.

التدخل غير واضح أو بطيء أكثر مما ينبغي

حتى عندما تكون المشكلات ظاهرة، لا توجد غالبًا إشارة تفعيل واضحة أو صلاحية لتعليق النظام أو إيقافه.

Zillow Offers يوضح ذلك على نطاق واسع. استخدم النظام خوارزمية لتسعير المنازل وشرائها. وعندما تباطأت السوق عام 2021، استمر في الشراء بأسعار متضخمة. لم تكن هناك آلية ترصد الانحراف في الوقت المناسب، ولا نقطة قرار واضحة لإيقافه. وكانت النتيجة خسائر تجاوزت 880 مليون دولار وإغلاق القسم بأكمله.

المراقبة ليست تحملًا للمسؤولية

تُختزل المراقبة غالبًا في لوحات المعلومات، لكن ذلك لا يمنع الإخفاقات.

المهم هو تحديد المسؤولية: من يتابع الإشارات، وما الذي يستدعي التصعيد، ومن يُتوقع منه التصرف؟

Deloitte Australia توضح حالتها ما يحدث عند غياب ذلك. فقد تضمن تقرير حكومي استشهادات مختلقة ومراجع قانونية غير صحيحة، لأن لا أحد كان مسؤولًا صراحة عن التحقق من المخرجات قبل التسليم. وكانت النتيجة رد جزء من المبلغ والإضرار بالسمعة.

الذكاء الاصطناعي الوكيلي: القادم أشد صعوبة

ينتج الذكاء الاصطناعي التوليدي مخرجات، أما الذكاء الاصطناعي الوكيلي فيتخذ إجراءات. وهذا يغيّر طبيعة المخاطر بالكامل.

بدلًا من إجابة واحدة لتقييمها، قد يطلق توجيه واحد سلسلة قرارات عبر الأنظمة: استدعاءات API، والوصول إلى البيانات، والمعاملات، والتحديثات، وغالبًا من دون تدخل بشري في كل خطوة.

وعند حدوث خلل، لا تعود المشكلة دقة الإجابة بل قابلية التتبع: أي خطوة سببت المشكلة؟ ما البيانات المستخدمة؟ من أجاز الإجراء؟ في حالات كثيرة يصعب الإجابة بعد وقوع الحدث.

هنا تصبح الفجوات القائمة حرجة. فغموض المسؤولية وضعف المراقبة وغياب التدخل لا تستمر فحسب، بل تتراكم آثارها. يمكن تصحيح إجابة خاطئة، لكن الإجراء الخاطئ قد يخلّف عواقب قبل أن يلاحظ أحد.

وتشير المؤشرات المبكرة بالفعل إلى هذا الاتجاه. إذ تقدر Gartner أن أكثر من 40% من مشاريع الذكاء الاصطناعي الوكيلي ستُلغى بحلول عام 2027، لا بسبب قيود النماذج، بل لصعوبة ضبط المؤسسات للتكاليف والمخاطر والنتائج. إنه النمط نفسه الذي نراه بعد نشر الذكاء الاصطناعي التوليدي، لكن بعواقب أكبر.

وتستجيب الجهات الرقابية بالفعل بمبدأ بسيط: الأتمتة لا تلغي المساءلة. والمعنى للمؤسسات واضح: إذا كانت المسؤولية والسيطرة غامضتين اليوم، فلن يحل التوسع في الأنظمة الوكيلية المشكلة، بل سيضخّمها.

أحسن تشغيله أو اخسره

لم يعد الذكاء الاصطناعي هو القيد. النماذج متاحة على نطاق واسع، وقادرة، وتتحول تدريجيًا إلى سلعة عامة. والفارق الحقيقي ليس قدرة المؤسسة على بناء الذكاء الاصطناعي، بل قدرتها على تشغيله بموثوقية بعد دخوله الخدمة.

هنا تقع معظم الإخفاقات: في طريقة تشغيل الأنظمة، لا بنائها. لن تنجح المؤسسات صاحبة أكثر النماذج تقدمًا، بل تلك التي تملك أوضح هياكل تشغيلية تحيط بها.

يمكن اختبار ذلك مباشرة. اختر أهم نظام ذكاء اصطناعي لديك وأجب عن ثلاثة أسئلة:

  • من يستطيع إيقافه؟
  • كيف تعرف أنه يُخفق؟
  • ماذا يحدث عندما يُخفق؟

إذا كانت الإجابات غير واضحة، فالنظام غير جاهز للإنتاج.

قد يكون النموذج جاهزًا، لكن المؤسسة ليست كذلك.

زوزانا دروتاروفا تترأس تحليل الأعمال في أفينجا، حيث تشرف على حوالي 100 محلل عبر برامج الشركات في جمهورية التشيك وسلوفاكيا. وهي تركز على الهياكل التشغيلية واتخاذ القرارات التي تحدد ما إذا كانت مبادرات الشركات، بما في ذلك الذكاء الاصطناعي، تعمل في بيئة التشغيل الفعلية