لماذا يفشل الذكاء الاصطناعي في الشركات بعد النشر – وماذا يمكن القيام به

تحذير: المشكلة ليست في النموذج

في عام 2023، أطلقت مدينة نيويورك روبوت المحادثة MyCity لمساعدة الشركات على التنقل في اللوائح المعقدة. كانت الفكرة بسيطة: جعل المعلومات القانونية أكثر سهولة في الوصول.

في الممارسة، أنتج النظام إجابات كانت خاطئة، بل ومضللة قانونيا – من قواعد التิป إلى التمييز السكني إلى قوانين الدفع.

وجدت مراجعة لاحقة أن 71.4٪ من تعليقات المستخدمين كانت سلبية. بدلاً من исправ الخطأ الأساسي، كان الرد هو إضافة إعلانات. ظل روبوت المحادثة في “النسخة التجريبية” لمدة أكثر من عامين قبل إغلاقه.

الفشل لم يكن تقنيا. انهار النظام في الإنتاج لأن هناك آلية لضمان الدقة، ولا مسؤولية واضحة، ولا طريقة للتدخل عندما تذهب الأمور بشكل خاطئ.

هذا هو النمط وراء الذكاء الاصطناعي في الشركات اليوم: التكنولوجيا تعمل، لكن المنظمات ليست مهيأة للتشغيل الموثوق به بمجرد أن يكون النظام حيا.

من الطيار إلى الإنتاج: حيث ينهار كل شيء

بناء طيار هو أمر مباشر – اختر حالة استخدام، اختر نموذج، أعد البيانات، ابحث عن راع. تشغيل نظام في الإنتاج هو دوري مختلف تمامًا.

الفرق مثل الفرق بين القفز في بركة والقفز من الغلاف الجوي، كما فعل فيليكس باومغارتنر في عام 2012. نفس الفيزياء الأساسية، ظروف مختلفة تمامًا – ونتائج مختلفة تمامًا لفشل.

في الإنتاج، يدخل الذكاء الاصطناعي في تدفقات اتخاذ القرارات الحقيقية، ويتفاعل مع العملاء، وينشئ عواقب قانونية وعملياتية. هذا هو المكان الذي تبدأ فيه الفجوات في الظهور – ليس في النموذج، ولكن في كيفية حوكمة.

تجعل أوروبا هذا مرئيًا في وقت مبكر hơn من معظم المناطق. لا تبطئ اللوائح مثل قانون الذكاء الاصطناعي الأوروبي وGDPR وNIS2 من اعتماد التكنولوجيا – بل تكشف عن是否 يمكن للمنظمات تشغيل أنظمة الذكاء الاصطناعي تحت قيود حقيقية.

في عام 2025، كان 55٪ من الشركات الكبيرة في الاتحاد الأوروبي يستخدمون بالفعل الذكاء الاصطناعي. يحدث التنفيذ بالفعل على نطاق واسع. التحدي هو ما يحدث بعد النشر.

في تلك النقطة، تبدأ الأسئلة التشغيلية الأساسية في الظهور. وعادة ما لا يمكن لأحد الإجابة عليها: من هو المسؤول عن مخرجات الذكاء الاصطناعي والقرارات المستقلة؟ ماذا يحدث عندما يتصرف النظام بطريقة غير متوقعة؟ ومن سيتعامل مع الأمر قبل أن يصل الضرر إلى وسائل الإعلام؟

تقع المسؤولية مع الشركة، وليس التكنولوجيا. روبوت المحادثة الخاص بشركة طيران كندا قدم للمستخدم معلومات خاطئة حول أسعار الحزن. اعتمد المستخدم عليها وتم رفضه لاحقًا للحصول على استرداد. قضت هيئة المحكمة بأن الشركة كانت مسؤولة – روبوت المحادثة لم يكن كيانًا منفصلًا.

نفس المشكلة، زاوية مختلفة: نظام McHire التابع لشركة ماكدونالد كشف عن بيانات حساسة من ما يقرب من 64,000 متقدم. السبب لم يكن هجوما متقدمًا – كان اسم المستخدم وكلمة المرور “admin” و “123456”. بدا النظام متقدمًا. الفشل كان أساسيًا.

عندما تثبت الحوكمة على نظام حية، يكون ذلك متأخرًا. نشر نظام هو قرار تقني. تشغيله بشكل موثوق به هو قرار تنظيمي. وهذا هو الجزء الذي تقلله معظم الشركات.

من هو صاحب المخاطر الفعلية؟ لا أحد.

هذا هو جوهر المشكلة، وبارادوكسياً هو الأقل مناقشة. إدارة تكنولوجيا المعلومات تدير البنية التحتية. قسم القانون يتعامل مع الامتثال. فرق الأعمال تدفع استخدامات الحالات. لكن لا أحد يمتلك مخاطر الذكاء الاصطناعي من النهاية إلى النهاية.

هذا يخلق两个 مشكلة فورية. يبطئ قرار “الذهاب” – لأن لا أحد يريد أن يتحمل المسؤولية. ويبطئ قرار “الإيقاف” بنفس القدر – لأن لا أحد يعرف من يمكنه.

تظهر البيانات ذلك. أقل من 10٪ من حالات استخدام الذكاء الاصطناعي تصل من الطيار إلى الإنتاج، ويتعثر معظم المنظمات في توليد تأثير تجاري قابل للقياس. وفي الوقت نفسه، يُ_deploy بالفعل العديد منهم الذكاء الاصطناعي – ولكن وفقًا لمسح نضج الحوكمة، كان只有 7٪ لديهم حوكمة منظمة جيدًا ومتسقة.

لماذا يحدث هذا باستمرار؟ لأن معظم الإطارات والسياسات الشركات تحدد ما يجب أن يحدث – وليس من هو مسؤول عندما يهم.

هذا يزداد سوءًا مع النطاق. يمكن إدارة نظام واحد بشكل غير رسمي. عندما يكون لديك ثلاثون نظامًا، تتحلل المسؤولية عبر الفرق، ولا أحد لديه الصورة الكاملة.

بنك الكومونويلث الأسترالي يوفر مثالًا واضحًا. استبدل البنك 45 عاملًا بخدمات العملاء بآلي ذكاء اصطناعي، متوقعًا أن ينخفض الطلب. لم ينخفض. زادت مكالمات العملاء، تدخلت الإدارة لمعالجة الفائض، واضطر البنك إلى إعادة توظيف جميع العمال الخمسة والأربعين. عندما طُلبت منه، لم يتمكن من إثبات أن التأتمت قد قلل من العمل.

لم يكن أحد قد صدق الافتراضات قبل النشر. لم يكن أحد يمتلك النتيجة عندما فشلت تلك الافتراضات. هذا ما يبدو الفراغ في المسؤولية في الممارسة.

النظام لا يكفي. تحتاج إلى آلية

معظم المنظمات لا تفتقر إلى السياسات.她们 تفتقر إلى أنظمة تعمل عندما ي发生 شيء خاطئ.

تحدد السياسة ما يجب أن يحدث. تحدد الآلية ما يحدث فعلاً – عندما ينتج نموذج مخرجات خاطئة، عندما يتغير مورد شيء في الخلفية، أو عندما يبدأ النظام في التصرف بطريقة غير متوقعة.

تظهر تلك الفرقة في الإنتاج – عندما يجب اتخاذ القرارات في ظروف حقيقية.

تتبع هذه الفشل ديناميكية متسقة. في كل حالة، تظهر نفس الفجوات التشغيلية – فقط في أشكال مختلفة.

الملكية تأتي أولا

كل نظام ذكاء اصطناعي متاح يحتاج إلى مالك مسؤول واضح – شخص واحد، وليس فريقًا أو قسمًا، مع السلطة للموافقة على الإيقاف والتشغيل.

بدون ذلك، لا يمكن النشر السريع ولا التدخل الآمن. كما شوهد في مثال بنك الكومونويلث، يؤدي غياب الملكية الواضحة مباشرة إلى فشل تشغيلي.

البيانات والوضوح القانوني غالبًا ما يكونان مفقودين

يتم إطلاق العديد من الأنظمة بدون تدفقات بيانات وثائقية، أو أساس قانوني تم التحقق منه، أو وضوح حول الالتزامات التي تنطبق بمجرد أن يصبح النظام حيا.

تظهر إجراءات المنظم الأيطالي ضد DeepSeek في عام 2025 ذلك بوضوح. لم تكن المشكلة جودة النموذج – بل عدم القدرة على تفسير كيفية التعامل مع البيانات الشخصية. النتيجة كانت انقطاع خدمة فجائي للمستخدمين الأوروبيين.

الاختبار نادرًا ما يعكس الاستخدام في العالم الحقيقي

غالبًا ما يتم تقييم الأنظمة على سيناريوهات حيث يؤدون بشكل جيد، ولكن ليس على الحالات التي سيكون فيها الفشل الأكثر أهمية.

روبوت المحادثة MyCity هو مثال واضح. لم يتم التقاط الحالات الحدية الأساسية – حول قانون العمل، التمييز السكني، أو قوانين الدفع – قبل النشر. بمجرد أن تم الكشف عنها للمستخدمين الحقيقيين، أصبحت تلك الأخطاء عامة على الفور.

الاختبار ليس فقط حول الأداء – بل حول تحديد أين يفشل النظام قبل المستخدمين، أو المنظمين، أو الصحفيين.

التدخل غير واضح أو بطيء

حتى عندما تكون هناك مشاكل واضحة، غالبًا ما لا توجد آلية واضحة أو سلطة لإيقاف أو إيقاف النظام.

يوضح Zillow Offers ذلك على نطاق واسع. استخدم النظام خوارزمية لتحديد أسعار وشراء المنازل. عندما برد السوق في عام 2021، استمر النظام في الشراء بأسعار مبالغ فيها. لم تكن هناك آلية للكشف عن الانحراف في الوقت المناسب، ولا نقطة واضحة لوقفها. النتيجة كانت خسائر تتجاوز 880 مليون دولار وإغلاق القسم بأكمله.

مراقبة ليست ملكية

المراقبة غالبًا ما يتم تقليصها إلى لوحات تحكم، ولكن ذلك ليس ما يمنع الفشل.

ما يهم هو المسؤولية المحددة: من ي跟ي الإشارات، ما يؤدي إلى تصعيد، ومن المتوقع أن يتصرف.

يوضح حالة Deloitte Australia ما يحدث عندما يكون ذلك مفقودًا. تضمن تقرير حكومي مراجعات ومراجعات قانونية غير صحيحة لأن لا أحد كان مسؤولاً بشكل صريح عن التحقق من المخرجات قبل التسليم. النتيجة كانت استرداد جزئي وتضرر سمعة.

الذكاء الاصطناعي العامل: ماذا يأتي سوف يكون أكثر صعوبة

ينتج الذكاء الاصطناعي التوليدي مخرجات. يأخذ الذكاء الاصطناعي العامل إجراءات. هذا يغير المخاطر تمامًا.

بدلاً من رد واحد لتقييمه، يمكن أن يؤدي توجيه واحد إلى سلسلة من القرارات عبر الأنظمة – مكالمات واجهة برمجة التطبيقات، وصول البيانات، والمعاملات، والتحديثات – غالبًا بدون تدخل بشري في كل خطوة.

عندما ي发生 شيء خاطئ، لم يعد المشكلة دقة. بل إنه قابليتها للتتبع. أي خطوة تسببت في المشكلة؟ ما البيانات التي تم استخدامها؟ من أذن بالعمل؟ في العديد من الحالات، تكون هذه الأسئلة صعبة الإجابة بعد الحادث.

هذا هو المكان الذي تصبح فيه الفجوات الحالية حرجة. الملكية غير الواضحة، ومراقبة الضعيفة، وغياب التدخل لا تظل فقط – بل تتضاعف. يمكن تصحيح إجابة خاطئة. يمكن أن يؤدي إجراء خاطئ إلى عواقب قبل أن يلاحظ أي شخص.

الرسائل المبكرة تشير بالفعل في هذا الاتجاه. توقعات غارتنر تشير إلى أن أكثر من 40٪ من مشاريع الذكاء الاصطناعي العامل سوف يتم إلغاؤها بحلول عام 2027 – ليس بسبب قيود النموذج، ولكن لأن المنظمات ت투غ في السيطرة على التكلفة، والمخاطر، والنتائج. هذا هو نفس النمط الذي نراه مع الذكاء الاصطناعي التوليدي بعد النشر. فقط مع مخاطر أعلى.

المنظمون يردون بالفعل بمبدأ بسيط: التأتمت لا يزيل المسؤولية. بالنسبة للمنظمات، هذا يخلق تأثيرًا واضحًا: إذا كانت الملكية والسيطرة غير واضحتين اليوم، فإن التوسع في أنظمة الذكاء الاصطناعي العامل لن يحل المشكلة. بل سوف يزيد منها.

شغله – أو خسره

الذكاء الاصطناعي لم يعد العائق. النماذج متاحة على نطاق واسع، وقادرة، ومتزايدة التداول. الفرق الحقيقي ليس ما إذا كان بإمكان المنظمة بناء الذكاء الاصطناعي – بل ما إذا كان بإمكانها تشغيله بشكل موثوق به بمجرد أن يصبح حيا.

هذا هو المكان الذي يحدث فيه معظم الفشل – في كيفية تشغيل الأنظمة، وليس في كيفية بنائها. المنظمات التي تنجح لن تكون تلك التي لديها النماذج الأكثر تقدمًا. بل سوف تكون تلك التي لديها هياكل تشغيلية أكثر وضوحًا حولها.

يمكن اختبار ذلك مباشرة. خذ نظام الذكاء الاصطناعي الأكثر أهمية لديك وrespond ثلاثة أسئلة:

• من يمكنه إيقافه؟
• كيف تعرف عندما يفشل؟
• ماذا يحدث عندما يفعل؟

إذا كانت تلك الإجابات غير واضحة، النظام ليس جاهزًا للانتاج.

النموذج قد يكون كذلك. المنظمة ليست كذلك.