البشر يتمسكون بحياتهم بينما يسرّع الذكاء الاصطناعي تسليم البرمجيات

لطوال معظم تاريخ تطوير البرمجيات، كان الناس هم عنصر التحكم. يقوم المطوّر بإجراء تعديل، يراجعه شخص آخر، يوافق عليه أحدهم، وفي النهاية يتم نشره.

الذكاء الاصطناعي يسرّع هذا النظام بأكمله بينما ما زلنا نحاول إبقاء الأشخاص في وسطه. يمكن للمطوّرين الآن إنشاء الشيفرة والتغييرات في ثوانٍ. يمكن للوكالات العمل عبر المستودعات، الأدوات، البنية التحتية، والأنظمة الأخرى مع تقليل التدخل البشري.

غريزتنا هي إعادة البشر إلى العملية. نراجع طلب السحب، نوافق على استدعاء الأداة، نتحقق من التغيير، ونؤكد النشر لأننا نريد التأكد من أن الذكاء الاصطناعي لم يفعل شيئًا لم يُسمح له به. نحن نتشبث بحياتنا بشدة.

هذه الغريزة منطقية. لقد وفّر لنا المراجعة البشرية وسيلة للحفاظ على التحكم مع تقدم البرمجيات نحو الإنتاج. لكن الذكاء الاصطناعي بدأ يعمل بسرعة وحجم لا يمكن للبشر أن يبقوا فيهوا وحدة القياس للحكم.

الذكاء الاصطناعي يتحرك بالفعل أسرع من المراجعة البشرية

كانت الموجة الأولى للذكاء الاصطناعي التوليدي في تطوير البرمجيات تركز في الغالب على مساعدة المطوّرين على كتابة الشيفرة بسرعة أكبر. هذا وحده يغيّر تسليم البرمجيات. المزيد من الشيفرة يعني المزيد من تغييرات التطبيقات، تغييرات البنية التحتية، وتغييرات قواعد البيانات التي تمر عبر الاختبار، الأمان، المراجعة، النشر، والإنتاج.

المشكلة ليست بالضرورة أن الذكاء الاصطناعي ينتج تغييرات أسوأ. إنه ينتج المزيد من التغييرات، وبسرعة. إذا كان التحكم في كل هذا الإنتاج الجديد يتطلب شخصًا آخر يراجع كل تغيير، سيتوقف الحساب في النهاية عن الجدوى.

نحن نرى بالفعل علامات ذلك. أبلغت Anthropic مؤخرًا أن مستخدمي Claude Code يوافقون على حوالي 93٪ من طلبات الإذن. وجدت الشركة أن الطلبات المتكررة يمكن أن تخلق تعبًا من الموافقة، حيث يقل انتباه الأشخاص مع زيادة عدد الموافقات. تستخدم Anthropic الآن مصنفًا آليًا لتقييم الإجراءات وإيقاف تلك التي قد تكون خطرة بدلاً من طلب موافقة شخص على كل شيء.

فكّر في ما يعنيه ذلك للمراقبة البشرية. إذا كان شخص ما يضغط على زر الموافقة 93٪ من الوقت، فإن إضافة موافقة أخرى لا تعطيك بالضرورة سيطرة أكبر. في مرحلة ما، يصبح الإنسان خطوة إضافية في سير العمل.

يمكننا استخدام الذكاء الاصطناعي لإنشاء المزيد من البرمجيات. لا يمكننا الرد بإنشاء عملية مراجعة بشرية ضخمة بالمقابل.

الذكاء الاصطناعي ينتقل من إنشاء الشيفرة إلى اتخاذ الإجراءات

قدمت مساعدين الترميز للذكاء الاصطناعي دورًا في التطوير. تمنح الوكالات الذكاء الاصطناعي القدرة على المشاركة في أجزاء أكبر من دورة حياة تطوير البرمجيات. يمكن للوكيل استلام هدف، أن يقرر كيفية تحقيقه، يستخدم الأدوات، يراقب النتائج، ويضبط ما يفعله لاحقًا.

في هندسة البرمجيات، قد يعني ذلك تعديل الملفات، تشغيل الأوامر، التفاعل مع المستودعات، استدعاء واجهات برمجة التطبيقات، اختبار الشيفرة، أو العمل مع البنية التحتية. الناس أيضًا يزداد ارتياحهم للسماح للوكالات بالعمل بمفردها. في دراسة شملت ملايين التفاعلات بين البشر والوكالات، اكتشفت Anthropic أن مستخدمي Claude Code ذوي الخبرة استخدموا الموافقة التلقائية الكاملة في أكثر من 40٪ من الجلسات، أي ما يقارب ضعف معدل المستخدمين الجدد.

هذا لا يعني أن الوكالات المستقلة تدير بيئات الإنتاج في كل مكان اليوم. فهي ليست كذلك. لكن تطوير البرمجيات يمنحنا نظرة مبكرة على الاتجاه الذي يتجه إليه الأمر.

اليوم، يخلق الذكاء الاصطناعي المزيد من التغييرات، وتبدأ المراجعة البشرية في الإجهاد. بعد ذلك، يشارك الذكاء الاصطناعي عبر مزيد من مراحل دورة حياة تطوير البرمجيات. في النهاية، ستنشئ الوكالات وتتحقق وتنشر وتراقب وتصحح التغييرات مع تدخل بشري أقل بكثير.

في كل خطوة، نزيل موقعًا آخر كان يقدم فيه شخص التحكم. تتغير السؤال من ما إذا كان الذكاء الاصطناعي قادرًا على إنجاز العمل إلى ما ينبغي السماح للذكاء الاصطناعي بفعله بمفرده.

الإذن ليس سلطة

تحتاج الوكالات إلى الوصول للقيام بعمل مفيد. قد يحتاج وكيل يساعد في نشر البرمجيات إلى الوصول إلى مستودع، نظام CI/CD، بيئة سحابية، أو قاعدة بيانات. إذا سُحب هذا الوصول، فإنك تسحب أيضًا جزءًا كبيرًا مما يجعل الوكيل مفيدًا.

لكن الوصول والسلطة ليسا نفس الشيء. إعطاء الوكيل إذنًا للوصول إلى نظام لا يعني أنه يجب أن يمتلك السلطة لاتخاذ كل إجراء متاح داخل ذلك النظام.

يمكن للتحكم التقليدي في الوصول أن يخبرنا ما إذا كان للوكيل إذن للوصول إلى شيء ما. نحتاج أيضًا إلى طريقة لتحديد ما إذا كان الإجراء المحدد الذي يرغب في اتخاذه يجب أن يحدث. يصبح هذا أكثر أهمية عندما يمكن للنظام الذي يتخذ القرار أن يفسّر المهمة بشكل مختلف عن الشخص الذي عيّنها، أو يواجه عقبة ويختار مسارًا آخر، أو يستخدم أداة مشروعة بطريقة لم يتوقعها أحد.

تصف OWASP نسخة من هذه المشكلة بأنها الوكالة المفرطة. وتشير إلى الوظائف المفرطة، الأذونات، والاستقلالية كأسباب للأفعال الضارة وتوصي بالموافقة المستقلة للإجراءات ذات التأثير العالي.

تتعامل NVIDIA مع نفس المشكلة على مستوى الهندسة المعمارية. إن منصة أمان الوكيل المفتوح تضع تنفيذ السياسات خارج الوكيل وتوضح نقطة بسيطة: لا يمكن توقع أن يتحكم الوكيل في سلوكه بالكامل.

يجب أن يحدد ذلك كيفية بناء دورة حياة تطوير البرمجيات المدعومة بالذكاء الاصطناعي. قد يحتاج الوكيل إلى إذن للوصول إلى قاعدة بيانات أو بيئة بنية تحتية أو نظام نشر. وهذا لا يعني أن على الوكيل أن يقرر بنفسه أن كل تغيير يرغب في إجرائه آمن.

يتخذ الذكاء الاصطناعي قراراته بناءً على الاحتمالات. لا ينبغي لنا السماح لكل قرار من هذه القرارات أن يتحول تلقائيًا إلى إجراء ضد نظام حيوي.

الإنسان في الحلقة لا يمكن أن يكون الحل الكامل

الاستجابة الواضحة هي إبقاء شخص أمام الإجراءات ذات الأثر الناتجة عن الذكاء الاصطناعي. بالنسبة لبعض القرارات، هذا هو ما يجب فعله بالضبط. الخطأ هو تحويل “الإنسان في الحلقة” إلى الجواب لكل قرار.

إذا كان كل إجراء يقوم به الوكيل يتطلب من شخص ما مراجعته والنقر على “الموافقة”، فإننا نعيد خلق عنق الزجاجة الذي كان من المفترض أن يزيله الذكاء الاصطناعي. والأسوأ أن عددًا كافيًا من الموافقات يمكن أن يحول الرقابة إلى عادة. الشخص الذي ينقر على “الموافقة” طوال اليوم لا يمارس بالضرورة الحكم.

نحتاج إلى أن نكون أكثر تدبرًا بشأن مكان حدوث القرارات. يمكن للذكاء الاصطناعي اتخاذ قرارات ضمن المهمة التي منحناها إياها. يمكن للسياسة التعامل مع القرارات التي تُعرف قواعدها مسبقًا. ويمكن للناس التعامل مع الاستثناءات والقرارات التي تتطلب فعلاً الحكم.

لا ينبغي لتغيير منخفض المخاطر يتوافق مع السياسة المعتمدة أن يتطلب مراقبة شخص. يجب أن يتوقف التغيير الذي ينتهك السياسة تلقائيًا. قد يتطلب استثناء له عواقب تجارية أو أمنية أو تشغيلية ذات معنى تدخل شخص لاتخاذ القرار.

هذا نموذج مختلف تمامًا عن مجرد وضع إنسان في كل حلقة. الهدف ليس إقصاء البشر. بل هو إيقاف جعل انتباه الإنسان هو العنصر الذي يعتمد عليه كل إجراء وجعل المسار الخاضع للحوكمة هو المسار الأسهل.

ضع التحكم حيث يحدث الفعل

لن تسعى المؤسسات إلى توحيد نموذج ذكاء اصطناعي واحد أو وكيل واحد. سيستخدم المطورون مساعدين مختلفين. وستجرب الفرق نماذج مختلفة. سيظهر الذكاء الاصطناعي داخل أدوات المطورين، ومنتجات الأمان، ومنصات البيانات، والتطبيقات الداخلية.

محاولة بناء عملية حوكمة مختلفة حول كل أداة ذكاء اصطناعي لن تكون قابلة للتوسع. يجب أن يكون التحكم أقرب إلى الفعل الذي يرغب الذكاء الاصطناعي في اتخاذه.

إذا دخل تغيير تم إنشاؤه بواسطة الذكاء الاصطناعي إلى خط أنابيب النشر، يجب أن يخضع لنفس السياسات التي يخضع لها التغيير الذي أنشأه إنسان. إذا رغب وكيل في تعديل البنية التحتية أو البيانات أو قاعدة بيانات الإنتاج، فلا ينبغي أن تختفي الضوابط حول ذلك النظام بسبب تغيير الفاعل.

مصدر التغيير لا يحدد المخاطر. التغيير نفسه هو ما يحدد ذلك. يمكن للمطور أو مساعد الترميز أو العملية الآلية أو الوكيل المستقل أن يسلك مسارًا مختلفًا لنفس الإجراء، لكن ذلك الإجراء لا يزال يمكن أن يخضع لنفس السياسة قبل أن يصبح ذا أثر.

هذا يتيح أيضًا لتقنية التغيير أن تتطور دون إجبار الشركات على إعادة بناء الحوكمة في كل مرة. ستتغير النماذج. وستصبح الوكلاء أكثر قدرة. ويمكن أن تظل الضوابط حول الأنظمة الحيوية ثابتة.

تتبع NIST نهجًا مماثلًا قائمًا على المخاطر في AI Risk Management Framework، والذي يعتبر الحوكمة شيئًا يجب أن يعمل عبر دورة حياة الذكاء الاصطناعي بدلاً من أن تكون موافقة واحدة في النهاية. بالنسبة لتسليم البرمجيات، يعني ذلك وضع الضوابط في المسار الذي يتبعه الذكاء الاصطناعي بالفعل بدلاً من إضافة عملية يدوية أخرى إليه.

عندما يغادر الإنسان، لا يمكن أن يذهب الدليل معه

هناك مشكلة أخرى تكمن داخل نموذج المراجعة البشرية. عندما تزيل الشخص من العملية، لا تفقد المراجعة فحسب، بل قد تفقد أيضًا الشخص الذي ساعد في إثبات حدوث المراجعة.

يصبح ذلك مشكلة خطيرة للشركات التي لديها متطلبات أمنية، امتثال، وتدقيق. لا يزال عليها معرفة ما تم تغييره، من أو ما الذي بدأه، أي سياسة تم تطبيقها، ما إذا كان قد نجح، من الذي وافق على الاستثناء، أين تم تنفيذ التغيير، وما حدث لاحقًا.

لا يمكنك أتمتة التغيير وترك الدليل يدويًا. في عملية يقودها الإنسان، يمكن للفرق إعادة بناء الأدلة لاحقًا من التذاكر، والموافقات، وسجلات خطوط الأنابيب، ولقطات الشاشة، والمحادثات. يصبح هذا النهج أصعب مع زيادة حجم التغييرات ويصبح غير واقعي عندما تقوم الآلات بإنشاء وتنفيذ التغييرات باستمرار.

يجب أن يصبح الدليل جزءًا من عملية التسليم. يجب أن تُنشئ قرارات السياسة، والموافقات، والاستثناءات، والنشر، والنتائج سجلات أثناء حدوث العمل. يصبح دليل التدقيق ناتجًا ثانويًا لتسليم البرمجيات بدلاً من شيء تُجمعه الفرق بعد ذلك.

هذا يترك وظيفتين مختلفتين للحوكمة في دورة حياة تطوير البرمجيات المدفوعة بالذكاء الاصطناعي. قبل الإجراء، يجب تحديد ما إذا كان ينبغي أن يحدث. بعد الإجراء، يجب إثبات ما حدث.

البشر لن يختفون. وظيفتنا تتغير.

هناك غريزة مفهومة لقياس التحكم بعدد المرات التي يشارك فيها شخص ما. المزيد من المراجعات يبدو أكثر أمانًا. المزيد من الموافقات يبدو أكثر أمانًا. الحفاظ على إنسان في كل حلقة يبدو أكثر أمانًا.

سيختبر الذكاء الاصطناعي هذا الافتراض. إذا استمر الذكاء الاصطناعي في زيادة كمية البرمجيات التي يمكننا إنشاؤها، لن يتمكن البشر من مراجعة كل تغيير، أو الموافقة على كل إجراء، أو مراقبة كل نشر، أو إعادة بناء كل قرار لاحقًا. محاولة القيام بذلك إما أن تبطئ الذكاء الاصطناعي أو تحول الرقابة البشرية إلى ختم مطاطي.

يحتاج دورة حياة تطوير البرمجيات بالذكاء الاصطناعي إلى تقسيم عمل مختلف. يمكن للذكاء الاصطناعي أن يتولى جزءًا أكبر من العمل بينما تحكم السياسات القرارات المتكررة ويتدخل الأشخاص عندما يتطلب الأمر حكمًا حقيقيًا. يجب إنشاء الأدلة تلقائيًا على طول الطريق.

سنمنح الذكاء الاصطناعي مزيدًا من الوصول لأن ذلك يجعله مفيدًا. سنمنح الوكلاء مزيدًا من الاستقلالية لأن ذلك يتيح لنا الحصول على المزيد من النفوذ منهم. التحدي هو التأكد من أن الوصول والاستقلالية المتزايدة لا تتحول بهدوء إلى سلطة غير محدودة.

ليس على البشر التشبث أكثر. الهدف ليس تقليل السيطرة. إنه نموذج تحكم لا يعتمد على تمسكنا بكل قرار بأنفسنا. نحتاج إلى بناء الضوابط التي تسمح لنا بتخفيف قبضتنا دون فقدان السيطرة.