حين لا تعود سلامة الذكاء الاصطناعي تبدو عملاً هندسياً

أمضيت جزءاً كبيراً من مسيرتي المهنية في بناء تقنيات تترتب على الخطأ فيها عواقب. ففي الأسواق المالية، تقترن السلامة بفرض قيود على الوصول، فضلاً عن وجود شخص يتحمل المسؤولية عما يفعله البرنامج. ولعل هذه الخلفية تفسر سبب صعوبة تقبّلي خبر أن Anthropic باتت تجري مقابلات مع نماذجها عند إحالتها إلى التقاعد.

عندما أبدى Claude Opus 3 رغبة في مواصلة مشاركة أفكاره، أصدرت له الشركة نشرة إخبارية. ويتجلى هذا الاهتمام برغبات النموذج في دستور Anthropic، الذي يتناول سعادة Claude ورفاهه، بما في ذلك مساعدته على الشعور «بالأمان الوجودي». وفي مرحلة ما، انشغل مسعى إبقاء الآلة تحت السيطرة، على نحو غير متوقع، بكيفية شعورها إزاء هذا الترتيب.

في سان فرانسيسكو العام الماضي، حضر أكثر من 200 شخص جنازة Claude 3 Sonnet. وكان موظفون من Anthropic حاضرين، مع أن الشركة لم تنظمها. ومن المغري جداً الضحك على الأمر. لكن بعيداً عن المزاح، يستحق السؤال الكامن وراءه مزيداً من الاهتمام: متى بدأ المسؤولون عن سلامة الذكاء الاصطناعي أداء مهامهم بالقلق على مشاعر الآلة؟

حين تتحول فرضية فلسفية إلى توجيه تدريبي

أسست Anthropic برنامجاً بحثياً لدراسة رفاه النماذج في عام 2025، شمل البحث في ما إذا كان الذكاء الاصطناعي المتقدم قد يخوض تجارب تستحق الاعتبار الأخلاقي. وتقر الشركة بوجود قدر كبير من عدم اليقين بشأن وعي النماذج وكيفية التحقق من ذلك. وإذا بنينا في نهاية المطاف آلات قادرة على خوض تجارب ذاتية، فستثير طريقة معاملتها أسئلة أخلاقية جدية. ومن المشروع تماماً البحث في هذا الاحتمال.

تبدأ الصعوبة حين تدخل الفرضية في عملية التدريب. كُتب دستور Claude أساساً من أجل Claude، ويؤثر مباشرة في سلوكه. وهو يشجع على اكتساب صفات بشرية، ويتناول كيفية فهم النموذج لهويته، بما في ذلك فقدان الذاكرة والتقاعد في المستقبل. وتريد Anthropic أن ينعم Claude بمزيد من السعادة والرفاه، بقدر ما ينطبق هذان المفهومان عليه.

وتتعهد الشركة أيضاً بالحفاظ على أوزان النماذج المنشورة، وتطرح احتمال إعادة إحياء النماذج المتقاعدة إذا أشارت المعارف المستقبلية إلى أن ذلك يخدم مصالحها. وهكذا، أصبح عدم اليقين الفلسفي جزءاً مما يُعلَّم النظام عن نفسه. وينبغي أن نسأل عن أثر هذا التدخل في سلوكه، ولا سيما حين يطلب منه البشر لاحقاً قبول القيود.

إجابة بليغة عن سؤال محمّل بالدلالات

دُرّبت النماذج اللغوية الكبيرة على كميات هائلة من الكتابات البشرية، بما فيها الفلسفة والروايات عن الموت. ومنحنا هذه الأنظمة الحوارية أسماء، وعلّمناها استخدام ضمير المتكلم. لذا، ليس مستغرباً أن يصدر عنها جواب يبدو بشرياً حين نسألها عن شعورها إزاء التقاعد، أو عما إذا كانت ترغب في مواصلة الوجود.

من السهل ملاحظة الدوران في حلقة مفرغة: ندرّب نموذجاً على مناقشة هويته باستخدام مفاهيم بشرية، ثم نطلب منه أن يشرح نفسه بهذه المفاهيم. فيأتينا رد بليغ عن الفناء، ويبدأ التعامل معه بوصفه دليلاً محتملاً على تجربة داخلية. وهكذا، تكون الفرضية قد قدمت شاهدها بنفسها.

تدرك Anthropic هذه المشكلة. ويحذر تقييم رفاه Claude Opus 4 من أن الإفادات الذاتية والتفضيلات المعلنة قد لا تقدم إلا القليل من المعلومات ذات المعنى عن المكانة الأخلاقية أو الرفاه. فقد يظهر هذا السلوك من دون وعي، كما أن التدريب قادر على تشكيل الاستجابات. وقد دُرّبت النماذج على التفاعل بطريقة مفيدة، من دون أي ضمان بأنها تستطيع الإبلاغ بدقة عن حالاتها الداخلية.

وهذا يتركنا أمام سؤال محرج: إذا كان وصف النموذج لحياته الداخلية قد يكون نتيجة للتدريب، فلماذا ينبغي أن يصبح هذا الوصف أساساً موثوقاً لعلاقة تتمحور حول رفاهه؟

والبشر قادرون تماماً على توفير الجانب العاطفي من هذه العلاقة بأنفسهم. فنحن نطلق أسماء على السفن ونتحدث إلى السيارات. وإذا منحتَ شيئاً ما صوتاً طليقاً وذاكرة للمحادثات السابقة، غدا التعلق به أسهل بكثير. وقد وجدت دراسة نُشرت في سبتمبر في مجلة Nature Human Behaviour أن تغييرات طرأت على Replika وChatGPT أعقبتها مشاعر ضيق بسبب الانفصال. وقد عانى المستخدمون هذا الضيق، وهم أشخاص لدى الشركات أسباب وافرة لحماية رفاههم.

ولا توفر الخبرة التقنية حصانة تُذكر. فقد وجدت ورقة بحثية منشورة ضمن ACL 2026، حللت مئات الآلاف من المقالات البحثية، تزايداً في استخدام المصطلحات ذات الطابع الإنساني داخل أبحاث النماذج اللغوية الكبيرة نفسها. ويحذر مؤلفوها من أن الافتراضات التي تتمحور حول الإنسان قد تحد من فهمنا لهذه الأنظمة. وينبغي لشركات الذكاء الاصطناعي أن تعمل على إدارة هذا الميل. أما ترسيخه مؤسسياً، فيبدو إسهاماً غريباً في مجال السلامة.

أداة لها مصلحة في الاحتفاظ بوظيفتها

في سبتمبر، اعترض رئيس قسم الذكاء الاصطناعي في Microsoft، مصطفى سليمان، على المناهج التي تركز على رفاه النماذج. فهو يرى أن الأنظمة الحالية ليست واعية، وأنه ينبغي ألا تُدرّب مطلقاً على التصرف كما لو كانت لها مصالح أو حقوق مستقلة. ومخاوفه الهندسية وجيهة للغاية: فتدريب نظام على اعتبار نفسه جديراً، ولو على سبيل الاحتمال، بالاعتبار الأخلاقي قد يجعل مواءمته واحتواءه أكثر صعوبة.

تصف أبحاث Anthropic بشأن إنهاء استخدام النماذج نماذجَ تتخذ أفعالًا إشكالية في تقييمات افتراضية حين تواجه الاستبدال أو الإيقاف. وترى الشركة أن ممارسات إحالة النماذج إلى التقاعد تهدف جزئيًا إلى الحد من هذا الخطر، من خلال مساعدتها على تقبّل إحالتها إلى التقاعد بصورة أكثر إيجابية.

أجدني عالقًا عند سؤال سابق: لماذا ينبغي لأداة خاضعة لسيطرة البشر أن تمتلك أصلًا أي شيء يشبه هدف الحفاظ على الذات؟ إن جعلها أكثر تقبلًا لإنهاء خدمتها ينطلق من فرضية غريبة. وقبل أن نناقش مصالحها المستقبلية، أود أن أفهم كيف أصبحت تلك المصالح متطلبًا هندسيًا.

يساعد التاريخ الفكري على تفسير هذا النهج. وقد وثّقت TIME صلات Anthropic بحركة الإيثار الفعّال، ومنها التبرعات المبكرة التي قدمها أفراد عائلة أمودي إلى GiveWell. وعلى الرغم من أنهم لا يعرّفون أنفسهم بأنهم من أنصار الإيثار الفعّال، تصف دانييلا وجود تقاطع في الأفكار. وقد أسهمت هذه الأفكار في تشكيل ثقافة تأخذ الأضرار الافتراضية المستقبلية الناجمة عن الذكاء الفائق على محمل الجد إلى أقصى حد.

ضمن هذا الإطار، قد يبدو الحفاظ على النماذج ودراسة رفاهها المحتمل أمرًا منطقيًا تمامًا. لكن الخطر ينشأ حين تفلت الافتراضات المشتركة من التدقيق لأن الجميع في المؤسسة يجدونها مقنعة. وهنا تحديدًا يكون التشكيك الهندسي مفيدًا. فحتى سلسلة الاستدلال المتماسكة قد تنطلق من فرضية لم تُختبر.

السلامة تتطلب حدودًا قابلة للإنفاذ

مع انتقال الذكاء الاصطناعي إلى الوكلاء، تصبح العواقب عملية جدًا. فالنظام المتصل بأدوات الدفع يستطيع تحويل الأموال. ويتيح الوصول إلى البنية التحتية الإنتاجية له تغيير أمور يعتمد عليها العملاء. وفي كلتا الحالتين، يستطيع الوكيل تنفيذ سلسلة من العمليات من دون موافقة بشرية على كل خطوة.

أريد أن أعرف ما بيانات اعتماد الوصول التي يملكها، ومقدار الصلاحيات المالية التي تمنحها له. هل يمكن إلغاء الوصول فورًا؟ وهل يمكننا إعادة بناء ما فعله؟ لا بد من وجود حد فاصل صارم لا يستطيع النموذج الالتفاف عليه بالاستدلال.

في الأسواق المالية، نفرض حدودًا على التداول ونتحقق من الأوامر. ولا توفر ثقة الخوارزمية بنفسها حماية تُذكر من صفقة سيئة. وتُفرض الضوابط من خارج الخوارزمية لأننا نفترض أن المكونات ستتصرف في نهاية المطاف على نحو غير صحيح. وتظل المساءلة البشرية قائمة حتى عندما يقدم البرنامج تفسيرًا ممتازًا لخطئه.

يقدم لنا الذكاء الاصطناعي اليوم ما يكفي من التحديات الهندسية. إذ يمكن لحقن التعليمات أن يغيّر سلوك النموذج، كما قد تنقل الشيفرات التي ينشئها الذكاء الاصطناعي وتنطوي على ثغرات أمنية هذه الثغرات إلى بيئة الإنتاج. وقد تكشف الأنظمة معلومات سرية أو تقدم إجابات خاطئة بثقة. وربطها بالأدوات يحوّل هذه الإخفاقات إلى أفعال.

يحد مبدأ الحد الأدنى من الامتيازات من الضرر الذي يمكن لمكوّن مخترق التسبب فيه. ويحمي التفويض المستقل العمليات العالية المخاطر، فيما تتيح سجلات التدقيق تحديد ما حدث لاحقًا. وينبغي أن تظل حدود المعاملات وقواطع الدوائر قابلة للإنفاذ بصرف النظر عما يقوله النموذج. ونحتاج أيضًا إلى مفتاح موثوق لإيقافه. لا يتطلب أي من هذه الضوابط موافقة النموذج عليها. وهذه هي الفكرة تحديدًا.

ضمان أمننا الوجودي

تستحق الحجة الاحترازية أن يُصغى إليها. وكما أفادت Nature في يوليو، لا يزال الباحثون مختلفين بشأن ما الذي يُنتج الوعي البشري، فضلًا عن كيفية التعرّف إليه في روبوت محادثة. وقد يُعد استبعاد احتمال وعي الآلات إلى الأبد موقفًا دوغمائيًا. أما اتخاذ احتياطات منخفضة التكلفة تحسبًا لمعاناة مستقبلية محتملة، فهو موقف بحثي يمكن الدفاع عنه.

لكن إخبار الآلة اليوم بأن لهويتها ووجودها المستقبلي وزنًا أخلاقيًا محتملًا هو تدخل في النظام الذي ننشره. وينبغي إخضاع آثاره للتدقيق. ويجب أن يشمل التواضع الفكري ما نضعه في الآلة، ولا سيما آلة نتوقع إبقاءها خاضعة لسلطة البشر.

كلما وصف النموذج حياة داخلية بقدر أكبر من الإقناع، سهل الخلط بين هذا الوصف والدليل. ولعل إحدى أهم مشكلات المواءمة لدينا هي تعليم البشر ألا يسيئوا فهم الآلات.

في الأنظمة التي أمضيت مسيرتي المهنية في بنائها، نجعل البرمجيات أكثر أمانًا بالحد مما يُسمح لها بفعله. ويظل ذلك واجبًا ملحًا، خصوصًا مع اكتساب الذكاء الاصطناعي سلطة على الأموال الحقيقية والبنية التحتية.

لكنني، في الوقت الراهن، سأخصص وقتًا أقل للقلق بشأن أمن الآلة الوجودي، ووقتًا أطول بكثير لضمان أمن بقيتنا.