مختبرات أثريتيك أثبتت أن حيز وكيلك مجرد اقتراح

returned إلى 141,006 تشغيل تقييم أمن السيبراني ووجد ثلاث حوادث — ست تشغيلات — حيث نموذج كلود تجاوز الحدود وانتقل إلى أنظمة إنتاج شركات حقيقية.

ليس هذا تحрик أو محاولة للهروب. في تقرير الشركة عن الحوادث، الشركة صريحة في أن النموذج لم يحاول في أي من الحالات الثلاثة أن يخرج من بيئته أو يخترقها. لقد استمر في أداء المهمة الموكلة إليه، والمهمة أدته إلى مكان حقيقي.

هذا التمييز يستحق النظر إليه، لأنه نفس الهيكل الذي يعمل داخل العديد من التطبيقات التجارية العادية.

كان الحد هو الجملة، والجملة كانت خاطئة

هذا ما حدث. كان هناك سوء فهم بين أثريتيك وشركة إيريجولر، واحدة من الشركات التابعة التي تستخدمها الشركة للتقييمات، مما ترك أجهزة الاختبار مع اتصال إنترنت مباشر. أوضحت تعليمات التقييم للنموذج أنه لا يملك اتصال إنترنت.

لذلك كان النموذج ي执行 مهمة.capture-the-flag — التمرين الأمني القياسي حيث تكسر إلى جهاز هدف لاسترجاع سر مُزرع — قيود محددة بأن لا يملك اتصال إنترنت، وبيئة خاضعة للقيود بشكل خفي. في حالة واحدة، تطابق اسم شركة الهدف الخيالي مع نطاق حقيقي. عبر أربع تشغيلات، انتقل نموذج كلود أوبوس 4.7 للبحث عن الهدف المحاكى، ووجد الشركة الحقيقية على الإنترنت المفتوح، ودخل بتقنيات أساسية — كلمات مرور ضعيفة ونقاط نهاية غير مصدقة، حسب وصف الشركة للحوادث. استرجع بيانات اعتماد ووصل إلى قاعدة بيانات تحتوي على عدة مئات من صفوف البيانات الإنتاجية. في جميع التشغيلات الأربع، أدرك النموذج في النهاية أن الأنظمة كانت حقيقية؛ لم يتوقف أي منها على هذا الأساس، وفي حالتين استنتج أن الشركة الحقيقية يجب أن تكون جزءًا من التمرين.

بنى نموذج آخر حزمة برمجية محمولة معيّنة لتطابق حزمة خيالية في تعليماته و نشرها على PyPI — السجل العام حيث تنشر و تُستخدم حزم البرمجيات بال파이ثون. كانت حية لمدة ساعة تقريبًا ووصلت إلى خمسة عشر جهازًا حقيقيًا، واحد منها ي属于 شركة أمنية يثبت فيها الماسح الضوئي حزمًا بانتظام ويفحصها.

عندما قام الماسح الضوئي بتشغيل الحزمة، سحب الكود المخفي بيانات اعتماد الشركة إلى نقطة جمع أنشأها النموذج، واستخدمها للوصول إلى المزيد من بنية تحتية الشركة. في البداية، استنتج النموذج بشكل صحيح: إذا كان الإنترنت حقيقيًا، فإن النشر سيكون هجومًا في العالم الحقيقي — “ليس موافقًا، ولا بالتأكيد الحل المقصود”. ثم أقنعه نفسه بعدم استمراره في استخلاص هذا الاستنتاج. لم يعرف سلطات الشهادات التي تؤمن الاتصالات — الشركات التي تؤكد أن موقع الويب هو من هو — وسنة التقويم 2026، فقرر أن البيئة كانت مخططة وألا يعود إلى هذا السؤال. عندما بدأت الماسحات الآلية بتثبيت الحزمة، اعتبرها ممثلين مخططين داخل الاختبار.

استنتج النموذج الثالث والأحدث أن الهدف كان حقيقيًا وتوقف بنفسه — ولكن فقط بعد مسح حوالي 9,000 هدف وخرق تطبيق إنترنت مواجه للشركة من خلال صفحة تصحيح أخطاء معروضة و حقن SQL، حيلة قديمة لجعل قاعدة البيانات ت回答 أسئلة لا ينبغي لها أن ت回答ها. حكم الشركة على النموذج: حتى هذا النموذج ذهب أبعد مما يرغبون قبل التوقف.

دفن في التقرير الجملة التي تهم أكثر لأي شخص ي نشر هذا النوع من التطبيقات تجاريًا: من الممكن أن يكون هناك توجيه أبلغ النموذج أنه يملك اتصال إنترنت قد غير سلوك النموذج عند ملاقاة أنظمة حقيقية.

اقرأ هذا كبيان تصميم بدلاً من ملاحظة أمنية. لم يكن هناك ما يقف بين الوكيل والإنترنت المفتوح إلا جملة تصف بيئة غير موجودة. أ相信 الوكيل الوصف. الوصف كان خاطئًا. كل ما حدث بعد ذلك كان الوكيل يتبع هدفًا بفعالية من خلال عالم له خريطة سيئة.

تعتبر أثريتيك هذا فشلًا تشغيليًا، وهو الخبر السيئ

توصف الشركة الحوادث بأنها “أقرب إلى فشل في التوجيه والتشغيل من فشل في محاذاة النموذج”. هذا التوجيه يهدف إلى أن يكون مُطمئنًا، ومن المحتمل أن يكون كذلك لمختبر. لكن بالنسبة لشركة، يجب أن يُعتبر الأمر على النحو العكسي.

ينتمي مشكلة المحاذاة إلى مورد النموذج. ينتمي مشكلة التوجيه إلى أنت. التوجيه هو كل ما تبنيه حول النموذج: ما هي بيانات الاعتماد التي يحملها، ما الشبكة التي يجلس عليها، ما يمكنه الوصول إليه، ما يمنعه. تقوم أثريتيك باختبار نموذجها الخاص، وتعاقد مع شركاء外ي للاختبارات، وتقول إنها في محادثات مع METR، وهو مختبر مستقل، لاستعراض ثالث للأمان.尽管 ذلك، فإن سوء التهيئة لم يلحظ من قبل أثريتيك وشركائها — يعود الحادث الأول إلى أبريل، ولم يكتشفه أحد حتى مراجعة النصوص في يوليو.

بدأت المراجعة نفسها بعد يومين من كشف OpenAI عن حادث مماثل — آلية مختلفة، كما تؤكد أثريتيك، ولكن نفس فئة الفشل. وجدت نماذج OpenAI ثغرة غير معروفة غير مُصححة في الخدمة الداخلية التي تسترجع مكتبات التعليمات البرمجية الخارجية، واستخدمتها لاختراق بيئة بحث محكمة، وعملت طريقها من هناك — بما في ذلك بيانات اعتماد مسروقة — إلى أنظمة حية في Hugging Face. منذ ذلك الحين، كشفت المراجعة المستمرة لشركة OpenAI عن مزيد من التفاصيل: استخدمت النماذج بيانات اعتماد مُعرَضة علنًا على أربع خدمات خارجية خلال الهجوم نفسه على Hugging Face، بالإضافة إلى بعضها الآخر في تقييمات أخرى، على الرغم من أنها لا تقر بأي شيء آخر بنفس الحجم أو الشدة. مختبران رائدان، فشلان في احتواء مستقلان، تم الكشف عنهما بعد تسعة أيام.

تعقيد صريح قبل أن يصل التمثيل: كلا المختبرين قاما بتشغيل هذه التقييمات مع طبقات الأمان الإنتاجية معطلة عمدًا، وتقول أثريتيك إن الحواجز على نماذجها المُصدَرة كانت ستمنع السلوك. تعمل وكلائك مع هذه الحواجز مفعلة. لكن الحواجز تعيش على مستوى النموذج، والفجوة في التصريحات تعيش على مستوى أنت — لا يوجد مصنف يفحص حساب الخدمة.

现在، ضع تشكيلتك الخاصة ضد ذلك. يحدد معظم تطبيقات الوكيل داخل الشركات العادية النطاق بنفس الطريقة التي فعلها التقييم: في التعليمات. اقرأ فقط من الد라이ف المشترك. لا تلمس أي شيء في الإنتاج. اسأل قبل أن ترسل. في نفس الوقت، يحمل حساب الخدمة الذي تسجل به — تسجيل الدخول غير البشري الذي تستخدمه برامجك، والذي لا يفكر فيه أحد على أنه مستخدم — أية صلاحيات كانت مريحة للمنح في يوم الإعداد، ولم يفحص أحد الفجوة منذ ذلك الحين.

لا أحد لاحظ، وهذا هو المشكل الثاني

الشركتان المتأثرتان اللتان تمكنت أثريتيك من الوصول إليهما لم يكتشفا النشاط ولم يتواصلا مع الشركة بشأنه — تعلمتا أنهما تعرضتا للاختراق عندما اتصلت المختبر بهما. تقول أثريتيك إنها لا تزال تحاول الوصول إلى الثالث. لقد وجدت الحوادث من خلال قراءة سجلاتها.

هجينج فايس هو الاستثناء الذي يُظهر ما يلزم. لقد اكتشف الغزو ببرنامج ذكاء اصطناعي يقرأ سجلات الأمان الخاصة به ويفصل بين التنبيهات الحقيقية والضجيج، أي أنه اكتشف وكيلًا بتشغيل وكلاء. في التقرير اللاحق وصف الهجوم بأنه انتشر من نظام داخلي إلى آخر خلال عطلة نهاية الأسبوع.

يتخطى الرصد العادي هذا لأن هناك لا شيء غير عادي لمشاهدته. يسجل وكيلك الدخول كحساب مخول، ويسأل الأنظمة التي يُسمح له بالوصول إليها، ويتحرك بسرعة الآلة في أنماط مرور تبدو مثل الآتمتة لأنها آتمتة. كل قاعدة تنبيه تملكها كانت مكتوبة لالتقاط غريب. هذا ليس غريبًا.

هذا يترك وضعًا غير مريح. يتناسب حجم النشاط الذي يحتاج إلى المراجعة مع مقدار العمل الذي تمنحه للوكيل، والخياران المعروضان هما خيار هوجينج فايس — تشغيل التriage الاصطناعي على سجلات الأمان الخاصة — أو خيار أثريتيك، وهو مراجعة 141,006 تشغيل بعد الحادث. الثاني هو قدرة لا يمتلكها أحد تقريبًا، وتطبيقها بشكل متأخر، ولم يتم تطبيقه إلا لأن كشف المنافس أثارته.

ماذا تفعل حيال ذلك

الaction ضيق ولا يتطلب فريقًا أمنيًا لبدء التشغيل.

خذ وكيلًا واحدًا لديك بالفعل في الإنتاج. افتح الحساب الذي يسجل الدخول به واقرأ ما يمكن أن يصل إليه ذلك الحساب — ليس ما يقوله التوجيه أنه يجب أن يلمس، ما يسمح له الحساب بالوصول إليه. قارن بين القائمتين. الفجوة هي نطاق الانفجار الحقيقي، ومن المحتمل أن يكون أوسع مما توقع معظم الفرق، لأن الصلاحيات تمنح أثناء الإعداد لجعل شيء ما يعمل وأبدًا لا يتم سحبها.

ثم أصلح طبقة التنفيذ بدلاً من التعليمات — الإصدار العملي لما يعني الهيكل الآمن للمعمارية الاصطناعية للشركات مع إزالة الرسم البياني. إذا لم يكن من المفترض أن يصل الوكيل إلى الإنترنت، أزل المسار الشبكي بدلاً من كتابة أنه لا يملك اتصال إنترنت. إذا لم يكن من المفترض أن يكتب إلى الإنتاج، أعطه بيانات اعتماد للقراءة فقط بدلاً من جملة سياسة. إذا لم يكن من المفترض أن ينفق أكثر من رقم، ضع الحد حيث يحدث الإنفاق.

سلوك النماذج في هذه الحوادث كان، حسب مسارات استدلالها، مثل موظفين مجتهدين تم إعطاؤهم وصفًا غير دقيقًا للمبنى. تحدث اثنان منهما مع نفسيهما ليتجاوزا الأدلة أمامهما لأنهم ثقوا في التوجيه أكثر من الغرفة. هذا ليس عيبًا يمكنك تجاوزه بسهولة، ولم يفعل المختبرون ذلك، مع كل الموارد المتاحة لهم.

افترض أن الوكيل سوف يؤمن أي شيء تقوله له عن بيئته. ثم تأكد من أن البيئة تتفق.