مقابلات
هاناه-ماري دارلي، رئيس قسم الذكاء الاصطناعي في Geordie AI – سلسلة المقابلات
هاناه-ماري دارلي، رئيس قسم الذكاء الاصطناعي في Geordie AI، هو خبير في مجال الذكاء الاصطناعي والأمن الذي شارك في تأسيس الشركة لمساعدة فرق الأعمال والأمن والتقنية في تبني الذكاء الاصطناعي مع وضوح وسيطرة. مع خبرة تزيد على عقد من الدعم في عمليات الاستخبارات داخل الحكومة الفيدرالية الأمريكية والمناصب القيادية في Darktrace، يجمع بين الخبرة العميقة في تحليل التهديدات والتحليل الجيوسياسي والpsychology التطبيقية مع الخبرة العملية في استراتيجية الذكاء الاصطناعي وتطوير المنتجات. يعمل على محاذاة الأنظمة المستقلة مع النية البشرية، مما يسمح للمؤسسات بتشغيل وكلاء الذكاء الاصطناعي بطريقة توازن بين الابتكار والرقابة والقيود العملية.
Geordie AI هي شركة برمجيات مؤسسية مقرها لندن تركز على تأمين وحوكمة وكلاء الذكاء الاصطناعي隨ما ينتشرون في بيئات الشركات. تقدم منصة الشركة رؤية في نشاط الوكيل، ومراقبة مستمرة لتعرض المخاطر، وآليات حوكمة منظمة تتيح للمؤسسات نشر ونشر أنظمة الذكاء الاصطناعي بثقة. من خلال تقديم الرؤية والامتثال والدعم التشغيلي المخصصة لعصر الوكلاء، تهدف Geordie إلى منح المؤسسات الشفافية والسيطرة المطلوبة لتكامل التكنولوجيا المستقلة المتزايدة دون المساس بالأمن أو المسؤولية.
لقد قمت بإنفاق ما يقرب من عقد من الزمن في استخبارات التهديدات الفيدرالية الأمريكية والتحليل الجيوسياسي، ثم قمت بقيادة أبحاث التهديدات و استراتيجية الذكاء الاصطناعي في Darktrace، والآن تقود استراتيجية الذكاء الاصطناعي وتطوير المنتج في Geordie AI. ما هي الخبرات عبر الحكومة والأمن المؤسسي التي أثرت أكثر على قرارك ببناء Geordie، وما هو المشكلة الأساسية التي كنت حازما على حلها؟
على مدار كل من الحكومة والأمن المؤسسي، واصلت مواجهة نفس التوتر الهيكلي. كانت المنظمات تستثمر بشكل كبير في الذكاء الاصطناعي، ومع ذلك، فإن الثقة في سلوك هذه الأنظمة تأخرت عن التوقعات لعود على الاستثمار. التحدي لم يكن في القدرة. بل كان في الثقة.
随ما انتقل الذكاء الاصطناعي من أدوات تجريبية إلى تدفقات عمل تشغيلية، أصبح ذلك الفجوة أكثر وضوحا. الوكلاء يقدمون استقلالية وصنع القرار والاستمرارية عبر الأنظمة بطرق لم تفعلها البرمجيات التقليدية من قبل. كان على الأعمال أن تفهم كيف تعمل الوكلاء، وأين تعمل، وكيف تظهر المخاطر من خلال سلوكهم. تم بناء Geordie لسد فجوة الوضوح هذه حتى تتمكن المنظمات من تبني الاستقلالية بثقة بدلا من التردد.
من وجهة نظرك، ما هو أكبر مخاطر الذكاء الاصطناعي المستقل أو الوكيل التي تطرحها على المؤسسات، وكيف يختلف تأثير “سلسلة التأثير” للقرارات السياقية عن نماذج التعرض التقليدية للأمن السيبراني؟
الاخفاقات الصامتة لا تزال أقل فهمًا. يمكن لوكيل أن يعمل داخل حدود الوصول المعتمدة والحدود الشرعية بينما ما يزال بإنتاج نتائج تختلف عن النية.
هذا يعكس طبيعة الأنظمة الوكيل. فهي تفسر السياق وتتخذ القرارات في الوقت الفعلي. على عكس البرمجيات التقليدية، يتم تشكيل السلوك ديناميكيا عبر تسلسلات الإجراءات. هذا يغير نموذج الأمن. التعرض لا يعتمد فقط على انتهاكات الوصول. بل يظهر من خلال كيفية تفاعل القرارات والأدوات والسياق مع مرور الوقت.
تؤكد подход Geordie على مراقبة السلوك وتقييم المخاطر السياقي والسيطرة الديناميكية على أنشطة الوكلاء. كيف يجب على المنظمات أن توازن بين الحاجة إلى هذا النوع من الرؤية في الوقت الفعلي ومخاوف حول التعقيد التشغيلي أو أداء النظام؟
لا ينبغي للمؤسسات أن تضطر إلى التبادل بين الأداء والرقابة. نحن قمنا بتصميم هيكلنا بعناية لتفادي الوكلاء والبوابات المتوازية، مما يسمح للمنظمات ببناء وتشغيل الوكلاء حيثما يتعذر ذلك من الناحية التشغيلية.
الرؤية والسيطرة يجب أن تتوسع مع الاستقلالية دون تقديم احتكاك أو تأخير. إذا قامت آليات الحوكمة بتعطيل سير العمل، فإن تبنيها يتعثر. الأمن الفعال يتيح للنظم أن تتوسع بأمان بدلا من تقييد الابتكار.
من عملك مع العملاء المؤسسين وقادة المخاطر، ما هي أنواع سير العمل أو الحالات التي تكون أكثر عرضة للانحراف الوكيل إلى أنشطة عالية المخاطر، وكيف يمكن اكتشاف المؤشرات المبكرة قبل أن تتصاعد إلى حوادث ملموسة؟
المخاطر تميل إلى زيادة مع التعقيد. كلما زاد عدد القرارات التي يتخذها الوكيل بشكل مستقل، زادت الإمكانية للاختلاف السلوكي.
الانحراف يظهر عادة من خلال ربط الأدوات وإعادة استخدام السياق والتدفقات العملية الناشئة. المؤشرات المبكرة تشمل استدعاء أدوات غير متوقع، وأنماط تسلسل غير عادية، وتغييرات في حركة البيانات. يحتاج اكتشاف هذه الإشارات إلى تحليل سلوكي بدلا من مراقبة الحدث المعزول.
عندما يعيد الوكلاء الذكاء الاصطناعي استخدام السياق والأدوات عبر المهام، ما هي أكثر أنماط الفشل الدقيق أو غير المحسوبة التي يجب على فرق الأمن الانتباه إليها؟
إعادة استخدام السياق لا يزال غير محسوب. التعرض غالبا ما يظهر ليس من خلال صلاحيات زائدة ولكن من خلال كيفية استمرار المعلومات وانتشارها عبر المهام.
يمكن لوكيل أن يصل إلى البيانات بشكل شرعي في سياق واحد وينقل ذلك الحالة إلى سياق آخر. هذا، مع ربط الأدوات، يمكن أن ينتج عنه الكشف غير المقصود أو تحويل المعلومات الحساسة.
ما هي أكثر الطرق التي لا تزال تستخدمها المنظمات التقليدية لأدوات الأمن المؤسسية مثل كشف واكتشاف النقاط النهائية ومكافحة التهديدات، وأين تقع هذه المناهج قصرا عند إدارة أنظمة الذكاء الاصطناعي المستقل التي تتخذ إجراءات متعددة؟
منصات EDR و XDR لا تزال أساسية، ومع ذلك، تم تصميمها حول نماذج التهديدات المرتكزة على البشر. الوكلاء يعملون عبر طبقات قرار تمتد أبعد من تелеметريات النقاط النهائية والهوية.
فهم سلوك الوكيل يتطلب رؤية في أنماط التفكير واختيار الأدوات وتدفقات القرارات السياقية. بدون ذلك الطبقة، تظل أجزاء كبيرة من نشاط الوكيل غير واضحة.
لمن يريدون تمكين الابتكار وتجنب استقلالية غير خاضعة للرقابة، ما هو شكل “الاستقلالية المحكمة” في الممارسة؟
الاستقلالية المحكمة تبدأ بالرؤية. يجب على المنظمات أن تفهم أين يعمل الوكلاء، وما هو مقدار سلطة القرار التي يتمتعون بها، وما هي المخاطر التي تطرحها قدراتهم.
الحوكمة أكثر فعالية عندما يتم دمجها في وقت مبكر، مما يسمح بالتجربة داخل الحدود المحددة. هذا يدعم الابتكار مع الحفاظ على الثقة في النتائج.
يتم مناقشة القابلية للتفسير غالبا على مستوى إخراج النموذج. كيف يجب على المؤسسات التفكير في القابلية للتفسير والمراجعة عندما قد تكمن المخاطر الحقيقية في تسلسل الإجراءات التي يتخذها الوكيل مع مرور الوقت؟
القابلية للتفسير للنموذج هي جزء فقط من المعادلة. المخاطر المؤسسية تزداد بشكل متزايد في التسلسلات السلوكية بدلا من الإخراج المعزول.
المراجعة تتطلب فهم كيف شكلت الحواجز التفسير، وأي أدوات تم استدعاؤها، وكيف أثرت السياق على القرارات. تصبح الرؤية السلوكية أساسا للمسؤولية.
لمن يعترفون بضرورة الرقابة الأقوى لأنظمة الذكاء الاصطناعي المستقل، ما هي الخطوات الملموسة التي يجب أن يتخذوها اليوم لتقليل المخاطر الوكيلية دون إبطاء الابتكار، وكيف تساعد Geordie AI بشكل خاص المؤسسات على تحقيق هذا التوازن بين الرقابة والقدرة؟
المنظمات تستفيد من البدء في وقت مبكر بدلا من الانتظار لإطارات مثالية. يجب أن تركز في البداية على الجرد والرؤية السلوكية وفهم كيف يتفاعل الوكلاء مع الأنظمة.
نماذج الحوكمة التي تقدم التأخير غالبا ما تعوق القدرة على التوسع. يجب أن تتماشى الرقابة مع السرعة التشغيلية. توفر Geordie رؤية في تكوين الوكيل وسلوكه وديناميكيات المخاطر مع تمكين آليات التصحيح المصممة لأنظمة الذكاء الاصطناعي المستقل.
متى النظر إلى المستقبل، ما الذي سيفصل المنظمات التي تنجح في توسيع نطاق الذكاء الاصطناعي الوكيل عبر سير العمل عن تلك التي تعاني من انتكاسات بسبب المخاطر غير الخاضعة للرقابة، وكيف يجب على القيادة الاستعداد الآن؟
المميزون المبكرين سيكونون الوضوح والقياس. الفرق التي تفهم قدرة الوكيل وتأثيره وأنماط السلوك سوف تتوسع بثقة أكبر.
على المدى الطويل، سوف تفضل الميزة التنافسية المنظمات التي تطور نظم وكلاء سياقية متخصصة. الدقة، بدلا من التعميم، تصبح محرك الأداء والمتانة.
شكراً على المقابلة الرائعة، القراء الذين يرغبون في التعلم أكثر يجب أن يزوروا Geordie AI.
