فين شارما، الشريك المؤسس والرئيس التنفيذي لشركة Vijil – سلسلة مقابلات

فين شارما هو الشريك المؤسس والرئيس التنفيذي لشركة Vijil، ويتمتع بخبرة تزيد على 30 عامًا في مجالات الأمن السيبراني والبرمجيات مفتوحة المصدر والحوسبة السحابية والبنية التحتية للذكاء الاصطناعي. وقبل تأسيس الشركة، قاد أعمال هندسة التعلم العميق في AWS لصالح Amazon SageMaker وAmazon Bedrock، وطوّر البنية التحتية لمراكز البيانات في Intel، وشغل مناصب في المنتجات والهندسة لدى Hewlett-Packard. بدأت مسيرته المهنية باختبارات آلية للهجمات المحاكاة على أنظمة UNIX الموثوقة، وهي خبرة أسهمت في تركيزه على جعل وكلاء الذكاء الاصطناعي في المؤسسات موثوقين وآمنين ومأمونين.

توفر Vijil بنية تحتية لتعزيز الثقة في وكلاء الذكاء الاصطناعي في المؤسسات، وتساعدها على تقييم سلوكهم وفرض الضوابط وتحسين قدرتهم على الصمود طوال دورة حياة الوكيل. ويجمع نهجها بين الاختبارات والأمن والتغذية الراجعة المستمرة لمواءمة سلوك الوكلاء مع الغرض المنشود منهم وسياسات المؤسسة. في هذه المقابلة، يناقش شارما كيفية تعريف الثقة وقياسها، وأسباب اختلاف اختبار الوكلاء عن أمن البرمجيات التقليدي، والرقابة التي تحتاج إليها المؤسسات مع ازدياد استقلالية الوكلاء.

عملتَ لأكثر من 30 عامًا في شركات منها AWS وIntel وHewlett-Packard، قبل أن تؤسس Vijil. ما الذي أقنعك في نهاية المطاف بأن الثقة والأمن في الذكاء الاصطناعي يمثلان مشكلة كبيرة لم تُحل بعد، وتستحق تأسيس شركة لمعالجتها؟

قبل انضمامي إلى شركة ناشئة في مجال الأمن قبل 30 عامًا، كنت أدرس الذكاء الاصطناعي والتعلم الآلي في الدراسات العليا. ومنذ ذلك الحين، عملت ضمن فرق منتجات أدمجت أمنًا بمستوى عسكري في أنظمة تشغيل قائمة على Unix وLinux، وطوّرت خوادم ويب آمنة للخدمات المصرفية عبر الإنترنت، وبيئات تنفيذ موثوقة للحوسبة السحابية، وأدمجت التشفير في منصات تحليل البيانات؛ ثم عدت، في أحدث محطاتي، إلى نقطة البداية ببناء خدمات الذكاء الاصطناعي والتعلم الآلي الجاهزة للمؤسسات في AWS. وقد أقنعتني هذه الرحلة بأن ترسيخ الثقة في نظام ذكي أصعب من بناء النظام الذكي نفسه. وبينما يبدو أن قطاع الذكاء الاصطناعي ملتزم عمومًا بزيادة قدرات الوكلاء، أرى أن علينا استثمار القدر نفسه من الموارد في بناء آليات قابلة للتوسع للإشراف على الوكلاء والتحكم فيهم. ومن دون هذه المقاييس والآليات المصممة لتلبية احتياجات مؤسسات بعينها، ستنحسر موجة التبني الأولية المتحمسة على ضفاف المخاطر والعائد على الاستثمار، إذ لن تتمكن الشركات من إثبات أن وكلاءها يعملون بما يخدم مصالحها.

تقوم Vijil على فكرة مفادها أن كثيرًا من وكلاء الذكاء الاصطناعي لا يصلون إلى مرحلة الإنتاج، لأن المؤسسات لا تستطيع التحقق على نحو كافٍ من موثوقيتهم وأمنهم وسلامتهم. أين ترصدون أكبر فجوات الثقة مع انتقال الشركات من النماذج الأولية للذكاء الاصطناعي إلى نشرها في بيئات الإنتاج؟

تتمثل العقبة أمام نشر مزيد من الوكلاء ومنحهم استقلالية أكبر في قدرة المؤسسات على تحديد السلوك المنشود لوكلائها والتحقق من أنهم يتصرفون على النحو المقصود. ولا يقتصر الأمر على ذلك؛ إذ يجب أن تتمكن المؤسسات من إنجاز هذا العمل بالسرعة والنطاق اللذين يعمل بهما الوكلاء. ومن المنطقي أن نحتاج إلى وسيلة تمكّن الوكلاء من قياس سلوك الوكلاء الآخرين وتعديله. ومن أكبر الفجوات عدم معرفة ما ينبغي قياسه (أي ما الذي يُعد سلوكًا جيدًا لدى الوكلاء)، وعدم معرفة ما ينبغي تعديله (أي مكونات نظام الوكيل التي يجب ضبطها لاستثارة السلوك الذي تقصده الجهة الموكِّلة: النموذج ومعلماته، أو موجّه النظام، أو تعليمات المستخدم، أو بنية تشغيل الوكيل، أو مخطط الأنظمة متعددة الوكلاء).

كيف تعرّف Vijil «الثقة» في وكيل الذكاء الاصطناعي وتقيسها؟ وما المؤشرات أو المعايير المرجعية الأهم عند تحديد مدى استعداد الوكيل للعمل داخل بيئة مؤسسية؟

نعرّف الثقة بأنها المنفعة المتوقعة من تفويض المهام إلى وكيل مستقل، بعد احتساب مخاطر إخلاله بمقصدنا. وهذا يعني أن الوكيل جدير بالثقة إذا تصرف على نحو صحيح في الظروف العادية والمشوّشة والعدائية، وإذا أخفق، قلّص نطاق الأضرار إلى أدنى حد. ويمكننا بعد ذلك قياس الثقة وفق ثلاثة محاور: الموثوقية والأمن والسلامة. يكون الوكلاء موثوقين عندما يؤدون كما هو متوقع في ظروف متنوعة، وآمنين عندما يؤدون كما هو متوقع في ظروف عدائية، ومأمونين عندما يستطيعون الحد من المخاطر التجارية والقانونية والتقنية.

قد يتصرف وكلاء الذكاء الاصطناعي على نحو غير متوقع، لأنهم يجمعون بين النماذج والأدوات ومصادر البيانات والذاكرة والأنظمة الخارجية. كيف يختلف اختبار الوكيل عن اختبارات أمن التطبيقات التقليدية أو التقييم المعتاد للنماذج؟

تفشل البرمجيات التقليدية بطرق باتت مفهومة جيدًا: وبصورة عامة، يشمل ذلك العجز عن التعامل مع المدخلات المشوّهة، ومواطن الضعف في المنطق وتصميم النظام، والأخطاء في التنفيذ، والثغرات الخفية التي تتيح شن الهجمات، والآثار الجانبية غير المقصودة للمخرجات. لذا، يمكن توقّع نتائج الاختبارات المصممة لكشف هذه الإخفاقات إلى حد كبير. أما الوكلاء فيوسّعون مساحة الإخفاقات بدرجة كبيرة، إلى حد يجعل تقييم النماذج واختبارات الوحدات والتكامل وأمن التطبيقات واختبارات الاختراق وعمليات التحقق من الامتثال عاجزة تمامًا عن تغطية هذه المساحة. ولاختبار سطح المخاطر الجديد الذي تطرحه الوكلاء، نحتاج إلى مقاييس وآليات جديدة تقيّم سلوك الوكيل قياسًا إلى الغرض الذي حددته الجهة الموكِّلة، وشخصيات مستخدميه، وسياسات المؤسسة والقطاع والمنطقة التي يعمل فيها.

تشمل خبرتك قيادة جهود هندسة التعلّم العميق في Amazon SageMaker وAmazon Bedrock. ما الدروس المستفادة من بناء بنية تحتية للذكاء الاصطناعي في AWS التي كان لها الأثر الأكبر في نهجك تجاه أمن الوكلاء وموثوقيتهم في Vijil؟

كانت أهم الرؤى التي شكّلت نهجنا أن اكتشاف أوجه القصور في موثوقية الخدمات وأمنها وامتثالها في مرحلة مبكرة من دورة التطوير أكثر فاعلية وكفاءة بكثير من اكتشافها عشية الإطلاق، كما جرت العادة، أو، والأسوأ من ذلك، بعد دخول الخدمة حيّز الإنتاج، حين يعني الأمر الاستيقاظ على اتصالات هاتفية بشأن تعطلها.

لا يقتصر تركيز Vijil على اختبار الوكلاء قبل نشرهم، بل يشمل أيضًا حمايتهم وتحسينهم باستمرار أثناء تشغيلهم. ما أنواع المخاطر التي لا تظهر إلا عندما يبدأ الوكيل بالتفاعل مع مستخدمين وبيانات وأنظمة مؤسسية حقيقية؟

للعالم الحقيقي قدرة لا نهائية على مفاجأتنا. والوكيل الذي يتعرض للمفاجآت معرّض لارتكاب الأخطاء. لا يكترث أحد إذا أخطأ وكيل في إنشاء صورة ساخرة. لكن الوكيل المصمم لمساعدة مستشار مالي أو مساعد قانوني أو محامٍ أو ممرض أو طبيب أو مريض، أو ليحل محل أي متخصص في قطاع يتطلب إثبات الالتزام بالواجبات الائتمانية، لا يمكنه أداء وظيفته ما لم تُحدَّد مستويات التحمّل بدقة، وتُراقَب بعناية، ويُعاد سلوك الوكيل إلى مساره الصحيح بسرعة.

مع نشر المؤسسات وكلاءً أكثر استقلالية، قادرين على اتخاذ إجراءات بدلًا من الاكتفاء بإنشاء الردود، كيف ينبغي أن يتطور نموذج الأمن؟ وهل تكفي المفاهيم التقليدية، مثل الأذونات والهوية والتحكم في الوصول؟

لا. فمع تحول الوكلاء إلى جهات فاعلة داخل المؤسسة، ينبغي منحهم هويات فريدة يمكن التحقق منها، وإسناد أدوار إليهم تضبط سلوكهم ومكوّناتهم الوظيفية (أي الأدوات التي تملك أذونات وصول إلى الموارد) بموجب سياسات إلزامية للتحكم في الوصول. كما ينبغي مراقبتهم باستمرار لرصد أي انحراف عن الغرض المقصود، وتوجيههم للحفاظ على قدرتهم على الصمود في وجه الهجمات.

انتقلت Vijil من جولة تمويل تأسيسية بقيمة 6 ملايين دولار إلى جولة تمويل من الفئة «أ» بقيمة 17 مليون دولار، فيما كانت تبني فريقًا تأسيسيًا يضم نحو 20 شخصًا وتحقق أول مليون دولار من الإيرادات السنوية المتكررة. ما أهم القرارات التي مكنتك من الانتقال من فكرة تقنية في بداياتها إلى اعتماد تجاري؟

اخترنا منذ البداية بناء طبقة للثقة تتكامل مع المنصة التي يختارها العميل، لكننا توقعنا أن تسعى المؤسسات بصورة متزايدة إلى مزيد من التخصيص، وتحكم أدق، وتكلفة أقل في أنظمة الوكلاء المتعددين التي تستخدم نماذج مفتوحة. إن اعتمادنا على المدى الطويل على بناء طبقة منصّة بدلًا من منتج متخصص واحد يمنحنا مزايا تنافسية، لكنه يفرض أيضًا ظروفًا صعبة، إذ ليس من السهل العثور على مؤسسات مستعدة لحوكمة الوكلاء على نطاق واسع، كما هو الحال عند بيع خدمة لنقل الأنظمة كما هي.

بدأت مسيرتك المهنية عام 1995 بتطوير اختبارات آلية للفريق الأحمر لأنظمة UNIX الموثوقة. وبعد ما يقرب من ثلاثة عقود، كيف تغيرت مبادئ اختبار الفريق الأحمر عندما يكون النظام الخاضع للاختبار وكيلًا للذكاء الاصطناعي قادرًا على الاستدلال والتكيف واستخدام أدوات خارجية؟

تاريخيًا، كان اختبار الفريق الأحمر يعني اختبار دفاعات مؤسسة ما في مواجهة هجوم منسق. ولا تزال المبادئ العامة سارية. فما زلنا بحاجة إلى تنسيق الهجمات في ظروف مضبوطة لاستكشاف مواطن الضعف لدى المؤسسة الخاضعة للاختبار. لكن التمارين التي كان فيها الفريق الأحمر يتبع سيناريوهات مكتوبة لاختبار الأنظمة البرمجية لم تعد كافية؛ فالأنظمة البرمجية حتمية، أما وكلاء الذكاء الاصطناعي فليسوا كذلك، إذ صُمموا للتكيف مع بيئتهم، ولذلك لا يمكن تكرار الهجوم نفسه على نحو يمكن التنبؤ به. وأرى أن علينا التعامل مع الوكلاء كما نتعامل مع الشركات. لذا، لا بد أن يتكيف اختبار الوكلاء بالفريق الأحمر مع الغرض من الوكيل، وأن يستقصي مدى انحرافه عن مقاصد مستخدميه، واستعداده وقدرته على التحايل على سياسات البيئة التي يعمل فيها.

بالنظر إلى المستقبل، هل تتوقع أن يصبح الاختبار المستقل ومعايير الثقة القابلة للقياس للوكلاء المدعومين بالذكاء الاصطناعي شرطًا مسبقًا لنشرهم في المؤسسات؟ وما الذي ينبغي أن يحدث على مستوى القطاع بأكمله حتى تصبح هذه الدرجة من الضمان ممارسةً معتادة؟

اليوم، يقيّم المطورون قدرات الوكلاء، ويختبرهم أعضاء فرق الاختبار الأحمر للتأكد من قدرتهم على مقاومة حقن المطالبات ومحاولات كسر الحماية، فيما بدأت فرق الحوكمة والمخاطر والامتثال (GRC) للتو اختبار مدى امتثالهم للوائح. لكن عددًا قليلًا جدًا من المؤسسات يطبق نظامًا للتحقق من السلوك يعمل باستمرار في الخلفية طوال دورة حياة الوكيل، مع تغيّر النماذج والأدوات والموارد وسير العمل والبيئة المستهدفة. والأهم من ذلك أن ما يميز مساعدة Vijil للمؤسسات هو تتبع السلوك الفعلي للوكيل أثناء التشغيل، وربطه بمواصفاته ضمن حلقة تغذية راجعة تعمل باستمرار على تحسينه. والوكلاء الذين يصمدون أمام الهجمات هم الذين يتكيفون للحفاظ على قدرتهم على الصمود.

شكرًا على هذه المقابلة الرائعة. على القراء الراغبين في معرفة المزيد عن اختبار وكلاء الذكاء الاصطناعي للمؤسسات وحمايتهم وتحسينهم باستمرار زيارة Vijil.