بو لي، الرئيس التنفيذي لشركة فيرتو إيه آي – سلسلة المقابلات

بو لي، الرئيس التنفيذي لشركة فيرتو إيه آي، هو باحث بارز ومؤسس شركات متخصص في أمان ونظام الذكاء الاصطناعي. وهو يدير فيرتو إيه آي بينما يعمل أيضًا كأستاذ في جامعة إلينوي في أوربانا-شامبين، حيث يركز بحثه على أمان التعلم الآلي والذكاء الموثوق به والمتانة المعادية. مسيرته المهنية تشمل كل من الأكاديمية والصناعة، مما يسمح له بترجمة أبحاث الذكاء الاصطناعي المتقدمة إلى تطبيقات عملية تساعد المنظمات على بناء تقنيات الذكاء الاصطناعي الأكثر أمانًا ومرونة.

فيرتو إيه آي هي شركة تركز على حماية أنظمة الذكاء الاصطناعي المستخدمة في بيئات الشركات. توفر منصة الشركة قدرات مثل الاختبار الآلي، والحدود الآمنة في الوقت الفعلي، والمراقبة المستمرة لتحديد الثغرات مثل حقن البرومت، والهلوسة، وتسرب البيانات. من خلال التكامل المباشر مع تدفقات تطوير وتحديث الذكاء الاصطناعي، تساعد الشركة المنظمات على توسيع استخدام نماذج اللغة الكبيرة وتطبيقات الذكاء الاصطناعي الآمنة مع الحفاظ على معايير أمان وقواعد صارمة.

ما هو ما دفعك إلى الانتقال من مسار अकاديمي خالص إلى تأسيس وتحكم في شركة فيرتو إيه آي، وما هي المشكلة التي شعرت بأن الصناعة لم تكن تعالجها على نطاق واسع؟

الأدوات الأمنية التقليدية تم بناؤها لمواجهة تطبيقات يمكن التنبؤ بها مع مسارات محددة. لم تكن مصممة لأنظمة تفكر وتتكيف وتصرف بشكل مستقل. رأيت أنا وشركائي فجوة بين ما أنتجته الأبحاث الأساسية حول أمان الذكاء الاصطناعي وما لديه الشركات الفعلية. البحث كان موجودًا، لكن الواقع الإنتاجي لم يكن كذلك. هذا ما حاولنا تغييره.

تركز فيرتو إيه آي على السلامة والأمان والامتثال لنماذج اللغة الكبيرة والوكلاء المستقلين. أي من هذه المجالات تعتقد أن الشركات تقلل من شأنها اليوم؟

الشركات تفهم جميع هذه المجالات إلى حد ما، خاصة الأمان، لكن هناك masih فجوة كبيرة.

الشركات بدأت تضع أمان النماذج بشكل جاد، على الأقل على سطحه. لكن الوكلاء المستقلون يمثلون مشكلة مختلفة. يتم منحهم الوصول إلى أجزاء حساسة من البنية التحتية للشركة: تنفيذ الأوامر، والاتصال بالواجهات البرمجية، وتصفح الإنترنت، واتخاذ قرارات متسلسلة تلمس البيانات والمالية والعمليات. معظم فرق الأمان لا تكون مهيأة لمواجهة هذا النوع من الأنظمة. الأدوات التي لديهم لم تكن مصممة لهذا الغرض.

المخاطر ليست نظرية. بدون أمان مبني خصيصًا لأنظمة الوكلاء، يمكن أن تتراكم الفشل الصغير بسرعة. مكالمة أداة غير متوقعة، أو تعليمات غامضة، أو برومت يمر عبر الحدود الآمنة—أي من هذه يمكن أن يتصاعد إلى أفعال غير مصرح بها أو تسرب بيانات قبل أن يلاحظ أحد ما أن شيئًا ما пошئ خطأ.

الاختبار الآلي المستمر هو جزء أساسي من نهج فيرتو إيه آي. ما هي أنواع الفشل أو المخاطر التي تظهر فقط عندما تكون الأنظمة حية في الإنتاج؟

معظم الفشل الحرج.

في بيئة خاضعة للرقابة، كنت تختبر النموذج والوكلاء. في الإنتاج، تختبر النظام—وهما أمران مختلفان. بمجرد أن يتم ربط النموذج بأدوات وخطوط أنابيب إعادة الاسترجاع ومدخلات المستخدمين والوكلاء الآخرين، يوسع مساحة السلوك بطرق لا يتم التقاطها من خلال الاختبار قبل النشر. يمكن لوكيل “مُكوّن بشكل آمن” أن يتصرف بشكل مختلف عندما يكون متصلاً بقواعد بيانات حقيقية أو خوادم MCP جديدة أو وكلاء آخرين. يصبح النظام غير محدد. يبدأ في اتخاذ قرارات بناءً على سياق لم يكن موجودًا خلال التقييم.

هذا هو عندما تجد الفشل الذي يهم حقًا.

كيف تفكر في قياس “أمان الذكاء الاصطناعي” في الممارسة، خاصة عندما تتطور الأنظمة من خلال_TUNING و الاسترجاع واستخدام الأدوات؟

في الممارسة، لا يمكن قياس أمان الذكاء الاصطناعي من خلال معيار ثابت واحد لأن أنظمة الذكاء الاصطناعي الحديثة تتطور باستمرار من خلال_TUNING و الاسترجاع وتفاعلات الأدوات أو الوكلاء. بدلاً من ذلك، يجب تقييم الأمان كخاصية على مستوى النظام عبر دورة حياة تطبيق الذكاء الاصطناعي بالكامل. هذا يشمل اختبار النماذج والوكلاء مع هجمات اختراق حمراء متنوعة، ومراقبة السلوك في الوقت الفعلي مثل البرومتات والاتصالات بالأدوات والافعال، وتقييم النتائج مقابل سياسات المخاطر المحددة (مثل الإساءة، أو الهلوسة، أو تسرب البيانات، أو الأفعال غير المصرح بها).

على سبيل المثال، ورقتنا البحثية الحائزة على الجوائز (أفضل ورقة في وكالة الأمن القومي و NeurIPS)، DecodingTrust، قد قدمت اختبارًا شاملاً لأمان وسلامة النماذج الأساسية. منصة DecodingTrust-Agent لدينا بنت محاكيًا واقعيًا لوكيل يستضيف بيئات متنوعة مع وكلاء اختراق حمراء أصليين لأداء اختبار اختراق حمراء ديناميكي ومتكيف ومتواصل.

من المهم، يجب أن يكون قياس الأمان مستمرًا ومتكيفًا، لأن التحديثات للبرومتات أو مصادر الاسترجاع أو الأدوات يمكن أن تroduce ثغرات جديدة. في الممارسة، هذا يعني الجمع بين الاختبار الآلي والحدود الآمنة في الوقت الفعلي والرصد لقياس ليس فقط استجابات النموذج ولكن أيضًا أمان نظام الذكاء الاصطناعي بالكامل الذي يعمل في العالم الحقيقي.

خلفية بحثك تضم المتانة والخصوصية والهجمات المعادية. أي من هذه المجالات أثبتت أنها الأصعب في الترجمة إلى دفاعات حقيقية في العالم الواقعي؟

ترجمة البحث في المتانة والخصوصية والهجمات المعادية إلى دفاعات حقيقية في العالم الواقعي هو في الواقع أمر قابل للتحقيق. في الواقع، العديد من اتجاهات البحث في مجموعتي مستوحاة مباشرة من تحديات أمنية عملية ملاحظة في أنظمة الذكاء الاصطناعي المُستخدمة. الصعوبة الحقيقية تكمن ليس في بناء الدفاعات، ولكن في تقديم ضمانات أمنية موثوقة في بيئات ديناميكية حقيقية.

في الأبحاث الأكاديمية، حققنا تقدمًا قويًا مثل المتانة والخصوصية المضمونة، لكن هذه النتائج تعتمد عادة على افتراضات قد لا تتحقق تمامًا في أنظمة الإنتاج المعقدة. تطبيقات الذكاء الاصطناعي الحديثة تتطور باستمرار من خلال بيانات جديدة وخطوط أنابيب الاسترجاع وتكامل الأدوات، مما يمكن أن يُroduce ثغرات جديدة مع مرور الوقت.

نتيجة لذلك، لا يمكن أن يعتمد أمان الذكاء الاصطناعي على حماية واحدة في المرة—إنه يتطلب اختراقًا حمراء مستمرًا واكتشاف المخاطر وحدود آمنة متكيفة تطور جنبًا إلى جنب مع النظام. هذا هو بالضبط الفلسفة وراء فيرتو إيه آي: الجمع بين أبحاثنا الطويلة في أمان الذكاء الاصطناعي مع اختراق حمراء آلي على نطاق كبير وحدود آمنة في الوقت الفعلي لتحديد المخاطر الناشئة وتحديث الدفاعات، مما يسمح بأمان عملي ومقابل للنظم الحقيقية.

ما الذي يجعل تأمين وكلاء الذكاء الاصطناعي المستقلين بشكل أساسي مختلفًا عن تأمين البرمجيات التقليدية أو حتى محادثات الذكاء الاصطناعي؟

الوكلاء ليسوا برامج ثابتة. لا يتبعون مسارات متوقعة، ولا يبقون داخل الحدود التي رسموها لهم عند النشر.

الأمان التقليدية يفترض مسارات تنفيذ ثابتة، وواجهات برمجية مستقرة، وسلوك محدد. الوكلاء المستقلون ينتهكون جميع هذه الافتراضات. يفكرون في ما يجب فعله بعد ذلك، ويتخذون أدوات بناءً على السياق، وينتجون تأثيرات عبر أنظمة متعددة في تشغيل واحد.

لا يمكنك مسح برومت، أو تقوية نموذج، أو مراقبة مكالمة واجهة برمجية واحدة واعتبار المهمة منتهية. يجب عليك تأمين الوكيل كنظام كامل—تفكيره، استخدام أداته، بيئته، وما يحدث لاحقًا.

هذا هو النقطة الأساسية التي لا يمكن أن يحلها التحكم في النقاط. لم تكن مصممة لهذا الغرض.

أين تقع الأدوات الأمنية الحالية في عجز عندما يمكن للوكلاء المستقلين العمل عبر العديد من الأنظمة والأدوات ومصادر البيانات في نفس الوقت؟

تتركك عاجزًا عن رؤية كيفية عمل الوكيل بشكل شامل من البداية إلى النهاية.

معظم الأدوات تم بناؤها لتطبيقات لها حدود واضحة وسلوك مستقر. يمكن أن يخبروك بمظهر مكالمة واجهة برمجية واحدة. لا يمكنهم أن يخبروك كيف قام وكيل بتفكير طريقه من خلال خمسة مكالمات أداة لإنتاج نتيجة لم يكن أحد ينتظرها.

فجوة الرؤية هي المشكلة. إذا لم تكن قادرًا على رؤية سلسلة كاملة من الإجراءات والقرارات، لا يمكنك الحكم عليها، ولا يمكنك تدقيقها بعد الحادث.

كيف تقلل الحدود الآمنة في الوقت الفعلي من المخاطر مقارنةً بالمراقبة أو التسجيل فقط؟

التسجيل يخبرك بما пошئ خطأ بعد أن يتم الضرر. هو مفيد لتحقيقات وامتثال، لكنه لا يمنع أي شيء.

مع الوكلاء المستقلين، يمكن أن يكون التأخير بين الإجراء والاكتشاف مكلفًا حقًا. وكيل قد قام بالفعل بتنفيذ مكالمة أداة سيئة أو سرق البيانات ولم ينتظر حتى يتم اكتشافه.

الحدود الآمنة في الوقت الفعلي تقاطع الإجراء قبل التنفيذ. إذا حاول وكيل القيام بشيء خارح السياسة، فإنه يتم حظره أو وضع علامة عليه قبل تشغيله، وليس بعده.

التركيبة مهمة أيضًا. الوقاية في الوقت الفعلي بالإضافة إلى نقطة تنفيذ موحدة ومستمرة عبر جميع تفاعلات الوكيل والأداة تمثل ملف مخاطر مختلفًا عن المراقبة السلبية للمكونات الفردية.

تأسست فيرتو إيه آي بواسطة باحثين تقنيين عميقين. كيف يؤثر ذلك على قرارات المنتج مقارنةً ببدء التشغيل التجاري لذكاء اصطناعي أكثر؟

أمان و حوكمة الذكاء الاصطناعي هو في الأساس مشكلة تقنية عميقة. الأنظمة التي نحميها—مثل نماذج اللغة الكبيرة والنماذج المتعددة والوكلاء المستقلين—تم بناؤها على أبحاث متقدمة. بدون خبرة قوية في أمان الذكاء الاصطناعي، من الصعب تصميم حلول أمنية فعالة لها.

في العديد من الحالات، أكبر تحدي في أمان الذكاء الاصطناعي هو عندما يكتشف خوارزمية اختراق حمراء متقدمة ثغرات في وكلاء الذكاء الاصطناعي في ورقة بحثية—كيف تترجم هذه الرؤية إلى دفاع إنتاجي يمكن أن يحمي أنظمة حقيقية بموثوقية؟ في فيرتو إيه آي، إغلاق هذا الفجوة بين البحث والتنفيذ هو جزء أساسي من كيفية عملنا.

بسبب أن فيرتو إيه آي تأسست بواسطة باحثين قاموا بإنفاق عقود في العمل على متانة الذكاء الاصطناعي والتعلم المعادي والذكاء الموثوق، تعمل أفرقتنا البحثية والهندسية على نفس المشاكل في نفس الوقت. يدرس باحثونا دائمًا архيتكتурيات النماذج الناشئة، وعمليات الوكلاء الجديدة، وطرق الهجوم المتطورة، بينما تدمج فرقنا الهندسية هذه الاكتشافات مباشرة إلى الأنظمة الإنتاجية.

عندما نكتشف ثغرة جديدة—مثل نمط حقن برومت جديد أو استراتيجية خداع وكيل—يمكن ترجمتها بسرعة إلى نماذج كشف جديدة أو حدود آمنة أو استراتيجيات اختراق حمراء. هذا يحدث باستمرار، وليس فقط في خارطة المنتج الربع سنوية.

نتيجة لذلك، تظل منتجاتنا على صعيد التكنولوجيا المتقدمة ومستعدة للشركات، مما يساعد المنظمات على تأمين أنظمة الذكاء الاصطناعي أثناء بنائها وتحديثها. يقول العديد من عملائنا لنا أن هذا النهج القائم على البحث هو ما يسمح لهم بالتحرك بسرعة مع الحفاظ على الأمان والامتثال.

بالنسبة للفرق التجارية البحتة، غالبًا ما تتم оптимيزة حول ما يطلبه العملاء اليوم، مما قد يؤدي إلى ميزات متقدمة ولكن قد ي落ون وراء مشهد التهديدات المتطورة لأنظمة الذكاء الاصطناعي. في أمان الذكاء الاصطناعي، تطور التهديدات بسرعة مثل تطور التكنولوجيا نفسها. أساس البحث يسمح لنا بالتنبؤ بالمخاطر الجديدة في وقت مبكر وبناء الدفاعات قبل أن تصبح مشاكل شائعة.

ما هو أكثر概念 خاطئ يعتقدونه الشركات عند وصولهم إلى فيرتو إيه آي لأول مرة؟

أحد أكثر المفاهيم الخاطئة شيوعًا التي تملكها الشركات عند وصولها إلى فيرتو إيه آي لأول مرة هو أن أمان الذكاء الاصطناعي يمكن معالجته ببساطة من خلال تطبيق أدوات الأمان التقليدية أو مرشحات تحرير المحتوى الأساسية.

في الواقع، أنظمة الذكاء الاصطناعي تroduce مخاطر جديدة، مثل حقن البرومت، والهلوسة، وتسرب البيانات من خلال أنظمة الاسترجاع، و操ulation الوكلاء من خلال الأدوات أو واجهات برمجة التطبيقات الخارجية. هذه المخاطر تنشأ من سلوك وreasoning النموذج نفسه، وليس فقط من البنية التحتية المحيطة.

نؤكد على أمان الذكاء الاصطناعي الأصيل: الجمع بين اختراق حمراء آلي لاكتشاف الثغرات، وحدود آمنة في الوقت الفعلي لفرض السياسات، ورصد النظام لمتابعة البرومتات ومكالمات الأدوات وإجراءات الوكيل.

بمجرد أن يرى الشركات كيف تختلف مخاطر الذكاء الاصطناعي عن مخاطر البرمجيات التقليدية، يدركون بسرعة أن تأمين الذكاء الاصطناعي يتطلب مكدس أمني جديد بشكل أساسي.

أخيرًا، ما يعني “نشر الذكاء الاصطناعي المسؤول” لك في الممارسة—ليس في النظرية، ولكن داخل شركة تصدر منتجات اليوم؟

السُرعة والأمان ليسا متنافيين، على الرغم من أن معظم الشركات تعاملتهما على هذا النحو. الافتراض هو أن الأمان الجاد يبطئك—مزيد من دورات المراجعة، ومزيد من بوابات المراجعة، ومزيد من الاحتكاك قبل أن يتم إصدار شيء.

في الممارسة، الشركات التي تنشر الوكلاء بثقة هي تلك التي تبني الأمان في العملية بدلاً من ربطه في النهاية: اختراق حمراء آلي قبل النشر، وحدود آمنة في الوقت الفعلي عندما يكون الوكيل على قيد الحياة، ورؤية مركزية عبر دورة حياة الوكيل بالكامل.

هذا ليس تمارين الامتثال. إنه ما يسمح لك بالتحرك بسرعة، لأنك لا تكتشف في الإنتاج ما كنت يجب أن تكتشفه في وقت مبكر.

النشر المسؤول، بالمعنى الملموس، يعني أنك تعرف ما يمكن للوكلاء القيام به، يمكنك رؤية ما يفعلونه، ويمكنك إيقافهم عندما شيء يذهب خطأ.

تطوير الذكاء الاصطناعي المسؤول يسمح بنشر مستمر ومكبر لأنظمة الذكاء الاصطناعي بثقة، بدلاً من إبطاء ابتكار الذكاء الاصطناعي.

شكرًا على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا فيرتو إيه آي.