مقابلات
ربيكا كيان، المؤسس المشارك والمدير الفني لشركة باترونوس آي آي – سلسلة المقابلات
أضف Unite.AI إلى مصادرك المفضلة على Google
ربيكا كيان هي المؤسس المشارك والمدير الفني لشركة باترونوس آي آي، مع ما يقرب من عقد من الخبرة في بناء أنظمة التعلم الآلي في تقاطع معالجة اللغة الطبيعية والذكاء المادي والبنية التحتية. في فيسبوك آي آي، عملت عبر الأبحاث والتنفيذ، وتدريب FairBERTa، وهو نموذج لغة كبير مصمم بأهداف منصفة، وتطوير نموذج لتحويل ديموغرافي لكتابة محتوى ويكيبيديا، وتوجيه تحليل دلالات للمساعدين الروبوتيين. كما بنت أنابيب 인간ية في الحلقة مع وكلاء ماديين، وخلقت أدوات بنية تحتية مثل استخراج مجموعة التباين المستمر، والتي تم اعتمادها عبر فرق البنية التحتية لفيسبوك وتم تقديمها في ICSE. وقد ساهم في مشاريع مفتوحة المصدر بما في ذلك FacebookResearch/fairo و Droidlet notebooks التحليل الدلالي. كمنشئ،，现在 يركز على الإشراف القابل للتطوير والتعلم التعزيزي وتنفيذ وكلاء آي آي آمنين ومتأثرين بالبيئة.
(META )باترونوس آي آي هي شركة مقرها سان فرانسيسكو توفر منصة بحثية لتقييم ومراقبة وتحسين نماذج اللغة الكبيرة (LLMs) ووكلاء آي آي لمساعدة المطورين في تسليم منتجات آي آي التوليدية الموثوقة بثقة. تقدم المنصة أدوات تقييم آلية، وقياس أداء، وتحليل، ومجموعات بيانات مخصصة، وبيئات وكيلية محددة تحدد مشاكل الأداء مثل الوهم، والمخاطر الأمنية، أو فشل المنطق، مما يسمح للفرق بتحسين وتحليل أنظمة آي آي بشكل مستمر عبر حالات استخدام العالم الحقيقي. باترونوس آي آي تخدم العملاء المؤسسين والشركاء التكنولوجيين من خلال تمكينهم من تقييم سلوك النموذج، واكتشاف الأخطاء على نطاق واسع، وتعزيز الثقة والأداء في تطبيقات آي آي الإنتاجية.
لديك خلفية عميقة في بناء أنظمة التعلم الآلي في فيسبوك آي آي، بما في ذلك العمل على FairBERTa وأنابيب الإنسان في الحلقة. كيف شكلت تلك الخبرة منظورك حول نشر آي آي في العالم الحقيقي وأمانه؟
العمل في Meta AI جعلني أركز على ما يلزم لجعل النماذج موثوقة في الممارسة – خاصة حول آي آي النفسية المسؤولة. عملت على نمذجة اللغة الموثوقة مثل تدريب LLMs بأهداف منصفة، ورأيت بشكل مباشر مدى صعوبة تقييم ومفاهيم خرج النموذج. ذلك شكل كيف أفكر في الأمان. إذا لم تكن قادرًا على قياس وفهم سلوك النموذج، فمن الصعب نشر آي آي بثقة في العالم الحقيقي.
ما هو ما دفعك إلى الانتقال من هندسة البحث إلى ريادة الأعمال، والشراكة في تأسيس باترونوس آي آي، وما هو المشكلة التي شعرت أنها الأكثر إلحاحًا لحلها في ذلك الوقت؟
التقييم أصبح عائقًا في آي آي في ذلك الوقت. غادرت Meta AI في أبريل لبدء باترونوس مع Anand لأنني رأيت بشكل مباشر مدى صعوبة تقييم ومفاهيم خرج آي آي. وبمجرد أن بدأت آي آي التوليدية في الانتقال إلى سير عمل المؤسسات، أصبح واضحًا أن هذا لم يعد مشكلة مختبرية.
كنا نسمع نفس الشيء من المؤسسات. أرادوا تبني LLMs، لكنهم لم يتمكنوا من اختبارها بشكل موثوق، أو مراقبتها، أو فهم أنماط الفشل مثل الوهم، خاصة في الصناعات المنظمة حيث لا يوجد تحمل للأخطاء.
لذلك، المشكلة العاجلة في البداية كانت بناء طريقة لتحسين التقييم الآلي – تقييم النماذج في سيناريوهات العالم الحقيقي، وإنشاء اختبارات معارضة، وقياس الأداء – بحيث يمكن للفرق نشر بثقة بدلاً من التخمين
أدخلت باترونوس مؤخرًا محاكاة توليدية كبيئات متكيفة لوكلاء آي آي. ما هي القيود في النهج التقييمي أو التدريبي الحالي الذي دفعك إلى هذا الاتجاه؟
كنا نرى فرقًا متزايدًا بين كيف يتم تقييم وكلاء آي آي وكيف يتوقع أداؤهم في العالم الحقيقي. المقاييس التقليدية تقيس قدرات معزولة في نقطة زمنية محددة، لكن العمل الحقيقي هو ديناميكي. المهام تتerrupt، تتغير المتطلبات أثناء التنفيذ، وتتجمع القرارات على مدى أفق زمني طويل. يمكن لوكلاء آي آي أن يبدوا قويين في الاختبارات الثابتة ويفشلون بشكل سيئ بمجرد نشرهم. مع تحسين الوكلاء، يصلون أيضًا إلى حد المقاييس الثابتة، مما يؤدي إلى تقليل التعلم. ظهرت محاكاة توليدية كطريقة لاستبدال الاختبارات الثابتة ببيئات حية تتبع الوكيل أثناء تعلمه.
كيف ترى محاكاة توليدية تتغير في طريقة تدريب وكلاء آي آي وتقييمهم مقارنةً بالمقاييس الثابتة أو مجموعات البيانات الثابتة؟
التغيير هو أن المقاييس تتوقف عن كونها اختبارات وتبدأ في كونها بيئات. بدلاً من تقديم مجموعة ثابتة من الأسئلة، يولد المحاكي المهمة والظروف المحيطة ومنطق التقييم على مدار الوقت. مع سلوك الوكيل وتحسينه، تتبع البيئة. ذلك يقلل الحدود التقليدية بين التدريب والتقييم. لم تعد تسأل عما إذا كان الوكيل يمر بمرحلة معينة، ولكن عما إذا كان يمكنه العمل بشكل موثوق على مدى الوقت في نظام ديناميكي.
من الناحية الفنية، ما هي الأفكار المعمارية الأساسية لمحاكاة توليدية، خاصةً حول توليد المهام وديناميكية البيئة وهياكل المكافأة؟
على مستوى عال، تجمع محاكاة توليدية بين التعلم التعزيزي وتوليد البيئة التكيفي. يمكن للمحاكي إنشاء مهام جديدة، وتحديث قواعد العالم ديناميكيًا، وتقييم أفعال الوكيل في الوقت الفعلي. مكون رئيسي هو ما نسميه “معدل مناهج الدراسة”، الذي يتحليل سلوك الوكيل ويتغير صعوبة وهيكل السيناريوهات للحفاظ على إنتاجية التعلم. يتم تصميم هياكل المكافأة لتكون قابلة للتحقق ومحددة النطاق، بحيث يوجه الوكلاء سلوكهم الصحيح بدلاً من اختصارات سطحية.
كما يصبح مجال تقييم وكلاء آي آي وأدواته أكثر ازدحامًا، ما هو ما يميز بوضوح نهج باترونوس؟
تركيزنا على الصحة البيئية. نصمم بيئات تعكس سير عمل الإنسان الحقيقي، بما في ذلك الانقطاعات، وتغيير السياق، واستخدام الأدوات، والاستدلال المتعدد الخطوات. بدلاً من تحسين الوكلاء لينظروا جيدًا في الاختبارات المحددة، نحن مركزون على كشف الفشل الذي يهم في الإنتاج. يقيم المحاكي السلوك على مدى الوقت، وليس فقط الإخراج في العزل.
ما هي أنواع المهام أو أنماط الفشل التي تستفيد أكثر من التقييم القائم على المحاكاة مقارنةً بالاختبار التقليدي؟
المهام طويلة الأفق، متعددة الخطوات، هي التي تستفيد أكثر. حتى معدلات الخطأ الصغيرة في كل خطوة يمكن أن تتكامل إلى معدلات فشل كبيرة في المهام المعقدة، وهو ما لا تتمكن المقاييس الثابتة من التقاطه. يجعل التقييم القائم على المحاكاة من الممكن كشف الفشل المتعلق بالبقاء على المسار مع مرور الوقت، وتحديد الانقطاعات، وتنسيق استخدام الأدوات، والتكيف عند تغيير الظروف في منتصف المهمة.
كيف يغير التعلم القائم على البيئة طريقة تفكيرك في أمان آي آي، وهل تroduce محاكاة توليدية مخاطر جديدة مثل اختراق المكافأة أو أنماط الفشل الناشئة؟
التعلم القائم على البيئة يجعل العديد من قضايا الأمان أسهل في الكشف. يزدهر اختراق المكافأة في البيئات الثابتة حيث يمكن لوكلاء آي آي استغلال الثغرات الثابتة. في محاكاة توليدية، تكون البيئة نفسها هدفًا متحركًا، مما يجعل تلك الاختصارات أكثر صعوبة في الاستمرار. ومع ذلك، لا يزال التصميم الجيد مطلوبًا حول المكافآت والإشراف. ميزة البيئات هي أنها توفر لك أكثر التحكم والرؤية في سلوك الوكيل مما كانت المقاييس الثابتة قادرة على ذلك.
نظرًا إلى خمسة سنوات вперед، أين ترى باترونوس آي آي من حيث الطموح الفني وتأثير الصناعة؟
نعتقد أن البيئات أصبحت بنية تحتية أساسية لآي آي. مع انتقال الوكلاء من الإجابة على الأسئلة إلى القيام بالعمل الحقيقي، ستشكل البيئات التي يتعلمون منها كيف يصبحون قويين وموثوقين. طموحنا على المدى الطويل هو تحويل سير عمل العالم الحقيقي إلى بيئات منظمة يمكن لوكلاء آي آي التعلم منها بشكل مستمر. الفرق التقليدي بين التقييم والتدريب ينهار، ونعتقد أن هذا التحول سيعرف موجة آي آي القادمة.
شكرًا على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يمكنهم زيارة باترونوس آي آي.
