ديفيا ناغاسوبرامانيان، نائب الرئيس لتحويل وتحديث الذكاء الاصطناعي – سلسلة مقابلات

ديفيا ناغاسوبرامانيان هي نائب الرئيس لتحويل وتحديث الذكاء الاصطناعي في مؤسسة مالية كبرى في الولايات المتحدة، حيث تقود تصميم ونشر وحوكمة أنظمة الذكاء الاصطناعي الإنتاجية. وهي مؤلفة كتاب الذكاء الاصطناعي العامل للمهندسين (أبريس/سبرينغر نيتشر)، وهو دليل عملي لبناء أنظمة ذكاء اصطناعي مستقلة يمكن الثقة بها في الإنتاج. منذ إطلاقه، سجل الكتاب أكثر من 6,000 وصول مؤسسي على سبرينغر لينك، ووجود في أكثر من 260 مكتبة حول العالم، واعتماد عبر الجامعات. وهي حاملة براءة اختراع من مكتب براءات الاختراع والعلامات التجارية الأمريكي في التعلم الآلي التطبيقي. تشمل اهتماماتها البحثية بناء التطبيقات التي تقاوم هجمات السجن المعادية والاسهام في الجهود الصناعية الأوسع لتطوير نماذج أفضل لأمان وسلامة ثقافية متعددة. وهي خبيرة مطلوبة ومشاركة في العديد من المؤتمرات الصناعية والأكاديمية.

لقد تقدمت مسيرتك المهنية من الاستشارات المؤسسية وعلوم البيانات إلى قيادة تحويل الذكاء الاصطناعي في الخدمات المالية. كيف ساهمت تلك الخبرات في تشكيل كتاب الذكاء الاصطناعي العامل للمهندسين، وما هو الفجوة المتكررة بين أبحاث الذكاء الاصطناعي وتحويله في المؤسسات التي أقنعتك بأن هذا الكتاب يحتاج إلى الكتابة؟

بدأت في عام 2008 ببناء أنظمة محاسبة المحفظة وقياس الأداء لأنصاف البنوك. واحدة من تلك المشاريع كانت محرك متوافق مع GIPS لحساب العائدات الموزونة بالزمن، والتي استخدمتها المؤسسات المالية في أكثر من 80 دولة في النهاية. ذلك العمل علمني درسًا شكّل مسيرتي المهنية كلها. في التمويل المنظم، الفشل الأكثر خطورة هو رقم خاطئ يبدو صحيحًا. حساب خاطئ بشكل خفي يُوثق ويتكرر ويتخذ إجراءات لسنوات، لأن لا شيء يبدو مكسورًا.

رأيت نفس النمط مرة أخرى لاحقًا. وجدت فجوة بنيوية في نموذج ماركوف لنموذج تسويق يعتمد على الارتباط على نطاق واسع. تم استخدام الإطار بواسطة مئات الآلاف من المستخدمين، والخطأ نجح في البقاء لسنوات لأنه يبدو معقولًا. عندما انتقلت إلى تحويل الذكاء الاصطناعي في الخدمات المالية، شاهدت أنظمة العاملين تكرر نفس النمط مع مخاطر أعلى بكثير. لا ينتج العامل فقط نتيجة خاطئة. إنه ي 취عد على أساسها.

الفجوة التي أقنعتني بكتابة الكتاب هي أن البحث وتحويل المؤسسات يهتمان بأشياء مختلفة. يقيس البحث القدرة على المعايير. تعتمد المؤسسات على كيفية سلوك النظام تحت الغموض والبيانات المتغيرة والضغط المعادي. يكتب معظم ما كتب عن الوكلاء يتوقف عند مرحلة العرض. كتبت كتاب الذكاء الاصطناعي العامل للمهندسين للمهندس الذي يجب أن يضع اسمه على نظام سيعمل bajo إشراف محدود داخل مؤسسة منظمة.

يصف الكتاب التحول من التأتم إلى الاستقلالية كعقلية هندسية جديدة. ما هي الفجوة الحقيقية بين وكيل الذكاء الاصطناعي المستقل وعمليات التأتم المتقدمة، وأين من المرجح أن ت混ّ المؤسسات بينهما؟

أعطي الفرق بينهما اختبارًا بسيطًا. هل يمكنك سرد كل مسار يمكن أن يتخذه النظام قبل تشغيله؟ إذا نعم، لديك تأتم. قد يكون التأتم متقدمًا جدًا مع نموذج لغة داخل него، لكنه لا يزال تأتمًا. إذا كان النظام يفكك الأهداف ويفضل الأدوات ويتخذ قرارات حول ترتيب الإجراءات في وقت التشغيل بناءً على سياق لم تخبره به، لديك استقلالية. لا علاقة للفرق بالنموذج الذي تستخدمه. إنه يأتي إلى حيث يتم اتخاذ القرارات.

تخلط المؤسسات بينهما في كلا الاتجاهين، لكن اتجاهًا واحد فقط مكلف. الاتهام.workflow التأتمية بسير عمل وكيل هو في الغالب مشكلة تسويقية. الخطأ المكلف هو العكس. الفرق بينهما يأتي إلى حيث يتم اتخاذ القرارات. مع التأتم، السؤال الرئيسي هو ما إذا كان النظام نفذ بشكل صحيح. مع الاستقلالية، السؤال يصبح ما إذا كان النظام اتخذ القرار بشكل صحيح. يجيب عن ذلك يتطلب أدوات وطرق تقييم مختلفة ومستوى من الحذر.

يعمل العديد من وكلاء الذكاء الاصطناعي بشكل ممتاز في العروض التوضيحية لكنهم يجدون صعوبة عند التعرض للمستخدمين الحقيقيين والبيانات المتغيرة والأدوات غير المتوقعة. ما هي المكونات التي يجب اعتبارها إلزامية في هيكل وكيل إنتاج جاهز؟

الجواب الصادق هو أن الإنتاج يحتاج إلى كل ما يسمح لك بتفويته في العرض التوضيحي. يعمل العرض التوضيحي لأن شخصًا ما سيطر على البيئة. يأخذ الإنتاج ذلك التحكم بعيدًا.

في الكتاب، أصف هيكلًا مرجعيًا من سبعة طبقات، لكن هذه هي المكونات التي أعتبرها إلزامية. عقود أدوات ذات مدخلات وسمات وتصريحات صريحة، بحيث أن مدى الوكيل محدود بالتصميم وليس بالأمل. إدارة الحالة التي تنجو من الانقطاعات والفشل. معالجة فشل منظم مع مسارات تصعيد محددة. حزام تقييم يعمل بشكل مستمر، وليس مرة واحدة قبل الإطلاق. وسجل مراجعة يسجل القرارات والlogic وراءها، وليس فقط الإجراءات المأخوذة.

المكون الذي يتجاوزه الفرق أكثر souvent هو التحقق في وقت التشغيل. هذا هو طبقة تتحقق من كل إجراء ضد الهدف المعلن للوكيل والسياسات التي تنطبق عليه. البنية التحتية القياسية تخبرك ما إذا كان المكالمة ناجحة. التحقق يسأل ما إذا كان يجب أن يتم إجراء المكالمة على الإطلاق. لا يثبت قيمته في عرض توضيحي، لأنه لا يوجد شيء يحتاج إلى الألتقاط. في الإنتاج، إنه أول شيء ستتمنى لو كنت قد حصلت عليه.

يغطي كتابك السلامة والترابط والاتصالات المرتدة والاختبار والتصحيح والتقييم والنشر. كيف يجب على فرق الهندسة الجمع بين هذه العناصر في عملية ضمان مستمرة بدلاً من معاملتها كمراجعة أمنية نهائية قبل الإطلاق؟

المراجعة النهائية تعتمد على افتراض أن النظام الذي قمت بمراجعته هو النظام الذي سيعمل. بالنسبة للوكيل الذكاء الاصطناعي، يفشل ذلك الافتراض بثلاث طرق. يتم تحديث النماذج الأساسية. الأدوات والواجهات البرمجية التي يعتمد عليها الوكيل تتغير. والبيانات والبيئة التي يعمل فيها الوكيل تظل تتغير. المراجعة الأمنية الواحدة تصف نظامًا لا يوجد بعد بضعة أشهر.

الضمان المستمر يعني إغلاق الحلقة. تقييمات السلوك تعمل في التكامل المستمر (CI) بنفس الطريقة التي تعمل بها اختبارات الوحدة، وتحجب كل تغيير لتحفيزات وأدوات ونماذج. يغذي مراقبة وقت التشغيل مسارات الإنتاج إلى مجموعات التقييم. أصف أربعة أنماط مراقبة في الكتاب، لأن نمطًا واحدًا لا يغطي سطح الفشل الكامل. كل حادث ينتج عن تحقق جديد، بنفس الطريقة التي يجب أن ينتج عن كل خطأ اختبار انعكاسي. والاختبار المعادي يعمل على جدول منتظم بدلاً من مرة واحدة قبل الإطلاق.

الجانب التنظيمي يهم كما يهم الجانب الفني. لا يمكن أن تكون السلامة فريقًا منفصلًا يأتي في النهاية مع قائمة مراجعة. يجب على مهندسي بناء الوكيل أن يملكوا مجموعات التقييم الخاصة بهم، وثوابته، وتصميم التصعيد، لأنهم يعرفون أفضل من أي شخص أين يكون حكم النظام أضعف.

لقد شددت على مراقبة دلالية لمكالمات أدوات الوكيل. ما يكشفه مراقبة دلالية لا يمكن أن تكشفه سجلات ومؤشرات تقليدية؟ وكيف يمكنها اكتشاف عندما يعمل الوكيل تقنيًا ولكن يطارد الهدف الخاطئ؟

السجلات التقليدية والمؤشرات ت回答 سؤالًا واحدًا: هل نجحت المكالمة؟ تغطي رموز الحالة والأنماط والكفاءة ومعدلات الخطأ. لا يمكنها الإجابة على السؤال الأكثر أهمية للوكلاء، وهو ما إذا كان يجب أن تحدث المكالمة. يمكن أن تكون مكالمة الأداة تقنية کاملة ولا تزال الإجراء الخاطئ. تنسيق صحيح، بيانات اعتماد صالحة، استجابة ناجحة، الشيء الخاطئ للقيام به.

مراقبة دلالية تقييم كل إجراء ضد الهدف المعلن للوكيل والسياسات التي تنطبق عليه. في الكتاب، أصف ذلك بتعريف الدوال الدلالية على مكالمات أدوات الوكيل. هذه هي الخصائص التي يجب أن تظل سارية مهما كان المسار الذي يتخذه الوكيل. يجب على وكيل البحث في حالة واحدة أبدًا الوصول إلى سجلات خارج هذه الحالة. يجب على الوكيل أن يؤشر عدم الاتساق فوق عتبة معينة، أبدًا حلها بمفرده. عندما يتم انتهاك الدوال الدلالية، تت пойم المشكلة في لحظة الإجراء بدلاً من في مراجعة ربع سنوية.

هذا أيضًا كيف يمكنك اكتشاف انزلاق الهدف، الذي أعتبره الفشل المحدد لأنظمة الوكيل. يبدو انزلاق الهدف وكأنه وكيل يكتمل كل خطوة بشكل صحيح وفقًا للسجلات، بينما يعمل بهدوء نحو الهدف الخاطئ. لا يظهر أبدًا في سجل، لأنه لم يفشل. مراقبة دلالية تعاملت مع النية كشيء تقيسه بشكل مباشر، والنية هي حيث يخطئ الوكلاء.

عندما يواجه الوكيل تعليمات غامضة أو سياسات متعارضة أو أدوات غير متاحة أو ثقة غير كافية، ما يجب أن يبدو عليه التعامل المنظم مع الفشل؟ وكيف يمكن للمطورين ضمان توقف النظام أو تصعيده أو استعادته بدلاً من التلاعب؟

المشكلة التي يجب تصميمها ضدها هي أن معظم الوكلاء لديهم طريقة واحدة فقط لإنهاء مهمة، وهي إنتاج إجابة. عندما تكون التعليمات غامضة أو السياسات متعارضة، يختلق الوكيل. ليس لأن النموذج متعجرف، ولكن لأن الخلق هو السلوك الوحيد الذي يسمح به الهيكل. التعامل المنظم مع الفشل يعني منح النظام خيارات أفضل وجعلها أكثر سهولة من الإجابة المخترعة.

في الممارسة، يعني ذلك أن رفض التصعيد مصمم ومتحقق بنفس العناية مثل النجاح. أوصي بتعريف حالات فشل من النوع: تعليمات غامضة، سياسات متعارضة، أدوات غير متاحة، ثقة غير كافية. كل واحدة منها ترتبط بسلوك محدد. اطلب سؤالًا توضيحيًا. سلم إلى إنسان مع سياق كامل متصل. انخفض إلى تشغيل فقط للقراءة. أعد داخل حدود أكثر صرامة. أو أوقف. يجب أن تتوافق عتبات الثقة مع مخاطر الإجراء المحدد. يجب ألا يكون عتبة صياغة ملخص داخلي وعتبة لمس حساب العملاء أبدًا نفس الرقم.

ممارستان يجعلان هذا حقيقيًا. أولاً، صمم مسار التصعيد قبل مسار السعادة. إذا كان الإنسان سيتلقى التسليم، حدد السياق الذي سيتلقاه قبل كتابة التحفيز الأول. ثانيًا، اختبار الفشل بنفس الطريقة التي تختبر بها الميزات. حقن تعليمات غامضة. تعطيل الأدوات في مرحلة الاختبار. تغذية الوكيل بسياسات متعارضة. نظام لم يمر بفشل أبدًا سيتصرف بدون توجيه في المرة الأولى التي يحدث فيها في الإنتاج.

يجب على المؤسسات المالية موازنة التجربة مع المتطلبات الصارمة حول الخصوصية والمراجعة ومخاطر النماذج والامتثال التنظيمي. أين يجب أن تبقى الموافقة البشرية إلزامية، وأين يمكن للوكلاء أن يمنحوا استقلالية تشغيلية أكبر؟

قاعدي هو أن الموافقة البشرية يجب أن تبقى إلزامية لأي إجراء لا يمكن التراجع عنه، أو الذي يؤثر على نتائج المرضى، أو الذي يتضمن اتصالات العملاء التي تحمل أهمية تنظيمية، أو الذي يغذي التقارير التنظيمية، أو الذي يغير أدوات الوكيل أو سياساته أو صلاحياته. يمكن أن يأخذ الوكلاء المزيد من الاستقلالية في عمل القراءة والاستدلال: البحث والاسترجاع وتحليل الوثائق والترشيح والصياغة والمصالح التي تؤشر الاختلافات لمراجعة بشرية بدلاً من حلها.

الخطأ الشائع هو要求 الموافقة البشرية في كل خطوة. هذا لا يجعل النظام أكثر أمانًا. إنه يعيد إنشاء العملية اليدوية مع خطوات إضافية ويدرب المراجعين على وضع ختم مطاطي. الموافقة تنتمي إلى نقاط اتخاذ القرار الحقيقية. يجب أن يكون هناك القليل منها، وكل منها يجب أن يكون موظّفًا بشخص لديه سلطة حقيقية للقول لا.

المبدأ الآخر هو أن الاستقلالية يجب أن تكتسب وليس أن تمنح. ابدأ بشكل ضيق. توسع عندما يثبت النظام نفسه تحت المراقبة. احتفظ بالدليل. في مصطلحات مخاطر النماذج، يجب أن يسمح لك بيئة التحكم باظهار لمشرف ليس فقط ما فعل الوكيل، ولكن لماذا كنت مبررًا في منحه ذلك المستوى من الاستقلالية. ذلك السجل هو الرخصة الحقيقية للتشغيل.

من خلال عملك على ضمانات الذكاء الاصطناعي والمعايير، تساهم في تحديد القواعد لأنظمة قادرة على التغيير. ما هي الضمانات التي يمكن ت chuẩnيها بشكل واقعي اليوم، وما هي المجالات التي لا تزال تعتمد على السياق والصناعة أو حالة الاستخدام؟

الضمانات التي يمكننا ت chuẩnيها اليوم هي هيكلية. تتطلب أن توجد بعض الضوابط، وتوثق، ويمكن فحصها. حدود القدرة والصلاحيات المصرح بها للنظم المستقلة. آليات الإشراف البشري والتصعيد المحددة. التزامات الكشف عن الحوادث والتقرير. أساليب التقييم ومتطلبات الأدلة. مساءلة واضحة على مدار دورة حياة النظام، بحيث يكون الجواب على من هو المسؤول أبدًا ليس فقط الذكاء الاصطناعي. يمكن ت chuẩnيها لأنها تهتم بوجود الضوابط وكيف جيدة هي، وليس بالقيم الخاصة التي تتبناها.

ما لا يمكننا ت chuẩnيته بعد هو الإعدادات نفسها. عتبات الثقة الخاصة، وتصنيفات الأذى، ومستويات الاستقلالية المناسبة تعتمد بشكل كبير على السياق. التسامح الكافي لفشل وكيل المحتوى التسويقي ونظام يلمس قرارات سريرية أو مالية ليسا نقطتين على نفس السلم. ينتميان إلى أنظمة مختلفة، تشكلها المجال والولاية والشخص الذي يتحمل الأذى عند فشل شيء ما.

الضوابط المالية هي نموذج مفيد هنا. متطلبات المراجعة معيارية على مستوى العالم، ولكن المادية دائمًا تُحكم في السياق. المعايير التي تحترم هذا الانقسام تميل إلى أن تُعتمد. المعايير التي تحاول ديكتات السياق التابع للقيم تميل إلى أن تُ忽ى، و معيار أمان لا يتبعه أحد لا يحمي أحدًا.

لقد قامت بحثك الأخير بفحص متانة الثقافات المتعددة والعدائية في تقييم أمان الذكاء الاصطناعي. ما هي أنواع فشل النماذج التي من المرجح أن يتم تجاهلها بواسطة معايير غربية أو متوسطة عالمية، وكيف يجب على الشركات تقييم الأنظمة المزمع نشرها في عدة ثقافات؟

النظر فقط إلى المعايير المتوسطة يمكن أن يفوت الفشل الذي يهم. يمكن لنظام أن يسجل درجة أمان قوية بشكل عام بينما يفشل بشكل سيئ لغة أو سياق أو ثقافة معينة، لأن تلك الأخطاء تختفي في المتوسط. يضيف التقييم الغربي نقطة عمياء أخرى. إنه يفوت الأذى الذي هو محدد ثقافيًا، مثل الأidioms، والgestures، والسياقات الدينية أو الإقليمية حيث يكون نفس الإخراج أبرياء في ثقافة واحدة ومضرًا في أخرى. كما أنه يختبر رمز التبديل والترجمة والاسماء والكيانات غير الغربية بشكل غير كاف. هناك زاوية معادية أيضًا. المهاجمون لا يهاجمون أداءك المتوسط. إنه يجد شريحتك الأضعف، والتي هي لغة أقل موارد أو سياق ثقافي أقل تقييمًا.

هذا ما جذبني للمساهمة في بحث معايير أمان الذكاء الاصطناعي المتعددة الثقافات. النتيجة الأساسية بسيطة. لا يمكن تقييم الأمان عبر الثقافات بدون بيانات و أحكام بشرية من تلك الثقافات. لا يمكن تقييم الأذى من خارج السياق الذي يحدث فيه.

أوصي الشركات بثلاث قواعد. تقييم كل قطاع تخدمه، وعدم قبول المتوسط كدليل. بناء مجموعات التقييم من سكان العملاء الفعليين. تشغيل الاختبار المعادي في اللغات التي يستخدمها العملاء. إذا خدمت العملاء في 40 دولة وتقييم فقط باللغة الإنجليزية، فقد قمت بتقييم نظامك لتنفيذ شخص آخر.

كما تحمل براءة اختراع من مكتب براءات الاختراع والعلامات التجارية الأمريكي في الذكاء الاصطناعي التطبيقي. ما كان المشكلة التي كنت تحاول حلها، وما علمتك عملية الحصول على براءة الاختراع عن تحويل أبحاث الذكاء الاصطناعي إلى ابتكار عملي، وما هي التحدي غير المحلول لوكيل الذكاء الاصطناعي الذي تهتم به أكثر في معالجته في المرة القادمة؟

البراءة التي تمت الموافقة عليها مؤخرًا ت解决 مشكلة التوسع والاتساق في مراجعة جودة الخدمات المالية – المراجعة التقليدية للمكالمات هي يدوية، لذلك يمكن للمراجعين البشر فقط عينة جزء من المكالمات، وتقييماتهم تختلف من شخص لآخر. اقتربتي إلى هذا بطرق أفضل لكل سؤال جودة وامتثال يوجه إلى الطريقة الأنسب للإجابة عليه، مع كل قرار مسجل ويمكن فحصه لمراجعة.

يمكن رؤية نفس المواضيع التي وصفها في هذا المقابلة. اتبع كل مهمة إلى الأداة الأقل قوة التي يمكنها القيام بها. احتفظ بالبشر في الحلقة حيث يهم الحكم. واجعله كل قرار آلي مسجلًا ويمكن فحصه، لأن في مؤسسة منظمة، إجابة بدون دليل ليست إجابة.

ما علمتني إياه عملية البراءة هو أن الانضباط في التفاصيل. لا يمكنك براءة اختراع فكرة غامضة. يجب عليك أن تظهر بالضبط ما تفعله طريقة مختلفة، وأين تطبق بالضبط. هذا الدقة القسري الذي جعل العمل الأساسي أفضل.

التحدي غير المحلول الذي اهتم به الآن هو التحقق في وقت التشغيل لأنظمة الوكلاء المتعددة. تحديد الدوال الدلالية لوكيل واحد هو قابل للتحقيق. أعرف، لأننا نفعل ذلك في الإنتاج. عندما يوفد الوكلاء مهامًا إلى وكلاء آخرين، يصبح السلوك متأثرًا، والفشل يتحرك إلى التوصيلات. يتم تفسير التعليمات بشكل طفيف في كل خطوة. تطبق السياسة على وكيل واحد ولكن ليس على الوكيل الذي يتعاقد معه. التحقق من التفاعل بين الوكلاء، وليس فقط إجراءات كل واحد منهما، هو حيث أتوقع أن تظهر الجيل القادم من الفشل الصامت. هذا هو المشكلة التي أريد العمل عليها في المرة القادمة.

شكرًا على المقابلة الرائعة، يمكن للقارئين أيضًا طلب كتابها الذكاء الاصطناعي العامل للمهندسين.