روان ستيوارت، مدير عام منتجات، أمان و منصة الذكاء الاصطناعي في ترانسند – سلسلة المقابلات

روان ستيوارت، مدير عام منتجات، أمان و منصة الذكاء الاصطناعي في ترانسند، يرأس مبادرات المنتجات التي تركز على مساعدة المنظمات في اكتشاف، وحوكمة، و استخدام البيانات بأمان في أنظمة الذكاء الاصطناعي. وهي تحمل أكثر من عقد من الخبرة في تطوير المنتجات التي تستخدم الذكاء الاصطناعي و التعلم الآلي، و البرمجيات المؤسسية، و معالجة اللغة الطبيعية، و استراتيجية البيانات، و قيادة المنتجات من الصفر إلى واحد. قبل انضمامه إلى ترانسند، قضى ستيوارت ما يقرب من ست سنوات في بي سي جي إكس، حيث ساعد الشركات الكبيرة في تطوير استراتيجيات الذكاء الاصطناعي، و إعادة اختراع العمليات الداخلية، و بناء المنتجات المصممة لتسليم نتائج أعمال قابلة للقياس. في وقت سابق من مسيرته المهنية، قام بإدارة تطوير واجهات برمجة التطبيقات لمعالجة اللغة الطبيعية لاستخبارات المؤثرين، بما في ذلك تحليل المزاج، و خرائط المعرفة، و تقييم الشخصية، و كشف البوتات، و سمات السلامة للعلامة التجارية.

ترانسند هو المنصة الذكية الوحيدة التي ت回答 سؤالاً “هل يمكنني استخدام هذه البيانات؟” لتوسيع نمو العملاء. تستخدم الشركات في قائمة فورتشن 500 و قادة الفئات الناشئة ترانسند لتضمين أذونات استخدام البيانات مباشرةً في الأنظمة المؤسسية التي تعالج بيانات العملاء، و تقديم مصدر حقيقي للصحة في الوقت الفعلي للاستخدام، و التفضيلات، و القواعد التجارية. و النتيجة هي جودة بيانات فائقة، و استخدام أخلاقي يحمي العلامة التجارية، وامتثال جاهز للتدقيق على نطاق واسع. مع ترانسند، يمكن للشركات解 锁 الإيرادات من الذكاء الاصطناعي، و التخصيص، و مبادرات البيانات الأولى مع الثقة. تأسست ترانسند في عام 2017 من قبل بن بروك (الرئيس التنفيذي) و مايك فاريل (مدير التكنولوجيا)، و يقع مقرها الرئيسي في منطقة خليج سان فرانسيسكو.

قضيت ما يقرب من ست سنوات في بي سي جي إكس مساعدة أكبر الشركات في العالم في نشر حلول الذكاء الاصطناعي و التعلم الآلي قبل الانتقال إلى أمان و حوكمة الذكاء الاصطناعي في ترانسند. ما هي حالات الفشل المتكررة في الحوكمة أو النقاط العمياء التي لاحظتها التي أقنعتك بأن حوكمة الذكاء الاصطناعي تحتاج إلى بناء في الأنظمة من اليوم الأول بدلاً من إضافتها في وقت لاحق؟

في بي سي جي، عملت مع شركات في كل مرحلة من مراحل نضج الذكاء الاصطناعي، و لاحظت نمطاً واحداً: الحوكمة تظهر دائمًا متأخرة. الفرق تتحرك بسرعة لتسليم نموذج أو منتج، و مناقشة أذونات البيانات، أو الموافقة، أو الإشراف تظهر في الواقع في بؤرة الاهتمام ngay قبل الإنتاج و تشعر وكأنها “مصيد” ما يتم بناؤه في ذلك الوقت يعتبر تصحيحاً على نظام لم يصمم قط مع الحوكمة في الاعتبار.

هذا جزء من سبب حماسي للانضمام إلى ترانسند. نصيحة الشركات على ما يجب أن يفعلوه لا يذهب إلى حد بعيد. أردت مساعدة بناء البنية التحتية التي تجعل الحوكمة هي الخيار السهل.

كثير من المنظمات تتنافس في نشر وكلاء الذكاء الاصطناعي عبر دعم العملاء، و العمليات، و أعمال المعرفة. كيف تختلف حوكمة وكلاء الذكاء الاصطناعي المستقلين عن حوكمة الأنظمة البرمجية التقليدية أو حتى أجيال سابقة من نماذج الذكاء الاصطناعي؟

معظم هندسة أمان المؤسسات تفترض أن هناك إنسانًا على الطرف الآخر من كل عمل، و أن هذا الإنسان يمكن تحديده، و ثقته، و عندما يحدث خطأ، يمكن مساءلته. لكن الوكلاء ليسوا أشخاصاً. يتصرفون بمفردهم، و يوفرون مهام إلى وكلاء آخرين، و يرتبطون القرارات معًا في طرق نادراً ما تتماشى مع شخص مسؤول واحد.

منح وكيل نفس الأذونات الثابتة التي تمنحها لموظف يخلق اختلافاً لأن الوكلاء يفتقرون إلى الحس السليم. الحوكمة يجب أن تقيم الإجراء المحدد الذي سيقوم به الوكيل، في تلك اللحظة، مع تلك البيانات المحددة. معظم الشركات لا تزال تعمل وفق كتاب إدارة الهوية و الوصول الذي بنته للبشر، و سوف يكتشفون الفجوة عندما يتجاوز نشر الوكيل حوكمة بنيت لمواجهته.

لقد عملت عبر موجات متعددة من الابتكار في الذكاء الاصطناعي، من منتجات معالجة اللغة الطبيعية و منصات استخبارات المؤثرين إلى مبادرات تحول المؤسسات بالذكاء الاصطناعي. كيف تطور الحديث حول أمان الذكاء الاصطناعي خلال العقد الماضي، و ما المخاوف التي لا تزال تقلقك أكثر؟

مقارنة الذكاء الاصطناعي اليوم (و الذكاء الاصطناعي غدا!) بالاجيال السابقة ممتع لأنها مجال يتحرك بسرعة فائقة. التطورات الأكثر أهمية في السنوات القليلة الماضية كانت بالطبع صعود الوكلاء و أهمية إدارة الذاكرة الطويلة الأمد (OpenClaw، على سبيل المثال!). هذه الوكلاء قادرة على القيام بكثير أكثر من ذي قبل، و بجودة أعلى، مما يجعلها أكثر قيمة، و بالطبع أكثر مخاطر.

كلما زادت أنظمة الذكاء الاصطناعي في اتخاذ القرارات باستخدام بيانات العملاء و المؤسسات، ما هي أكبر المفاهيم الخاطئة التي لديها الشركات حول الموافقة، و الأذونات، و حوكمة البيانات في البيئات التي تقودها الذكاء الاصطناعي؟

المفهوم الخاطئ الأكثر شيوعاً هو معاملة الموافقة على أنها شيء يتم التقاطه مرة واحدة و توفيره. ي同意 العميل مع مجموعة من الشروط عند التسجيل، و تفترض الشركات أن هذا الاتفاق ساري المفعول إلى الأبد، بغض النظر عن كيفية تحرك البيانات بعد ذلك أو أي أنظمة جديدة ستنتهي بهم. الموافقة تحتاج إلى السفر مع البيانات. إذا قام شخص ما بتحديث تفضيلاته، أو تغيير لوائح جديدة ما يسمح به، فيجب أن يظهر هذا التغيير في كل مكان تعيش فيه البيانات، و ليس فقط في النظام الذي تم فيه التقاط الموافقة في البداية.

المفهوم الخاطئ الثاني هو معاملة الأذونات على أنها تفاصيل تقنية التي يتعامل معها فريق الأمان أو القانون في الخلفية. عندما تبدأ أنظمة الذكاء الاصطناعي في اتخاذ قرارات بناءً على تلك البيانات، تصبح أذوناتها سؤالاً عن المنتج و الأعمال، و أي فجوات فيها تُورث مباشرةً إلى أي مبادرة للذكاء الاصطناعي التي تقع فوقها.

ما زالت العديد من المؤسسات تعتمد على السياسات الثابتة و المراجعات الامتثالية الدورية. لماذا تُصاب هذه المناهج بالعجز في عصر يمكن للأنظمة الذكاء الاصطناعي أن تتعلم و تتحول و تتفاعل مع وكلاء آخرين بشكل مستمر؟

السياسة الثابتة تلتقط ما يبدو النظام، و ما يعتبر مقبولاً، في اللحظة التي يتم فيها كتابته. الذكاء الاصطناعي لا يبقى ساكناً لفترة كافية لتبقى صورة هذا اللقطة دقيقة. النموذج الذي تم كتابة السياسة من أجله قد لا يكون هو النموذج الذي تقوم بتشغيله بعد ستة أشهر، و لا يمكن لمراجعة الامتثال كل ثلاثة أشهر أو سنوياً أن تظل متقدمة مع نظام يأخذ القرارات و يتكيف طوال الوقت.

حوكمة شيء يتحرك بسرعة这样 تتطلب سياسة تتحرك بنفس السرعة. هذا يعني فرض الحوكمة في النقطة التي يتم فيها استخدام البيانات بالفعل، و في الوقت الفعلي، بدلاً من فحصها بعد الحادث ضد وثيقة كانت بالفعل قديمة في اليوم الذي تم نشرها.

ما هو مظهر الحوكمة الفعالة عندما تبدأ المنظمات في نشر شبكات من وكلاء الذكاء الاصطناعي التي تتعاون مع بعضها البعض و تصل إلى أنظمة داخلية متعددة؟

هنا تظهر حدود هندسة الأمان التقليدية. قد يكون وكيل مخولاً لقراءة سجل، و استدعاء أداة، و تسليم النتائج إلى وكيل آخر، و كل خطوة من هذه الخطوات يمكن أن تبدو معقولة بمفردها. الإجراء المركب (الشيء الذي حدث في الواقع بعد ربط هذه الخطوات معاً) غالباً ما يكون شيئاً لم يتم الموافقة عليه صراحةً من قبل أي شخص. يمكن للتحكم في الهوية و الوصول التقليدية أن يؤكد ما إذا كان وكيل قد تمت الموافقة عليه لمس نظام، و لكن لديها القليل من القول فيما إذا كانت البيانات التي تم لمسها قد تم جمعها تحت موافقة تغطي هذا الاستخدام، أو ما إذا كان الإجراء المتسلسل الذي حدث كان شيئاً وافق عليه شخص ما.

تركز ترانسند على دمج أذونات استخدام البيانات مباشرةً في سير عمل المؤسسات. ما مدى أهمية بنية الحوكمة في الوقت الفعلي عندما تتحرك المنظمات من تجربة الذكاء الاصطناعي إلى نشر على نطاق الإنتاج؟

أثناء الاختبار، يمكن لفريق أن يعتمد على المراجعات اليدوية و المراجعات الدورية، لأن المخاطر منخفضة. في الإنتاج، و خاصة مع وكلاء الذكاء الاصطناعي، ينهار هذا لأن النطاق ضخم. نظام اليوم من قوائم المراجعة و الاجتماعات هو خاسرة خاسرة. يحصل فريق الأمان و الأمان على وعداً بالسراويل مع أي حوكمة مستمرة، في حين يلتزم فريق المنتج بمراجعات يدوية متعبة لا تقدم أي قيمة حقيقية للمستخدم النهائي. هذا هو عندما تصبح البنية في الوقت الفعلي هي الطريقة الوحيدة التي تعمل. فرض الأذونات في لحظة تحرك البيانات أو اتخاذ القرار، بدلاً من إعادة بناء ما حدث بعد أن حدث بالفعل، هو ما يجعل الحوكمة ذات معنى للامتثال، و قيمة للمستخدمين.

ما هي المخاطر الأكثر أهمية المرتبطة بوكلاء الذكاء الاصطناعي خلال السنوات الثلاث إلى الخمس القادمة، و أي من هذه المخاطر يتم تقليل تقديرها حالياً من قبل قادة الأعمال؟

أعتقد أن نموذج وكلاء наследة أذونات المستخدم أكثر خطورة مما ندركه. البشر لديهم الحكم، و لكن الذكاء الاصطناعي سوف يتبع تعليماتك حتى لو كانت خاطئة.

كيف يجب على فرق المنتجات موازنة الضغط لنشر ميزات الذكاء الاصطناعي بسرعة مع الحاجة إلى إنشاء إطارات الحوكمة و الشفافية و المساءلة؟

أعتقد أن هناك شيء ملموس هو إصلاح ما أسميه “ضريبة السلوك”. لقد قمنا بتعديل استجاباتنا بسرعة لتخفيض صحة و قيمة مخرجات الذكاء الاصطناعي. هذا هو السبب في أن الجميع ينصحونك بإزالة الشرطات المزدوجة (حتى لو كانت مناسبة) و أن موقعًا يستخدم لوحة الألوان القياسية لشركة Claude يبدو رخيصًا (حتى لو كان يبدو جيدًا) و أن المعلومات المقدمة من قبل الذكاء الاصطناعي تعامل على أنها مشبوهة (حتى لو كانت صحيحة). هذا يؤثر على القيمة المتصورة لمنتجك.

الإصلاح لضريبة السلوك هو في الواقع حوكمة أفضل و شفافية. على سبيل المثال، قمنا مؤخرًا بشحن ميزة تسمى استخدام الذكاء الاصطناعي للبائع، التي تسحب المعلومات المتاحة علنًا حول ميزات الذكاء الاصطناعي و موقف الحوكمة لشركات رائدة، لمساعدة فرق تمكين الذكاء الاصطناعي و الأمان و الشراء في عملها بشكل أسرع. لقد وجدنا أن استخدام إطار تنسيق متعدد الوكلاء، إلى جانب جمع و تقديم الأدلة مع روابط مصدر و اقتباسات لأبحاثهم، أدى إلى تحسين كبير في جودة نتائجنا. هذه ممارسة جمع الأدلة و جودة الوكيل هي فوز-فوز لأن النتائج الفعلية للمستخدم أفضل، و الامتثال أكثر صلابة.

متى نتطلع إلى الأمام، هل تعتقد أن حوكمة الذكاء الاصطناعي سوف تصبح في النهاية ميزة تنافسية بدلاً من مجرد متطلب امتثال، و ما الذي سوف يفرق بين المنظمات التي تحصل عليها بشكل صحيح و تلك التي تتراجع؟

أعتقد ذلك، و يعود إلى نفس النمط الذي لاحظته في بي سي جي. الشركات التي تعاملت مع الحوكمة على أنها شيء يضاف بعد أن يكون المنتج بالفعل في السوق دائمًا ما تُضطر إلى التوقف في آخر دقيقة قبل التوسع، و تميل إلى انتهي بهم إلى “جحيم التجارب”. الشركات التي تبني الحوكمة في النظام من اليوم الأول قادرة على التحرك بثقة لا يمتلكها الآخرون، لأنهم لا يสงون دائمًا عما سيجدونه عندما ينظرون أخيراً إلى كيفية استخدام الذكاء الاصطناعي البيانات بالفعل.

هذا الفجوة سوف تتسع فقط مع تسارع نشر الوكلاء. الشركات التي تتنافس أسرع في نشر الوكلاء دون إعادة التفكير في كيفية تأمين هذه الوكلاء هي الأكثر احتمالاً للتعرض للمشاكل، و عندما يفعلون ذلك، ستكون الشركات التي حصلت على البنية التحتية بشكل صحيح ستكون بالفعل تعمل بسرعة لا يستطيعون مطابقتها بسهولة. الحوكمة تتوقف عن كونها بند امتثال بمجرد أن تصبح هي الشيء الذي يسمح لك بنشر الذكاء الاصطناعي بشكل أسرع و بأكثر ثقة من كل من لا يزالون يفعلون ذلك يدوياً.

شكراً على المقابلة الرائعة، و يرغب القراء في معرفة المزيد فيزيروا ترانسند.