نافрина سينغ، الرئيس التنفيذي ومؤسس كريدو إيه آي – سلسلة المقابلات

نافрина سينغ هي الرئيس التنفيذي ومؤسس كريدو إيه آي، وهي شركة تصمم منصة حوكمة إيه آي شاملة كخدمة برمجية تتيح للشركات والأفراد فهم إيه آي الموثوقة والأخلاقية بشكل أفضل، والبقاء في طليعة اللوائح والسياسات الجديدة، وإنشاء سجل إيه آي يمكن تدقيقه وشفافية في جميع أنحاء المنظمة. كانت الشركة تعمل في سرية وتبني حافظة عملاء مثيرة للإعجاب تشمل واحدة من أكبر المقاولين الحكوميين وشركات الخدمات المالية في العالم، بالإضافة إلى علامات أخرى من فورتشن 100.

كنتي نشأت في مدينة صغيرة في الهند مع بداية متواضعة، كيف وجدت نفسك متجذرة إلى الهندسة ومجال إيه آي؟

أنا来自 عائلة من الطبقة المتوسطة؛ كان والدي في الجيش لمدة أربعة عقود و كانت أمي معلمة تحولت إلى مصممة أزياء. منذ سن مبكرة، شجعوني دائمًا على فضوليتي، وحبي للاكتشافات العلمية، ووفرولي مكانًا آمنًا لاستكشاف “ماذا لو”.

عندما كنت أكبر في الهند، لم تكن النساء قد مُنحت فرصًا كثيرة مثل الرجال. كانت العديد من القرارات قد تم اتخاذها بالفعل لصالح الفتاة، بناءً على ما كان مقبولًا من قبل المجتمع. الطريقة الوحيدة للخروج والتمتع بحياة جيدة لأسرتك هي من خلال التعليم.

بعد تخرجك من المدرسة الثانوية، اشتريت جهاز الكمبيوتر الأول، والذي كان نافذتي على العالم. كنت حقًا مهتمًا بالعتاد، وقضيت ساعات على الإنترنت أتعلم كيفية فك لوحات الأم، وبناء تطبيقات الروبوتات، و تعلم البرمجة، و إعادة تشكيل الكهرباء في منزلي (ييكس!) والمزيد. أصبحت الهندسة مكانًا آمنًا لي، حيث يمكنني التجربة، و الاستكشاف، و البناء، و الخبرة في عالم أردت أن أكون جزءًا منه من خلال اختراعاتي. كنت مستوحاة ومثيرة للاهتمام حول كيف يمكن أن تكون التكنولوجيا أداة قوية للتأثير، خاصة بالنسبة للنساء.

كنت أحلم دائمًا بالذهاب إلى الولايات المتحدة لإنشاء أساس أقوى في التكنولوجيا لحل أكبر التحديات التي تواجه البشرية. هاجرت هنا في عام 2001، لمواصلة رحلتي الهندسية في جامعة ويسكونسن ماديسون.

على مدار عقدين تقريبًا في الهندسة، كان لي شرف العمل عبر تقنيات متقدمة متعددة، من الهاتف المحمول إلى الواقع المعزز.

في عام 2011، بدأت استكشاف الذكاء الاصطناعي لبناء أعمال جديدة في كوالكوم. كما قضيت وقتًا في بناء أعمال وتطبيقات في إيه آي عبر الكلام والرؤية و نlp في مايكروسوفت و كوالكوم، على مدار العقد الماضي.随着 تعلمي المزيد عن إيه آي والتعلم الآلي، أصبح واضحًا أن هذه التكنولوجيا الجبهوية ستسبب اضطرابًا كبيرًا في حياتنا أكثر مما نستطيع تخيله.

بناء إيه آي على نطاق الشركات جعلني أدرك أيضًا كيف يمكن للتكنولوجيا أن تؤدي خدمة سيئة وتضر الناس والمجتمعات إذا تركت دون رقابة. علينا، كقادة، أن نتحمل مسؤولية شديدة عن التكنولوجيا التي نبنيها. علينا أن نكون استباقيين في تحقيق فوائدها للبشرية وتقليل مخاطرها. بعد كل شيء “ما نصنع، يصنعنا” لذلك، فإن بناء التكنولوجيا بشكل مسؤول هو أمر بالغ الأهمية، وهو ما ألهم المرحلة التالية من مسيرتي في بناء حوكمة إيه آي.

متى بدأت تفكر بجدية حول حوكمة إيه آي؟

في حين كنت رئيسة الابتكار في كوالكوم، كنا نستكشف الإمكانيات التي يمكن أن تُحققها إيه آي لأعمالنا الناشئة. كان عملنا الأولي يركز على الروبوتات التعاونية المستخدمة في سلاسل التوريد. كان هذا أول تعرض لي للخطر “الحقيقي” لإيه آي، خاصة فيما يتعلق بالسلامة الجسدية للبشر الذين يعملون جنبًا إلى جنب مع هذه الأنظمة الروبوتية.

خلال هذا الوقت، قمنا ب passing وقت مع الشركات الناشئة، مثل Soul Machines، لتعلم حالات استخدام جديدة وطرق للشراكة معهم لتسريع عملنا. كان Soul Machines قد أصدر إصدارًا جديدًا من طفلهم العباري، “طفل إكس”. مشاهدة هذا الطفل العباري القوي بالشبكات العصبية، والذي يتعلم بنشاط من العالم المحيط به، جعلني أتوقف وأفكر في العواقب غير المقصودة لهذه التكنولوجيا. كانت ابنتي زيّا مولودة في نفس الوقت، وكنّا قد أطلقنا عليها اسم “طفل ز” بعد طفل إكس من Soul Machines. لقد تحدثت عن هذا كثيرًا، بما في ذلك في مؤتمر وومن إن برو덕ت في عام 2019.

كانت رحلات التعلم لطفل إكس وطفل زي متشابهة بشكل غريب! عندما كانت زيّا تكبر، كنا نزودها بالكلمات الأولية والأدوات للتعلم. مع مرور الوقت، بدأت تفهم العالم وتضع الأشياء معًا بنفسها. كان طفل إكس، طفل الشبكة العصبية، يتعلم أيضًا من خلال مستشعرات الرؤية واعتراف الكلام، وسرعان ما بنى فهمًا عميقًا للعالم البشري.

جعلت هذه اللحظات المبكرة من إيه آي من الواضح لي أن من الضروري العثور على طرق لإدارة المخاطر ووضع حواجز فعالة حول هذه التكنولوجيا القوية لضمان استخدامها من أجل الخير.

يمكنك مشاركة قصة نشأة كريدو إيه آي؟

بعد كوالكوم، تم توظيفي لقيادة تأسيس تكنولوجيا إيه آي في مايكروسوفت في مجموعة التطوير التجاري، ولاحقًا في مجموعة المنتج. خلال فترتي، كان لي شرف العمل على طيف من تكنولوجيا إيه آي مع تطبيقات في حالات استخدام من إيه آي المحادثية إلى ذكاء العقد، ومن التفتيش المرئي إلى اكتشاف المنتجات القوية بالكلام.

然而، بذرة حوكمة إيه آي التي تم زرعها في كوالكوم استمرت في النمو مع استمراري في الشهادة على زيادة “عجز الإشراف” في تطوير تكنولوجيا إيه آي. كما قائد منتج يعمل مع فريق العلوم البيانات والهندسة، كنا محفزين لبناء تطبيق إيه آي عالي الأداء مدفوعًا بالتعلم الآلي ونشره بسرعة في السوق.

كنا نرى الامتثال والحوكمة كفحص بوابة تبطئ وتيرة الابتكار. ومع ذلك، كانت مخاوفي المتزايدة حول عجز الحوكمة بين المحترفين الفنيين ومهنيي الإشراف في المخاطر والامتثال والتدقيق، تحفزني على الاستمرار في استكشاف التحديات في تحقيق حوكمة إيه آي.

جميع الأسئلة غير المجابة حول حوكمة إيه آي دفعتني إلى البحث عن إجابات. لذلك، بدأت أضع الأساس لمنظمة غير ربحية تسمى MERAT (سوق الأدوات الأخلاقية والمسؤولة لإيه آي) بهدف إنشاء نظام بيئي للشركات الناشئة والغلوبال 2000 التي تركز على تطوير إيه آي المسؤول.

من خلال التجارب المبكرة في MERAT، أصبح واضحًا أن هناك فرصة لنا في إنشاء أدوات متعددة الأطراف لتوفير الحوكمة الشاملة لتطبيقات إيه آي و إم إل. كانت هذه الفرصة هي فرصتي لتحقيق مهمة توجيه إيه آي عمدًا.

كانت لدي فرصة للعمل مع AI Fund، وهو حاضنة تأسست بواسطة أندرو إنغ، خبير إيه آي مشهور. كان AI Fund يركز على نفس المواضيع المتعلقة بتدقيق إيه آي والحوكمة التي كنت قد استهلكت بها لمدة عشر سنوات.

تم تأسيس كريدو إيه آي في 28 فبراير 2020، مع تمويل من AI Fund.

كريدو يعني “مجموعة من القيم التي توجيه أفعالك”. مع كريدو إيه آي، رؤيتنا هي تمكين الشركات من إنشاء إيه آي بأعلى المعايير الأخلاقية.

في مقابلة سابقة، ناقشت كيفسيتم الثقة في العلامات التجارية في المستقبل ليس فقط على كيفية بناء وتحديث إيه آي، ولكن على كيفية توسيع نطاق إيه آي بحيث تكون في خدمة البشرية. هل يمكنك توضيح ذلك؟

إيه آي هي واحدة من التكنولوجيات المُغيِرة للعقد هذا وتوفر فرصًا تحويلية للاقتصاد والمجتمع. من المتوقع أن تساهم بحوالي 16 تريليون دولار في الاقتصاد العالمي بحلول عام 2030.

然而، السنوات القليلة الماضية ألقت الضوء على تهديدات إيه آي الكبيرة (وليس روبوتات السيطرة!) التي هي بالفعل هنا. على سبيل المثال، يمكن للخوارزميات القضائية التي تُحسّن من عدم العودة إلى الجريمة (العودة إلى السلوك الإجرامي) أن تعرض التحيز وتنكر الإفراج المشروط لأولئك الذين يستحقون ذلك.

يمكن للخوارزميات الاجتماعية التي تُحسّن من المشاركة أن تقسم أمة.

يمكن للخوارزميات غير العادلة أن تكون سببًا في عدم حصولك على وظيفة أو قبول في الجامعة.

كلما زادت الاستقلالية التي نمنحها لأدواتنا، زادت مدى العواقب غير المقصودة. يولد التأثير غير العادي تأثيرًا غير عادي، ولكن ليس دائمًا التأثير الذي ننويه (أكتب عن هذا في مانيفستو كريدو إيه آي).

أتنبأ بأن الشركات التي تستثمر في حوكمة إيه آي لمساعدتها على بناء التكنولوجيا بشكل مسؤول و التزاماً باستخدام البيانات بشكل أخلاقي، ستكون قادرة على إلهام الثقة عبر أصحاب المصلحة – العملاء، المستهلكين، المستثمرين، الموظفين، وغيرهم.

كيف تساعد كريدو إيه آي في الحفاظ على مسؤولية الشركات؟

المسؤولية تعني التزامًا بالموافقة على مسؤولية أفعالك. في سياق تطوير إيه آي وتنفيذه، هذا يعني أن الشركات لا تحتاج فقط إلى أن تكون متوافقة مع “ما يبدو جيدًا لها”، ولكن اتخاذ خطوات عمدية لتحديد الإجراءات على هذه الأهداف المتوافقة وتحمل مسؤولية النتائج.

تطمح كريدو إيه آي إلى أن تكون مرشدًا للشركات في مبادرات إيه آي الأخلاقية والمسؤولة لتحملها مسؤولية تجاه أصحاب المصلحة المتنوعين: المستخدمين، الموظفين، المنظمين، المدققين، المستثمرين، التنفيذيين، وغيرهم. وبالتالي، رائدة كريدو إيه آي حلًا حقيقيًا ومتواصلًا و شاملًا ومتواصلًا لتسليم إيه آي الأخلاقي والمسؤول في النطاق.

بناء المسؤولية والثقة في إيه آي هو عملية ديناميكية. يجب على المنظمات أن تتوافق على قيم المؤسسة، وترميزها، ودمجها في بنية المنظمة، ومراقبة التأثير، وتكرار العملية مع أصوات متنوعة توفر مدخلات في كل مرحلة. تمكن كريدو إيه آي من هذه المسؤولية من خلال حل شامل و حقيقي لمدة إدارة الامتثال وقياس المخاطر لتوزيعات إيه آي في النطاق.

باستخدام حل حوكمة كريدو إيه آي، يمكن للشركات:

• التوافق على متطلبات الحوكمة لأحوال استخدام إيه آي و نماذجها، مع حزم سياسات قابلة للتخصيص وأدوات دعم القرار لاختيار مقاييس تقييم النموذج.
• تقييم و استجواب البيانات و نماذج إم إل ضد هذه الأهداف المتوافقة
• تحليل المواصفات الفنية إلى تأثير المخاطر الفعلية للأعمال في كل مرحلة من مراحل تطوير و نشر النموذج، بحيث يمكنك التقاط و إصلاح قضايا الحوكمة قبل أن تصبح مشاكل ضخمة

من خلال تسجيل القرارات والإجراءات في كل نقطة، تقوم كريدو إيه آي بتقاطب أصل القرارات التي أدت إلى إنشاء النماذج كدليل. هذا الدليل سيكون سجلاً يتم مشاركته داخليًا مع أصحاب المصلحة في المؤسسة وخارجيًا مع المدققين الذين يبنيون الثقة في نوايا إيه آي.

سيساعد هذا الدليل فرق التطوير على التنبؤ ومنع العواقب غير المقصودة وسيوحد الطريقة التي نقيّم بها فعالية وثقة إيه آي.

نحن في البداية المبكرة لتمكين حوكمة إيه آي من خلال التقييمات الشاملة والضمان، ونحن متحمسون للعمل مع المزيد من الشركات لتعزيز المسؤولية.

كيف تساعد كريدو إيه آي الشركات على التحرك بعيدًا عن كون حوكمة إيه آي بعد الفكر؟

في عالم اليوم، هناك نقص في الوضوح حول ما هو “مسؤول” و “أخلاقي” و “موثوق” إيه آي، وكيف يمكن للشركات تقديم ذلك. نساعد في إعادة صياغة هذا السؤال الرئيسي للشركات، من خلال استخدام منصة كريدو إيه آي كخدمة برمجية لتحديد “اقتصاديات الأخلاقيات”.

مع كريدو إيه آي، يمكن للشركات أن تقدم ليس فقط إيه آي عادلة ومتوافقة ويمكن تدقيقها، ولكنها قادرة على بناء ثقة العملاء.

بناء ثقة العملاء يمكن أن يوسع قاعدة العملاء ويفسح الطريق لمزيد من المبيعات. على سبيل المثال، يمكن للشركات تقديم أفضل تجربة للعملاء الممكنة باستخدام إيه آي الأخلاقي في روبوتات خدمة العملاء، أو استخدام إيه آي بشكل مسؤول لفهم نشاط المستخدم وتقترح محتوى أو منتجات إضافية لهم. العملاء المرضى للغاية يقدمون أفضل الإعلانات من خلال مشاركة تجاربهم مع الأصدقاء والعائلة.

بالإضافة إلى ذلك، يمكن للشركات أن ترى كيف يمكن للتعاون عبر الوظائف الفنية والإشرافية مساعدتها على توفير التكاليف بسبب وقت الامتثال السريع، وإدارة المخاطر المطلع، وخفض المخاطر العلامة التجارية والتنظيمية. نساعد المنظمات على نشر إيه آي الأخلاقي من خلال بناء جسر بين المقاييس الفنية والنتائج التجارية الملموسة. كما يدرك المزيد والمزيد من الناس، فإن الدفاع عن إيه آي الأخلاقي يتطلب أكثر من مجرد وضع علامة على مربع الامتثال التنظيمي. ولكن لديها القوة لتسليم أكثر من مساهمة في عالم أكثر مساواة، وهو ما سيكون نتيجة جيدة بحد ذاتها.

عندما ت坚持 شركة معايير أخلاقية عالية، يمكنها توقع نتائج أعمال حقيقية، مثل زيادة الإيرادات. تحويل المنظور من مفهوم “ناعم” مجرد إلى قرار أعمال موضوعي كان أحد الطرق الرئيسية التي نساعد بها في وضع حوكمة إيه آي كجزء حرج من المحرك الاقتصادي والاجتماعي للشركة.

最近، أنشأت إدارة بايدن اللجنة الاستشارية الوطنية للذكاء الاصطناعي. ما هي الآثار التي تريها لهذا بالنسبة لأعمال إيه آي؟

الحكومات في جميع أنحاء العالم تذهب بقوة على تنظيم إيه آي، والشركات تحتاج إلى الاستعداد. إن إنشاء إدارة بايدن الحكيمة للجنة الاستشارية الوطنية لإيه آي و الاستثمارات في مكتب السياسات العلمية والتكنولوجية في البيت الأبيض هو خطوة جيدة لجلب العمل إلى المناقشات حول مشروع قانون حقوق إيه آي. ومع ذلك، هناك الكثير من العمل الذي يحتاج إلى حدوثه لتحقيق ما يعني إيه آي المسؤول للبلاد والاقتصاد.

أعتقد أن عام 2022 هو موعد الإجراء المسؤول لإيه آي. إنه نداء استيقاظ للشركات التي تهدف إلى تنفيذ أو تعزيز إطارها الأخلاقي لإيه آي. الآن هو الوقت المناسب للشركات لتقييم إطارها الحالي للفجوات، أو، للشركات التي تفتقر إلى نهج، لتنفيذ إطار صلب للحوكمة الموثوقة لتجهيزهم للنجاح في قيادة عصر إيه آي.

نحن نتوقع المزيد من التنظيمات الصلبة واللينة التي تظهر. بالإضافة إلى إجراءات البيت الأبيض، هناك الكثير من الزخم القادم من واضعي السياسات والوكالات الأخرى، مثل مشروع قانون مسؤولية الخوارزمية في مجلس الشيوخ، وتوجيه لجنة التجارة الفيدرالية حول تحيز إيه آي، والمزيد.

إذا قفزنا إلى المستقبل، كيف سيكون أهمية أخلاقيات إيه آي وحوكمتها في غضون خمس سنوات؟

نحن في البداية المبكرة لحوكمة إيه آي. لتوضيح مدى أهمية حوكمة إيه آي، إليك بعض توقعاتي للسنوات القليلة القادمة:

• حوكمة إيه آي الأخلاقية ست trở thành أولوية tổ chức

الشركات تواصل الاستثمار و تحقيق فوائد من استخدام إيه آي في أعمالها. قدّر آيد سي dự أن ينفق على إيه آي 340 مليار دولار في عام 2022. بدون حوكمة، ستتردد الشركات في الاستثمار في إيه آي بسبب مخاوف حول التحيز والأمان ودقة وامتثال هذه الأنظمة.

بدون ثقة، سيتراجع المستهلكون أيضًا عن قبول المنتجات أو المنتجات القائمة على إيه آي أو مشاركة البيانات لإنشاء هذه الأنظمة. خلال السنوات الخمس القادمة، ست trở thành أولوية مجلس الإدارة وأهم متريكة التي يجب على الشركات الإفصاح عنها وتقديم تقارير عنها لتحقيق الثقة عبر أصحاب المصلحة.

• فئات وظيفية جديدة ستنشأ داخل المؤسسة

نحن نشهد بالفعل منظمات متقدمة تعتمد الأخلاقيات تستثمر بكثافة في مستقبل إيه آي لتأمين تطوير تطبيقات إيه آي عادلة ومتوافقة ويمكن تدقيقها.

لقيادة إيه آي، ستحتاج الشركات إلى تسريع التعلم حول منظر إيه آي التنظيمي وتنفيذ هياكل المسؤولية في النطاق.随着 تطور مجال تطبيق إيه آي الأخلاقي، قد تظهر فئة وظيفية جديدة لتسهيل هذه المناقشات وتولي المسؤولية في هذا المجال. يمكن لهذه المكونة الجديدة من القوى العاملة أن تعمل كوسائط بين الفنيين والإشراف، لمساعدة في تطوير معايير وأهداف مشتركة.

• تجارب إيه آي القوية الجديدة ستطالب بحوكمة أكثر صرامة

إدارة العواقب المقصودة وغير المقصودة لإيه آي أمر بالغ الأهمية، خاصة عند دخولنا عالم الميتافيرس وويب 3. مخاطر إيه آي موجودة في العالم الحقيقي وال世界 الافتراضي، ولكنها تزيد في الأخير.

بالغوص في الميتافيرس بدون حوكمة إيه آي، تعرض الشركات عملائها للخطر من تحديات مثل سرقة الهوية والاحتيال. من الضروري حل مشاكل إيه آي والحوكمة في العالم الحقيقي الآن للحفاظ على أمان المستهلكين في الميتافيرس.

• نظم بيئية جديدة في حوكمة إيه آي الأخلاقية ستنشأ

لقد استيقظ العالم على فكرة أن حوكمة إيه آي تمثل الحجر الأساسي لتشغيل إيه آي المسؤول. خلال السنوات القليلة القادمة، سنرى سوقًا تنافسيًا وديناميكيًا لمقدمي الخدمات ي出现 لتقديم أدوات وخدمات وتعليم وقدرات أخرى لدعم هذا الحاجة الهائلة.

بالإضافة إلى ذلك، سنرى أيضًا توحيد وتعزيز منصات إم إل أوبس و ج آر سي الحالية، لجلب قدرات الحوكمة والتقييم إلى إيه آي.

هل هناك أي شيء آخر تود مشاركته حول كريدو إيه آي؟

حوكمة إيه آي الأخلاقية هي استثمار مستقبلي لا يمكنك عدم تجاوزه، واليوم هو أفضل يوم للبدء.

شكرًا على المقابلة المفصلة ومشاركة جميع رؤيتك حول حوكمة إيه آي والأخلاقيات، يجب على القراء الذين يرغبون في معرفة المزيد زيارة كريدو إيه آي.