أرجون نارايان، رئيس الأمن والسلامة العالمي في SmartNews – سلسلة مقابلات

أرجون نارايان، هو رئيس الأمن والسلامة العالمي في SmartNews، وهو تطبيق لمجموعة الأخبار، وهو أيضًا خبير في أخلاقيات الذكاء الاصطناعي والسياسات التكنولوجية. يستخدم SmartNews الذكاء الاصطناعي وفريق تحرير بشري لتحديد الأخبار لمستخدميه.

كنت مساعدًا في إنشاء مركز الأمن والسلامة في آسيا والمحيط الهادئ في سنغافورة، ما هي بعض الدروس المهمة التي تعلمتها من هذه التجربة؟

عند بناء فرق الأمن والسلامة، تكون الخبرة على مستوى البلد حاسمة لأن الإساءة تختلف بشكل كبير بناءً على البلد الذي تنظم فيه. على سبيل المثال، كانت الطريقة التي تم بها استغلال منتجات جوجل في اليابان مختلفة عن الطريقة التي تم بها استغلالها في جنوب شرق آسيا والهند. هذا يعني أن فيكتورات الإساءة تختلف بشكل كبير بناءً على من يقوم بالإساءة وما البلد الذي تقوم به. لذلك، لا يوجد تجانس. كان هذا شيء تعلمناه في البداية.

كما تعلمت أن التنوع الثقافي مهم جدًا عند بناء فرق الأمن والسلامة في الخارج. في جوجل، كنا نضمن وجود تنوع ثقافي وفهم داخل الأشخاص الذين نستأجرهم. كنا نبحث عن أشخاص لديهم خبرة محددة في المجال، ولكن أيضًا خبرة في اللغة والسوق.

كما وجدت أن الغمر الثقافي مهم جدًا. عندما نبنى فرق الأمن والسلامة عبر الحدود، كنا نحتاج إلى ضمان أن فرق الهندسة والأعمال يمكنها الغمر نفسها. هذا يساعد على ضمان أن الجميع أقرب إلى القضايا التي نحاول إدارتها. لفعل ذلك، كنا نقوم بدورات غمر ربع سنوية مع الموظفين الرئيسيين، وهذا ساعد على رفع مستوى الذكاء الثقافي للجميع.

أخيرًا، كانت الفهم الثقافي متقاطع مهم جدًا. كنت أدير فريقًا في اليابان وأستراليا والهند وجنوب شرق آسيا، والطريقة التي تفاعلوا بها كانت مختلفة بشكل كبير. كقائد، تريد ضمان أن الجميع يمكنهم العثور على صوتهم. في النهاية، كل هذا يهدف إلى بناء فريق عالي الأداء يمكن تنفيذ مهام حساسة مثل الأمن والسلامة.

في السابق، كنت أيضًا في فريق الأمن والسلامة مع ByteDance لتطبيق TikTok، كيف يتم رصد مقاطع الفيديو التي غالبًا ما تكون أقصر من دقيقة واحدة بشكل فعال من أجل السلامة؟

أريد إعادة صياغة هذا السؤال قليلاً، لأنه لا يهم حقًا ما إذا كان الفيديو قصيرًا أو طويلًا. هذا ليس عاملاً عند تقييم سلامة الفيديو، وطول الفيديو لا يملك وزنًا حقيقي على ما إذا كان الفيديو يمكن أن ينتشر الإساءة.

عندما أفكر في الإساءة، أفكر في الإساءة على أنها “قضايا”. ما هي بعض القضايا التي يمكن أن يتعرض لها المستخدمون؟ المعلومات الخاطئة؟ المعلومات المضللة؟ سواء كان الفيديو دقيقة واحدة أو ساعة واحدة، لا يزال هناك معلومات خاطئة يتم مشاركتها ومستوى الإساءة يبقى مشابهًا.

اعتمادًا على نوع القضية، تبدأ في التفكير في تنفيذ السياسات وآليات السلامة وكيف يمكن حماية المستخدمين المعرضين للخطر. على سبيل المثال، لنفترض أن هناك فيديو لشخص يقوم ب إيذاء نفسه. عندما نتلقى إشعارًا بوجود هذا الفيديو، يجب علينا التصرف بسرعة، لأن شخصًا ما يمكن أن يفقد حياته. نعتمد كثيرًا على الذكاء الاصطناعي للكشف عن هذا النوع من التحليل. الخطوة الأولى دائمًا هي الاتصال بالسلطات لمحاولة إنقاذ تلك الحياة، لا شيء أكثر أهمية. من هناك، نهدف إلى تعليق الفيديو أو البث المباشر أو الشكل الذي يتم بموجبه مشاركته. نحتاج إلى ضمان أننا نحد من تعرض هذا النوع من المحتوى الضار في أقرب وقت ممكن.

كما هو الحال مع خطاب الكراهية، هناك طرق مختلفة لفك شفرة ذلك. أو في حالة المضايقة والتنمر، يعتمد ذلك على نوع القضية، واعتمادًا على ذلك، سنعدل خيارات تنفيذنا وآليات السلامة. مثال آخر على آليات السلامة الجيدة هو أننا قمنا بتنفيذ الذكاء الاصطناعي الذي يمكن الكشف عن عندما يكتب شخص ما شيء غير لائق في التعليقات ويوفر تذكيرًا لهم للتفكير مرتين قبل نشر ذلك التعليق. لن نمنعهم بالضرورة، ولكن آمالنا هي أن الناس سيفكرون مرتين قبل مشاركة شيء سيء.

ينحصر الأمر في مزيج من الذكاء الاصطناعي وقواعد الكلمات الرئيسية. ولكن عندما يتعلق الأمر بالبث المباشر، كنا لدينا أيضًا مودераторات بشرية لمراجعة تلك البث المباشر التي تم تحديدها بواسطة الذكاء الاصطناعي بحيث يمكنهم الإبلاغ على الفور وتنفيذ البروتوكولات. لأنها تحدث في الوقت الفعلي، لا يكفي الاعتماد على المستخدمين للإبلاغ، لذلك نحتاج إلى وجود بشر يراقبون في الوقت الفعلي.

منذ عام 2021، كنت رئيس الأمن والسلامة وتجربة العملاء في SmartNews، وهو تطبيق لمجموعة الأخبار. هل يمكنك مناقشة كيف يستخدم SmartNews الذكاء الاصطناعي والمعالجة اللغوية الطبيعية لتحديد وتحديد الأولوية للمحتوى الإخباري عالي الجودة؟

المفهوم المركزي هو أن لدينا بعض “القواعد” أو تقنية الذكاء الاصطناعي التي يمكن أن تحلل المقال أو الإعلان وفهم ما هو ذلك المقال.

كلما كان هناك شيء يخالف “قواعدنا”، لنفترض أن هناك شيء غير دقيق أو مضلل، لدينا الذكاء الاصطناعي الذي يمكن أن يحدد ذلك المحتوى إلى محرر بشري في فريقنا التحريري. في تلك المرحلة، يفهمون قيمنا التحريرية ويمكنهم بسرعة مراجعة المقال وصنع حكم حول جودته أو ملاءمته. من هناك، يتم اتخاذ إجراءات لمعالجة ذلك.

كيف يستخدم SmartNews الذكاء الاصطناعي لضمان أن المنصة آمنة وشمولية وموضوعية؟

تأسس SmartNews على فرضية أن التخصيص الفائق جيد للego ولكنه أيضًا يسبب تفرقة بيننا جميعًا من خلال تعزيز التحيزات ووضع الناس في فقاعة مرشحة.

الطريقة التي يستخدم بها SmartNews الذكاء الاصطناعي مختلفة قليلاً لأننا لا نضمن حصريًا للاستخدام. خوارزميتنا تريد فهمك، ولكنها لا تحدد بشكل حقيقي تفضيلاتك. ذلك لأننا نؤمن بتعزيز وجهات النظر. محركنا سوف يقدم لك مفاهيم ومقالات تتجاوز المفاهيم المجاورة.

الفكرة هي أن هناك أشياء يحتاج الناس إلى معرفتها في المصلحة العامة، وهناك أشياء يحتاج الناس إلى معرفتها لتوسيع نطاقهم. التوازن الذي نحاول تحقيقه هو تقديم هذه التحليلات السياقية بدون أن تكون شبيهة بالشخص الكبير. أحيانًا لن يحب الناس الأشياء التي وضعها خوارزميتنا في تغذتهم. عندما يحدث ذلك، يمكن للناس اختيار عدم قراءة ذلك المقال. ومع ذلك، نحن فخورون بقدرة محركنا على تعزيز الصدفة والفضول، أو ما تريد أن تسميه.

من ناحية السلامة، لدى SmartNews ما يسمى “درجة الناشر”، هذا هو خوارزمية مصممة لتقدير باستمرار ما إذا كان الناشر آمنًا أو لا. في النهاية، نريد تحديد ما إذا كان الناشر له صوت مسؤول. على سبيل المثال، يمكننا جميعًا أن نتفق بشكل جماعي على أن ESPN هو سلطة في الرياضة. ولكن إذا كنت مدونة عشوائية تنسخ محتوى ESPN، نحتاج إلى ضمان أن ESPN يحتل مرتبة أعلى من تلك المدونة العشوائية. درجة الناشر تضع في الاعتبار أيضًا عوامل مثل الأصالة ومتى تم نشر المقالات وما يبدو عليه استعراض المستخدمين، إلخ. إنه في النهاية طيف من العوامل التي نضعها في الاعتبار.

شيء واحد يفوق كل شيء هو “ما يريد المستخدم قراءته؟” إذا أراد المستخدم مشاهدة مقالات-clickbait، لن نمنعهم إذا لم يكن ذلك غير قانوني أو يخرق دليلنا. لا نفرض على المستخدم، ولكن إذا كان هناك شيء غير آمن أو غير لائق، لدينا واجبنا قبل أن يصل شيء إلى التغذية.

ما هي وجهات نظرك حول استخدام الصحفيين للذكاء الاصطناعي التوليدي لمساعدتهم في إنتاج المحتوى؟

أعتقد أن هذا السؤال هو سؤال أخلاقي، وشيء نناقشه حاليًا هنا في SmartNews. كيف يجب على SmartNews النظر إلى الناشرين الذين يقدمون محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي التوليدي بدلاً من كتابته الصحفيين؟

أعتقد أن ذلك القطار قد غادر المحطة بالفعل. اليوم، يستخدم الصحفيون الذكاء الاصطناعي لتعزيز كتابتهم. إنه وظيفة من حيث الحجم، لا نملك الوقت في العالم لإنتاج مقالات بمعدل تجاري قابل للتطبيق، خاصة مع استمرار منظمات الأخبار في قطع الموظفين. السؤال يصبح، كم من الإبداع يدخل فيه؟ هل يتم تلميع المقال بواسطة الصحفي؟ أم أن الصحفي يعتمد تمامًا على الذكاء الاصطناعي؟

في هذه المرحلة، لا يمكن للذكاء الاصطناعي التوليدي كتابة مقالات عن أحداث الأخبار الحية لأن هناك لا يوجد بيانات تدريب له. ومع ذلك، يمكنه أن يعطيك قالبًا جيدًا لتفعيله. على سبيل المثال، يمكننا افتراض أن عمليات إطلاق النار في المدارس شائعة، يمكن للذكاء الاصطناعي التوليدي أن يعطيك تلميحًا حول عمليات إطلاق النار في المدارس ويمكن للصحفي إدراج المدرسة التي تم التأثير عليها للحصول على قالب كامل.

من وجهة نظري في العمل مع SmartNews، هناك مبادئان أعتقد أنهم يستحقان النظر فيهما. أولاً، نريد من الناشرين أن يكونوا صريحين في إخبارنا عندما تم إنشاء المحتوى بواسطة الذكاء الاصطناعي، ونريد وضع علامة عليه على أنه كذلك. بهذه الطريقة، عندما يقرأ الناس المقال، لن يكونوا مخدوعين بشأن من كتب المقال. هذا هو الشفافية في أعلى مستوى.

ثانيًا، نريد أن يكون ذلك المقال صحيحًا من الناحية الفعلية. نعرف أن الذكاء الاصطناعي التوليدي يميل إلى اختراع الأشياء عندما يريد، وأي مقال كتب بواسطة الذكاء الاصطناعي التوليدي يحتاج إلى مراجعة بواسطة صحفي أو الموظفين التحريريين.

كانت قد ناقشت سابقًا أن منصات التكنولوجيا يجب أن تتوحد وتوحد معايير مشتركة لمكافحة السمية الرقمية، كم هو مهم هذا الأمر؟

أعتقد أن هذا الأمر مهم جدًا، ليس فقط لأنه يسمح للشركات بالعمل بطرق أخلاقية، ولكن أيضًا للحفاظ على مستوى من الكرامة والاحترام. في رأيي، يجب على المنصات أن تتوحد وتطوير معايير معينة للحفاظ على هذا الإنسانية. على سبيل المثال، لا يجب على أحد تشجيع أي شخص على الانتحار، ولكن في بعض الحالات، نجد هذا النوع من الإساءة على المنصات، وأعتقد أن هذا شيء يجب على الشركات أن تتوحد لمكافحته.

ما هي بعض الطرق التي يمكن أن تعمل بها الشركات الرقمية معًا؟

يجب على الشركات أن تتوحد عندما توجد قيم مشتركة وإمكانية للتعاون. هناك دائمًا مساحات حيث توجد تقاطعات بين الشركات والصناعات، خاصة عند مكافحة الإساءة أو ضمان مدنية المنصات أو تقليل التفرقة. هذه هي اللحظات التي يجب على الشركات فيها العمل معًا.

هناك بالطبع زاوية تجارية مع المنافسة، والمنافسة عادة ما تكون جيدة. تساعد على ضمان القوة والتمايز بين الشركات وتقدم حلولاً بمستوى من الفعالية لا يمكن أن تضمنه الاحتكارات.

لكن عندما يتعلق الأمر بحماية المستخدمين، أو تعزيز المدنية، أو تقليل فيكتورات الإساءة، هذه هي المواضيع التي تهمنا جميعًا. هذه هي الأشياء التي نحتاج إلى القيام بها للحفاظ على ما هو مقدس لنا، وإنسانياتنا. في رأيي، كل المنصات لها مسؤولية للتعاون في الدفاع عن القيم الإنسانية والقيم التي تجعلنا عالمًا حرًا.

ما هي وجهات نظرك الحالية حول الذكاء الاصطناعي المسؤول؟

نحن في بداية شيء شائع جدًا في حياتنا. هذه المرحلة القادمة من الذكاء الاصطناعي التوليدي هي مشكلة لا نفهمها تمامًا أو يمكننا فهمها فقط部分يًا في هذه اللحظة.

عندما يتعلق الأمر بالذكاء الاصطناعي المسؤول، من المهم جدًا أن نطور حواجز قوية، أو قد ننتهي بناءً على وحش فرانكنشتاين من تقنيات الذكاء الاصطناعي التوليدي. نحتاج إلى قضاء الوقت في التفكير في كل شيء يمكن أن ي goes wrong. سواء كان ذلك بسبب انحياز يخترق الخوارزميات أو نماذج اللغة الكبيرة نفسها التي يتم استخدامها بواسطة الأشخاص الخاطئين للقيام بأفعال خاطئة.

الтехنولوجيا نفسها ليست جيدة أو سيئة، ولكن يمكن استخدامها بواسطة أشخاص سيئين للقيام بأشياء سيئة. هذا هو السبب في أن استثمار الوقت والموارد في أخلاقيي الذكاء الاصطناعي لاختبار العدواني وفهم عيوب التصميم هو أمر حاسم. هذا سوف يساعدنا على فهم كيفية منع الإساءة، وأعتقد أن هذا هو الجانب الأكثر أهمية من الذكاء الاصطناعي المسؤول.

لأن الذكاء الاصطناعي لا يزال لا يستطيع التفكير بنفسه، نحتاج إلى أشخاص ذكيين يمكنهم بناء هذه الإعدادات عندما يتم برمجة الذكاء الاصطناعي. الجانب المهم الذي يجب النظر فيه الآن هو الوقت – نحن بحاجة إلى هؤلاء الممثلين الإيجابيين الذين يقومون بذلك الآن قبل فوات الأوان.

على عكس الأنظمة الأخرى التي قمنا بتصميمها وبنائها في الماضي، الذكاء الاصطناعي مختلف لأنها يمكن أن تكرر وتتعلم بنفسها، لذلك إذا لم تقم بتحديد حواجز قوية حول ما وكيف يتم تعلمها، لا يمكننا التحكم في ما قد تصبح.

الآن، نشهد بعض الشركات الكبيرة التي تقوم بتقليص مجالس الأخلاقيات وفرق الذكاء الاصطناعي المسؤول كجزء من عمليات الإقالة الكبيرة. يبقى أن نرى كيف يأخذ هؤلاء الرعايا التكنولوجية هذه التكنولوجيا بجدية وكيف يراجعون النكسات المحتملة للذكاء الاصطناعي في عمليات اتخاذ القرار.

هل هناك شيء آخر تريد مشاركته حول عملك مع SmartNews؟

انضممت إلى SmartNews لأنني أؤمن بمهمتها، ولديها لطافة معينة. أؤمن بقوة أن العالم يصبح أكثر تفرقة، ولا يوجد هناك ما يكفي من أدبية الإعلام اليوم لمكافحة هذا الاتجاه.

للأسف، هناك الكثير من الناس الذين يأخذون رسائل WhatsApp على أنها إنجيل ويؤمنون بها بصدق. هذا يمكن أن يؤدي إلى عواقب كبيرة، بما في ذلك – وخاصة – العنف. كل هذا ي归 إلى أن الناس لا يفهمون ما يمكنهم ولا يمكنهم الإيمان بما يستهلكونه. إذا لم نeducir الناس، أو نطلعهم على كيفية اتخاذ القرارات بشأن موثوقية ما يستهلكونه، إذا لم نقدم مستويات أدبية إعلامية لتمييز الأخبار بين الأخبار والاخبار الكاذبة، سنستمر في الدعوة إلى المشكلة وزيادة القضايا التي علمتنا التاريخ ألا نفعلها.

أحد أهم مكونات عملي في SmartNews هو مساعدة تقليل التفرقة في العالم. أريد أن أ满ي مهمة المؤسس لتحسين أدبية الإعلام حيث يمكنهم فهم ما يستهلكونه واتخاذ آراء مستنيرة حول العالم والمنظورات المتنوعة.

شكرًا على المقابلة الرائعة، القراء الذين يرغبون في التعلم المزيد أو يريدون تجربة نوع مختلف من تطبيقات الأخبار يجب أن يزوروا SmartNews.