مقابلات
أرجون نارايان ، رئيس الثقة العالمية والسلامة في SmartNews - سلسلة مقابلات
أرجون نارايان، هو رئيس الثقة العالمية والسلامة في SmartNews تطبيق لتجميع الأخبار ، وهو أيضًا خبير في أخلاقيات الذكاء الاصطناعي وسياسة التكنولوجيا. تستخدم سمارت نيوز الذكاء الاصطناعي وفريق تحرير بشري لتجميع الأخبار للقراء.
لقد لعبت دورًا فعالًا في المساعدة في إنشاء مركز Google Trust & Safety في منطقة آسيا والمحيط الهادئ في سنغافورة ، ما هي بعض الدروس الرئيسية التي تعلمتها من هذه التجربة؟
عند بناء فرق الثقة والأمان ، تعد الخبرة على مستوى الدولة أمرًا بالغ الأهمية لأن الإساءة تختلف كثيرًا بناءً على الدولة التي تنظمها. على سبيل المثال ، كانت طريقة إساءة استخدام منتجات Google في اليابان مختلفة عن طريقة إساءة استخدامها في جنوب شرق آسيا والهند. هذا يعني أن نواقل الإساءة مختلفة تمامًا اعتمادًا على من يقوم بالإساءة والبلد الذي تقيم فيه ؛ لذلك ليس هناك تجانس. كان هذا شيئًا تعلمناه مبكرًا.
تعلمت أيضًا أن التنوع الثقافي مهم للغاية عند بناء فرق الثقة والأمان في الخارج. في Google ، حرصنا على وجود ما يكفي من التنوع الثقافي والتفاهم بين الأشخاص الذين وظفناهم. كنا نبحث عن أشخاص لديهم خبرة في مجال معين ، ولكن أيضًا عن خبرة في اللغة والسوق.
لقد وجدت أيضًا أن الانغماس الثقافي مهم للغاية. عندما نبني فرق الثقة والأمان عبر الحدود ، احتجنا إلى التأكد من أن فرق العمل والهندسة لدينا قادرة على الانغماس في نفسها. يساعد هذا في ضمان أن يكون الجميع أقرب إلى المشكلات التي كنا نحاول إدارتها. للقيام بذلك ، أجرينا جلسات انغماس فصلية مع الموظفين الرئيسيين ، وقد ساعد ذلك في رفع معدلات الذكاء الثقافي لدى الجميع.
أخيرًا ، كان الفهم بين الثقافات مهمًا جدًا. لقد أدرت فريقًا في اليابان وأستراليا والهند وجنوب شرق آسيا ، وكانت الطريقة التي تفاعلوا بها مختلفة تمامًا. كقائد ، فأنت تريد التأكد من أن كل شخص يمكنه التعبير عن آرائه. في النهاية ، تم تصميم كل هذا لبناء فريق عالي الأداء يمكنه تنفيذ المهام الحساسة مثل الثقة والأمان.
في السابق ، كنت أيضًا عضوًا في فريق Trust & Safety مع ByteDance لتطبيق TikTok ، كيف تتم مراقبة مقاطع الفيديو التي غالبًا ما تكون أقصر من دقيقة واحدة بشكل فعال من أجل السلامة؟
أريد إعادة صياغة هذا السؤال قليلاً ، لأنه لا يهم حقًا ما إذا كان الفيديو قصيرًا أم طويلًا. هذا ليس عاملاً عندما نقوم بتقييم سلامة الفيديو ، والطول ليس له وزن حقيقي فيما إذا كان الفيديو يمكن أن ينشر إساءة.
عندما أفكر في الإساءة ، أفكر في الإساءة على أنها "قضايا". ما هي بعض المشكلات التي يتعرض لها المستخدمون؟ معلومات مضللة؟ التضليل؟ سواء كان الفيديو مدته دقيقة واحدة أو ساعة واحدة ، فلا يزال هناك معلومات خاطئة يتم مشاركتها ويظل مستوى الإساءة قابلاً للمقارنة.
اعتمادًا على نوع المشكلة، عليك أن تبدأ في التفكير من خلال إنفاذ السياسة وحواجز السلامة وكيفية حماية المستخدمين المعرضين للخطر. على سبيل المثال، لنفترض أن هناك مقطع فيديو لشخص يرتكب إيذاء نفسه. عندما نتلقى إشعارًا بوجود هذا الفيديو، يجب على المرء أن يتصرف بشكل عاجل، لأن شخصًا ما قد يفقد حياته. نحن نعتمد كثيرًا على التعلم الآلي للقيام بهذا النوع من الكشف. الخطوة الأولى هي الاتصال دائمًا بالسلطات لمحاولة إنقاذ تلك الحياة، فلا شيء أكثر أهمية. ومن هناك، نهدف إلى تعليق الفيديو أو البث المباشر أو أي تنسيق تتم مشاركته به. نحن بحاجة إلى التأكد من أننا نعمل على تقليل التعرض لهذا النوع من المحتوى الضار في أسرع وقت ممكن.
وبالمثل ، إذا كان الكلام يحض على الكراهية ، فهناك طرق مختلفة لتفكيكه. أو في حالة التنمر والمضايقة ، يعتمد الأمر حقًا على نوع المشكلة ، واعتمادًا على ذلك ، سنقوم بتعديل خيارات الإنفاذ وحواجز الأمان. مثال آخر على حواجز الأمان الجيدة هو أننا قمنا بتطبيق التعلم الآلي الذي يمكن أن يكتشف عندما يكتب شخص ما شيئًا غير مناسب في التعليقات ويقدم موجهًا لجعله يفكر مرتين قبل نشر هذا التعليق. لن نوقفهم بالضرورة ، لكن كان أملنا أن يفكر الناس مرتين قبل مشاركة شيء لئيم.
يتعلق الأمر بمزيج من التعلم الآلي وقواعد الكلمات الرئيسية. ولكن عندما يتعلق الأمر بالبث المباشر ، فقد كان لدينا أيضًا مشرفون بشريون يراجعون التدفقات التي تم الإبلاغ عنها بواسطة الذكاء الاصطناعي حتى يتمكنوا من الإبلاغ على الفور وتنفيذ البروتوكولات. نظرًا لأنها تحدث في الوقت الفعلي ، فلا يكفي الاعتماد على المستخدمين للإبلاغ ، لذلك نحتاج إلى مراقبة البشر في الوقت الفعلي.
منذ عام 2021 ، كنت رئيس قسم الثقة والأمان وتجربة العملاء في SmartNews ، وهو تطبيق لتجميع الأخبار. هل يمكنك مناقشة كيف تستفيد SmartNews من التعلم الآلي ومعالجة اللغة الطبيعية لتحديد المحتوى الإخباري عالي الجودة وتحديد أولوياته؟
المفهوم الأساسي هو أن لدينا "قواعد" معينة أو تقنية تعلم الآلة يمكنها تحليل مقالة أو إعلان وفهم موضوع هذه المقالة.
عندما يكون هناك شيء ما ينتهك "قواعدنا" ، دعنا نقول أن شيئًا ما غير صحيح أو مضلل من الناحية الواقعية ، لدينا علامة تعلم الآلة عن هذا المحتوى لمراجع بشري في فريق التحرير لدينا. في تلك المرحلة ، يفهمون قيمنا التحريرية ويمكنهم مراجعة المقالة بسرعة وإصدار حكم بشأن ملاءمتها أو جودتها. من هناك ، يتم اتخاذ الإجراءات لمعالجتها.
كيف تستخدم SmartNews الذكاء الاصطناعي لضمان أن تكون المنصة آمنة وشاملة وموضوعية؟
تأسست سمارت نيوز على أساس أن التخصيص المفرط مفيد للأنا ولكنه أيضًا يستقطبنا جميعًا من خلال تعزيز التحيزات ووضع الناس في فقاعة تصفية.
تختلف الطريقة التي تستخدم بها SmartNews الذكاء الاصطناعي بعض الشيء لأننا لا نقوم بتحسين التفاعل بشكل حصري. تريد خوارزميتنا أن تفهمك ، لكنها ليست بالضرورة شديدة التخصيص حسب ذوقك. هذا لأننا نؤمن بتوسيع الآفاق. سيقدم لك محرك الذكاء الاصطناعي لدينا مفاهيم ومقالات تتجاوز المفاهيم المجاورة.
الفكرة هي أن هناك أشياء يحتاج الناس إلى معرفتها في المصلحة العامة ، وهناك أشياء يحتاج الناس إلى معرفتها لتوسيع نطاقهم. التوازن الذي نحاول تحقيقه هو توفير هذه التحليلات السياقية دون أن نكون أخوين. أحيانًا لا يحب الناس الأشياء التي تضعها الخوارزمية في خلاصتهم. عندما يحدث ذلك ، يمكن للأشخاص اختيار عدم قراءة تلك المقالة. ومع ذلك ، نحن فخورون بقدرة محرك الذكاء الاصطناعي على تعزيز الصدفة والفضول ، وأيًا كان ما تريد تسميته.
فيما يتعلق بالجانب الأمني للأشياء ، تمتلك SmartNews شيئًا يسمى "نقاط الناشر" ، وهي خوارزمية مصممة لتقييم ما إذا كان الناشر آمنًا أم لا. في النهاية ، نريد تحديد ما إذا كان للناشر صوت موثوق. على سبيل المثال ، يمكننا أن نتفق جميعًا بشكل جماعي على أن ESPN هي سلطة مختصة بالرياضة. ولكن ، إذا كنت تقوم بنسخ محتوى ESPN بشكل عشوائي ، فنحن بحاجة إلى التأكد من أن ESPN تحتل مرتبة أعلى من تلك المدونة العشوائية. تراعي درجة الناشر أيضًا عوامل مثل الأصالة ، عند نشر المقالات ، وكيف تبدو مراجعات المستخدمين ، وما إلى ذلك. إنها في النهاية مجموعة من العوامل التي نضعها في الاعتبار.
الشيء الوحيد الذي يتفوق على كل شيء هو "ما الذي يريد المستخدم قراءته؟" إذا أراد المستخدم عرض مقالات clickbait ، فلن نوقفها إذا لم تكن غير قانونية أو خالفت إرشاداتنا. نحن لا نفرض على المستخدم ، ولكن إذا كان هناك شيء غير آمن أو غير مناسب ، فنحن لدينا العناية الواجبة قبل أن يصل شيء ما إلى الخلاصة.
ما هي آرائك حول الصحفيين الذين يستخدمون الذكاء الاصطناعي التوليدي لمساعدتهم في إنتاج المحتوى؟
أعتقد أن هذا السؤال هو سؤال أخلاقي ، وهو شيء نناقشه حاليًا هنا في SmartNews. كيف يجب أن تعرض SmartNews الناشرين الذين يقدمون المحتوى الذي تم تكوينه بواسطة الذكاء الاصطناعي التوليدي بدلاً من أن يكتبه الصحفيون؟
أعتقد أن القطار غادر المحطة رسميًا. اليوم ، يستخدم الصحفيون الذكاء الاصطناعي لتعزيز كتاباتهم. إنها دالة على نطاق واسع ، ليس لدينا الوقت في العالم لإنتاج مقالات بسعر قابل للتطبيق تجاريًا ، خاصة وأن المؤسسات الإخبارية تواصل تقليص عدد الموظفين. يصبح السؤال بعد ذلك ، ما مقدار الإبداع في هذا؟ هل المقال مصقول من قبل الصحفي؟ أم أن الصحفي معتمد كليًا؟
في هذا المنعطف ، لا يمكن للذكاء الاصطناعي التوليدي كتابة مقالات عن الأحداث الإخبارية العاجلة لأنه لا توجد بيانات تدريبية لها. ومع ذلك ، لا يزال بإمكانه أن يمنحك نموذجًا عامًا جيدًا للقيام بذلك. على سبيل المثال ، تعتبر عمليات إطلاق النار في المدارس شائعة جدًا ، ويمكننا أن نفترض أن الذكاء الاصطناعي التوليدي يمكن أن يعطي الصحفي موجهًا بشأن إطلاق النار في المدرسة ويمكن للصحفي إدخال المدرسة التي تأثرت للحصول على نموذج كامل.
من وجهة نظري في العمل مع سمارت نيوز ، هناك مبدأان أعتقد أنهما يستحقان النظر فيهما. أولاً ، نريد أن يكون الناشرون في الصدارة في إخبارنا عندما تم إنشاء المحتوى بواسطة الذكاء الاصطناعي ، ونريد تسميته على هذا النحو. بهذه الطريقة عندما يقرأ الناس المقال ، لا يتم تضليلهم بشأن من كتب المقال. هذه هي الشفافية على أعلى مستوى.
ثانيًا ، نريد أن تكون هذه المقالة صحيحة من الناحية الواقعية. نحن نعلم أن الذكاء الاصطناعي التوليدي يميل إلى اختلاق الأشياء عندما يريد ، وأي مقال مكتوب بواسطة الذكاء الاصطناعي التوليدي يحتاج إلى تصحيح لغوي من قبل صحفي أو هيئة تحرير.
لقد جادلت سابقًا من أجل توحيد المنصات التقنية وإنشاء معايير مشتركة لمكافحة السمية الرقمية ، ما مدى أهمية هذه المشكلة؟
أعتقد أن هذه المسألة ذات أهمية حاسمة ، ليس فقط للشركات للعمل بشكل أخلاقي ، ولكن للحفاظ على مستوى من الكرامة والكياسة. في رأيي ، يجب أن تجتمع المنصات وتضع معايير معينة للحفاظ على هذه الإنسانية. على سبيل المثال ، لا ينبغي أبدًا تشجيع أي شخص على الانتحار ، ولكن في بعض المواقف ، نجد هذا النوع من الإساءة على المنصات ، وأعتقد أن هذا شيء يجب على الشركات أن تتحد معًا للحماية منه.
في النهاية ، عندما يتعلق الأمر بمشاكل الإنسانية ، لا ينبغي أن تكون هناك منافسة. لا ينبغي بالضرورة أن تكون هناك منافسة حول من هو المجتمع الأكثر نظافة وأمانًا - يجب أن نهدف جميعًا إلى ضمان شعور مستخدمينا بالأمان والفهم. دعونا نتنافس على الميزات وليس الاستغلال.
ما هي بعض الطرق التي يمكن للشركات الرقمية أن تعمل بها معًا؟
يجب أن تجتمع الشركات عندما تكون هناك قيم مشتركة وإمكانية التعاون. هناك دائمًا مساحات يوجد فيها تقاطع بين الشركات والصناعات ، لا سيما عندما يتعلق الأمر بمكافحة إساءة الاستخدام ، أو ضمان التحضر في المنصات ، أو تقليل الاستقطاب. هذه لحظات يجب أن تعمل فيها الشركات معًا.
هناك بالطبع زاوية تجارية مع المنافسة ، وعادة ما تكون المنافسة جيدة. إنه يساعد على ضمان القوة والتمايز بين الشركات ويقدم حلولًا بمستوى من الفعالية لا يمكن أن تضمنه الاحتكارات.
ولكن عندما يتعلق الأمر بحماية المستخدمين ، أو تعزيز الكياسة ، أو الحد من نواقل الإساءة ، فهذه موضوعات أساسية بالنسبة لنا للحفاظ على العالم الحر. هذه أشياء يتعين علينا القيام بها لضمان حماية ما هو مقدس لنا ولإنسانيتنا. في رأيي ، تتحمل جميع المنصات مسؤولية التعاون في الدفاع عن القيم الإنسانية والقيم التي تجعلنا عالمًا حرًا.
ما هي آرائك الحالية حول الذكاء الاصطناعي المسؤول؟
نحن في بداية شيء منتشر للغاية في حياتنا. هذه المرحلة التالية من الذكاء الاصطناعي التوليدي هي مشكلة لا نفهمها تمامًا ، أو لا يمكننا استيعابها إلا جزئيًا في هذه المرحلة.
عندما يتعلق الأمر بالذكاء الاصطناعي المسؤول ، فمن المهم للغاية أن نطور حواجز حماية قوية ، وإلا فقد ينتهي بنا الأمر بوحش فرانكشتاين لتقنيات الذكاء الاصطناعي التوليدية. نحن بحاجة إلى قضاء الوقت في التفكير في كل ما يمكن أن يحدث بشكل خاطئ. سواء كان ذلك هو التحيز الذي يتسلل إلى الخوارزميات ، أو أن النماذج اللغوية الكبيرة نفسها يتم استخدامها من قبل الأشخاص الخطأ للقيام بأعمال شائنة.
التكنولوجيا نفسها ليست جيدة أو سيئة ، ولكن يمكن أن يستخدمها الأشخاص السيئون للقيام بأشياء سيئة. هذا هو السبب في أن استثمار الوقت والموارد في علماء أخلاقيات الذكاء الاصطناعي لإجراء اختبارات الخصومة لفهم أخطاء التصميم أمر بالغ الأهمية. سيساعدنا هذا على فهم كيفية منع إساءة الاستخدام ، وأعتقد أن هذا ربما يكون أهم جانب في الذكاء الاصطناعي المسؤول.
نظرًا لأن الذكاء الاصطناعي لا يمكنه التفكير بنفسه بعد ، فنحن بحاجة إلى أشخاص أذكياء يمكنهم بناء هذه الإعدادات الافتراضية عند برمجة الذكاء الاصطناعي. الجانب المهم الذي يجب مراعاته الآن هو التوقيت - فنحن بحاجة إلى قيام هؤلاء الممثلين الإيجابيين بهذه الأشياء الآن قبل فوات الأوان.
على عكس الأنظمة الأخرى التي صممناها وبناؤها في الماضي ، فإن الذكاء الاصطناعي مختلف لأنه يمكنه التكرار والتعلم من تلقاء نفسه ، لذلك إذا لم تقم بإعداد حواجز حماية قوية حول ما يتعلمه وكيف يتعلمه ، فلا يمكننا التحكم في ما يمكن أن يصبح .
في الوقت الحالي ، نشهد قيام بعض الشركات الكبرى بتسريح مجالس الأخلاقيات وفرق الذكاء الاصطناعي المسؤولة كجزء من عمليات التسريح الرئيسية للعمال. يبقى أن نرى مدى جدية هذه التخصصات التقنية في التعامل مع التكنولوجيا ومدى جدية في مراجعة العيوب المحتملة للذكاء الاصطناعي في اتخاذ قراراتهم.
هل هناك أي شيء آخر تود مشاركته حول عملك مع سمارت نيوز؟
انضممت إلى سمارت نيوز لأنني أؤمن بمهمتها ، فإن المهمة لها نقاوة معينة. أعتقد بشدة أن العالم أصبح أكثر استقطابًا ، وليس هناك ما يكفي من المعرفة الإعلامية اليوم للمساعدة في مكافحة هذا الاتجاه.
لسوء الحظ ، هناك الكثير من الأشخاص الذين يأخذون رسائل WhatsApp على أنها إنجيل ويصدقونها في ظاهرها. يمكن أن يؤدي ذلك إلى عواقب وخيمة ، بما في ذلك - وعلى وجه الخصوص - العنف. كل هذا يتلخص في عدم فهم الناس لما يمكنهم وما لا يمكنهم تصديقه.
إذا لم نثقف الناس ، أو نطلعهم على كيفية اتخاذ قرارات بشأن مصداقية ما يستهلكونه. إذا لم نقدم مستويات محو الأمية الإعلامية للتمييز بين الأخبار والأخبار المزيفة ، فسنستمر في الدفاع عن المشكلة وزيادة المشكلات التي علمنا التاريخ عدم القيام بها.
أحد أهم مكونات عملي في SmartNews هو المساعدة في تقليل الاستقطاب في العالم. أرغب في تحقيق مهمة المؤسس لتحسين الثقافة الإعلامية حيث يمكنهم فهم ما يستهلكونه وإبداء آراء مستنيرة حول العالم والعديد من وجهات النظر المتنوعة.
شكرًا لك على المقابلة الرائعة ، يجب على القراء الذين يرغبون في معرفة المزيد أو يرغبون في تجربة نوع مختلف من تطبيق الأخبار زيارة الموقع SmartNews.
