अर्जुन नारायण, स्मार्टन्यूज के ग्लोबल ट्रस्ट और सुरक्षा के प्रमुख – साक्षात्कार श्रृंखला

अर्जुन नारायण, स्मार्टन्यूज के ग्लोबल ट्रस्ट और सुरक्षा के प्रमुख हैं, जो एक समाचार एग्रीगेटर ऐप है। वह एक एआई नैतिकता और तकनीक नीति विशेषज्ञ भी हैं। स्मार्टन्यूज एआई और मानव संपादकीय टीम का उपयोग करता है क्योंकि यह पाठकों के लिए समाचार एकत्र करता है।

आपने सिंगापुर में गूगल के एशिया-प्रशांत ट्रस्ट और सुरक्षा केंद्र की स्थापना में महत्वपूर्ण भूमिका निभाई। इस अनुभव से आपने कौन से प्रमुख सबक सीखे?

ट्रस्ट और सुरक्षा टीमों का निर्माण करते समय देश-स्तर की विशेषज्ञता महत्वपूर्ण है क्योंकि दुरुपयोग देश के आधार पर बहुत भिन्न होता है जिसे आप नियंत्रित कर रहे हैं। उदाहरण के लिए, जापान में गूगल (GOOGL ) उत्पादों का दुरुपयोग दक्षिण पूर्व एशिया और भारत में उनके दुरुपयोग से अलग था। इसका मतलब है कि दुरुपयोग के तरीके इस बात पर बहुत निर्भर करते हैं कि दुरुपयोग कौन कर रहा है और आप किस देश में हैं; उनमें एकरूपता नहीं है। हमने यह बात शुरू में ही सीख ली थी।

मैंने यह भी सीखा कि ट्रस्ट और सुरक्षा टीमों का निर्माण करते समय सांस्कृतिक विविधता अत्यंत महत्वपूर्ण है। गूगल में, हमने सुनिश्चित किया कि हमारी टीम में पर्याप्त सांस्कृतिक विविधता और समझ थी। हम विशिष्ट डोमेन विशेषज्ञता की तलाश में थे, लेकिन साथ ही भाषा और बाजार विशेषज्ञता की भी तलाश में थे।

मैंने स्थानीय संस्कृति में डूबकर उसे समझने को भी अत्यंत महत्वपूर्ण पाया। जब हम सीमाओं के पार ट्रस्ट और सुरक्षा टीमों का निर्माण कर रहे थे, तो हमें यह सुनिश्चित करने की आवश्यकता थी कि हमारी इंजीनियरिंग और व्यवसाय टीमें स्थानीय संस्कृति को करीब से अनुभव कर सकती थीं। इससे यह सुनिश्चित होता है कि हर कोई उन मुद्दों के करीब है जिन्हें हम प्रबंधित करने का प्रयास कर रहे हैं। इसके लिए, हमने प्रमुख कर्मियों के साथ स्थानीय संस्कृति को समझने के तिमाही सत्र किए, और इससे हर किसी की सांस्कृतिक बुद्धिमत्ता में वृद्धि हुई।

अंत में, सांस्कृतिक समझ बहुत महत्वपूर्ण थी। मैंने जापान, ऑस्ट्रेलिया, भारत और दक्षिण पूर्व एशिया में एक टीम का प्रबंधन किया, और वे एक दूसरे के साथ कैसे बातचीत करते थे, यह बहुत अलग था। एक नेता के रूप में, आप यह सुनिश्चित करना चाहते हैं कि हर कोई अपनी आवाज़ पा सकता है। अंततः, यह सभी एक उच्च-प्रदर्शन टीम बनाने के लिए डिज़ाइन किया गया है जो संवेदनशील कार्यों जैसे ट्रस्ट और सुरक्षा को निष्पादित कर सकती है।

पूर्व में, आप टिकटॉक एप्लिकेशन के लिए बाइटडांस के साथ ट्रस्ट और सुरक्षा टीम में भी थे, एक मिनट से कम समय के वीडियो को सुरक्षित रूप से कैसे निगरानी की जाती है?

मैं इस प्रश्न को थोड़ा पुनः परिभाषित करना चाहता हूं, क्योंकि यह वास्तव में महत्वपूर्ण नहीं है कि वीडियो छोटा या लंबा है। यह दुरुपयोग का मूल्यांकन करते समय एक कारक नहीं है, और वीडियो की लंबाई वास्तव में दुरुपयोग के प्रसार पर प्रभाव नहीं डालती है।

जब मैं दुरुपयोग के बारे में सोचता हूं, तो मैं इसे “मुद्दों” के रूप में सोचता हूं। उपयोगकर्ता किस प्रकार के मुद्दों के प्रति संवेदनशील हो सकते हैं? गलत सूचना? भ्रामक जानकारी? चाहे वीडियो 1 मिनट का हो या 1 घंटे का, अभी भी गलत सूचना साझा की जा रही है और दुरुपयोग का स्तर तुलनात्मक रहता है।

मुद्दे के प्रकार के आधार पर, आप नीति प्रवर्तन और सुरक्षा गार्डरेल के बारे में सोचना शुरू करते हैं और यह कैसे सुनिश्चित किया जा सकता है कि संवेदनशील उपयोगकर्ताओं की रक्षा की जाए। उदाहरण के लिए, मान लें कि किसी व्यक्ति द्वारा खुद को चोट पहुँचाने का वीडियो है। जब हमें यह सूचना मिलती है कि यह वीडियो मौजूद है, तो हमें तत्काल कार्रवाई करनी चाहिए, क्योंकि किसी की जान जा सकती है। हम इस प्रकार के पता लगाने के लिए मशीन लर्निंग पर बहुत अधिक निर्भर करते हैं। पहला कदम हमेशा अधिकारियों से संपर्क करना होता है ताकि हम उस जीवन को बचा सकें। इससे अधिक महत्वपूर्ण कुछ नहीं है। उसके बाद, हमारा लक्ष्य वीडियो, लाइवस्ट्रीम, या जिस भी प्रारूप में यह साझा किया जा रहा है, उसे निलंबित करना है। हमें यह सुनिश्चित करना चाहिए कि हम ऐसे हानिकारक सामग्री के संपर्क को जितनी जल्दी हो सके न्यूनतम कर दें।

इसी तरह, यदि यह नफ़रत भरा भाषण है, तो इसके लिए अलग-अलग तरीके हैं जिनसे इसका पता लगाया जा सकता है। या यदि यह परेशान करने वाला या उत्पीड़न है, तो यह मुद्दे के प्रकार पर निर्भर करता है, और उसके आधार पर, हम अपने प्रवर्तन विकल्पों और सुरक्षा गार्डरेल को समायोजित करेंगे। एक और उदाहरण यह है कि हमने मशीन लर्निंग को लागू किया जो यह पता लगा सकता है कि जब कोई व्यक्ति टिप्पणियों में कुछ अनुचित लिखता है, तो उन्हें दोबारा सोचने के लिए प्रेरित करता है कि वे कुछ मतलबी साझा करने से पहले दोबारा सोचें। हम उन्हें अनिवार्य रूप से नहीं रोकते, लेकिन आशा करते हैं कि वे कोई दुर्भावनापूर्ण टिप्पणी साझा करने से पहले दोबारा सोचेंगे।

यह मशीन लर्निंग और कीवर्ड नियमों के संयोजन पर निर्भर करता है। लेकिन, लाइवस्ट्रीम के मामले में, हमारे पास मानव मॉडरेटर भी थे जो उन स्ट्रीमों की समीक्षा कर रहे थे जिन्हें एआई द्वारा फ्लैग किया गया था, ताकि वे तुरंत रिपोर्ट कर सकें और प्रोटोकॉल लागू कर सकें। क्योंकि वे वास्तविक समय में हो रहे हैं, यह पर्याप्त नहीं है कि उपयोगकर्ता रिपोर्ट करें, इसलिए हमें वास्तविक समय में मानव निगरानी की आवश्यकता है।

2021 से आप स्मार्टन्यूज में ट्रस्ट, सुरक्षा और ग्राहक अनुभव के प्रमुख हैं। स्मार्टन्यूज उच्च गुणवत्ता वाली समाचार सामग्री की पहचान और प्राथमिकता के लिए मशीन लर्निंग और प्राकृतिक भाषा प्रसंस्करण का लाभ कैसे उठाता है?

मुख्य अवधारणा यह है कि हमारे पास कुछ “नियम” या मशीन लर्निंग प्रौद्योगिकी है जो किसी लेख या विज्ञापन को पार्स कर सकती है और समझ सकती है कि वह लेख किस विषय पर है।

जब भी कुछ हमारे “नियमों” का उल्लंघन करता है, कहते हैं कि कुछ तथ्यात्मक रूप से गलत या भ्रामक है, तो हमारे पास मशीन लर्निंग है जो उस सामग्री को हमारी संपादकीय टीम के मानव समीक्षक को फ्लैग करती है। उस स्तर पर, वे हमारे संपादकीय मूल्यों को समझते हैं और लेख की उपयुक्तता या गुणवत्ता के बारे में त्वरित निर्णय ले सकते हैं। उसके बाद, समस्या का समाधान करने के लिए कार्रवाई की जाती है।

स्मार्टन्यूज प्लेटफ़ॉर्म को सुरक्षित, समावेशी और निष्पक्ष बनाने के लिए एआई का उपयोग कैसे करता है?

स्मार्टन्यूज की स्थापना इस धारणा पर की गई थी कि हाइपर-व्यक्तिगतीकरण आत्म-सम्मान के लिए अच्छा है, लेकिन यह हम सभी को पूर्वाग्रह को मजबूत करके और लोगों को एक फिल्टर बुलबुले में डालकर ध्रुवीकरण भी कर रहा है।

स्मार्टन्यूज द्वारा एआई का उपयोग एक अलग तरीके से किया जाता है क्योंकि हम केवल इंगेजमेंट के लिए अनुकूलन नहीं कर रहे हैं। हमारा एल्गोरिदम आपको समझना चाहता है, लेकिन यह आपकी पसंद के लिए हाइपर-व्यक्तिगत नहीं है। इसका कारण यह है कि हम दृष्टिकोण को व्यापक बनाने में विश्वास करते हैं। हमारा एआई इंजन आपको उन अवधारणाओं और लेखों से परिचित कराएगा जो आपके आसपास के विषयों से परे हैं।

विचार यह है कि सार्वजनिक हित में जानने के लिए कुछ चीजें हैं, और लोगों को अपने दृष्टिकोण को व्यापक बनाने के लिए जानने के लिए कुछ चीजें हैं। हम जिस संतुलन को बनाने का प्रयास करते हैं वह इन संदर्भों का विश्लेषण प्रदान करना है बिना बड़े भाई की तरह। कभी-कभी लोग हमारे एल्गोरिदम द्वारा अपनी फीड में रखे गए लेखों को पसंद नहीं करेंगे। जब ऐसा होता है, तो लोग उस लेख को न पढ़ने का विकल्प चुन सकते हैं। हालांकि, हम अपने एआई इंजन की अप्रत्याशित खोजों और जिज्ञासा को बढ़ावा देने की क्षमता पर गर्व करते हैं।

सुरक्षा के मामले में, स्मार्टन्यूज में एक “प्रकाशक स्कोर” है, जो एक एल्गोरिदम है जो लगातार यह मूल्यांकन करता है कि क्या प्रकाशक सुरक्षित है या नहीं। अंततः, हम यह स्थापित करना चाहते हैं कि क्या प्रकाशक की एक प्रामाणिक और विश्वसनीय आवाज है। उदाहरण के लिए, हम सभी सहमत हो सकते हैं कि ईएसपीएन खेलों का एक प्रामाणिक स्रोत है। लेकिन, यदि आप ईएसपीएन सामग्री की प्रतिलिपि बनाने वाले एक यादृच्छिक ब्लॉग हैं, तो हमें यह सुनिश्चित करने की आवश्यकता है कि ईएसपीएन उस यादृच्छिक ब्लॉग से उच्चतर रैंकिंग कर रहा है। प्रकाशक स्कोर मूलता, लेख पोस्ट किए जाने के समय, उपयोगकर्ता समीक्षाएँ कैसी हैं, आदि जैसे कारकों पर भी विचार करता है। यह अंततः कई कारकों का एक स्पेक्ट्रम है जिसे हम मानते हैं।

एक बात जो सब कुछ को पार करती है वह यह है कि “उपयोगकर्ता क्या पढ़ना चाहता है?” यदि उपयोगकर्ता क्लिकबेट लेख देखना चाहते हैं, तो हम उन्हें रोकेंगे नहीं बशर्ते सामग्री अवैध न हो और हमारे दिशानिर्देशों का उल्लंघन न करती हो। हम उपयोगकर्ता पर थोपते नहीं हैं, लेकिन अगर कुछ असुरक्षित या अनुचित है, तो हम उसे फीड में दिखाने से पहले आवश्यक जाँच करते हैं।

पत्रकारों द्वारा सामग्री के उत्पादन में सहायता के लिए जनरेटिव एआई का उपयोग करने के बारे में आपके विचार क्या हैं?

मुझे लगता है कि यह एक नैतिक प्रश्न है, और यह कुछ ऐसा है जिस पर हम स्मार्टन्यूज में वर्तमान में चर्चा कर रहे हैं। स्मार्टन्यूज को उन प्रकाशकों को कैसे देखना चाहिए जो पत्रकारों द्वारा लिखे गए लेखों के बजाय जनरेटिव एआई से तैयार सामग्री प्रस्तुत करते हैं?

मुझे लगता है कि वह ट्रेन अब स्टेशन से निकल चुकी है। आज, पत्रकार अपने लेखन को बढ़ाने के लिए एआई का उपयोग कर रहे हैं। यह एक पैमाने का कार्य है, हमारे पास व्यावसायिक रूप से व्यवहार्य दर पर लेख उत्पन्न करने के लिए समय नहीं है, खासकर जब समाचार संगठन लगातार कर्मचारियों की संख्या में कटौती कर रहे हैं। प्रश्न यह है कि इसमें कितनी रचनात्मकता जुड़ी हुई है? क्या लेख पत्रकार द्वारा पॉलिश किया गया है? या क्या पत्रकार पूरी तरह से निर्भर हैं?

इस समय जनरेटिव एआई ताज़ा घटनाओं पर लेख नहीं लिख सकता, क्योंकि उसके पास उनके लिए प्रशिक्षण डेटा नहीं है। फिर भी वह एक उपयोगी सामान्य खाका दे सकता है। उदाहरण के लिए, स्कूलों में गोलीबारी की घटनाएँ इतनी आम हैं कि जनरेटिव एआई पत्रकार को इस विषय पर एक खाका दे सकता है, जिसमें प्रभावित स्कूल की जानकारी जोड़कर पत्रकार पूरा प्रारूप तैयार कर सकता है।

स्मार्टन्यूज के साथ काम करते हुए, मुझे लगता है कि दो सिद्धांतों पर विचार करना महत्वपूर्ण है। पहले, हम चाहते हैं कि प्रकाशक हमें बताएं जब सामग्री एआई द्वारा उत्पन्न की जाती है, और हम चाहते हैं कि इसे उस तरह से लेबल किया जाए। इससे लेख पढ़ते समय लोगों को इस बारे में गुमराह नहीं किया जाता कि उसे किसने लिखा है। यह उच्चतम स्तर की पारदर्शिता है।

दूसरा, हम चाहते हैं कि वह लेख तथ्यात्मक रूप से सही हो। हम जानते हैं कि जनरेटिव एआई अक्सर चीजों को बना देता है जब वह चाहता है, और जनरेटिव एआई द्वारा लिखा गया कोई भी लेख पत्रकार या संपादकीय कर्मचारी द्वारा प्रूफरीड किया जाना चाहिए।

आप पहले तकनीकी मंचों के लिए तर्क देते थे कि उन्हें डिजिटल जहर के खिलाफ लड़ने के लिए सामान्य मानक बनाने और एकजुट होने के लिए, यह मुद्दा कितना महत्वपूर्ण है?

मुझे लगता है कि यह मुद्दा अत्यंत महत्वपूर्ण है, न केवल कंपनियों के नैतिक ढंग से काम करने के लिए, बल्कि गरिमा और शिष्टता बनाए रखने के लिए भी। मेरे विचार में, मंचों को एकजुट होकर मानवता बनाए रखने के साझा मानक विकसित करने चाहिए। उदाहरण के लिए, किसी को भी अपनी जान लेने के लिए कभी प्रोत्साहित नहीं किया जाना चाहिए, लेकिन कुछ स्थितियों में मंचों पर ऐसा दुरुपयोग मिलता है। कंपनियों को मिलकर इससे लोगों की रक्षा करनी चाहिए।

अंततः, जब यह मानवता की समस्याओं की बात आती है, तो प्रतिस्पर्धा नहीं होनी चाहिए। यहां तक कि सुरक्षित समुदाय होने की प्रतिस्पर्धा भी नहीं होनी चाहिए – हमें यह सुनिश्चित करना चाहिए कि हमारे उपयोगकर्ता सुरक्षित महसूस करें और उन्हें लगे कि उनकी बात समझी जा रही है। आइए विशेषताओं पर प्रतिस्पर्धा करें, न कि शोषण पर।

डिजिटल कंपनियां एक साथ काम करने के कुछ तरीके क्या हैं?

कंपनियों को तब एक साथ आना चाहिए जब साझा मूल्य और सहयोग की संभावना हो। कंपनियों और उद्योगों के बीच हमेशा कुछ साझा क्षेत्र होते हैं, खासकर जब दुरुपयोग से लड़ने, शिष्टता सुनिश्चित करने या ध्रुवीकरण को कम करने की बात आती है। ये ऐसे क्षण हैं जब कंपनियों को एक साथ काम करना चाहिए।

बेशक, एक व्यावसायिक कोण है जिसमें प्रतिस्पर्धा होती है, और आमतौर पर प्रतिस्पर्धा अच्छी होती है। यह कंपनियों की मजबूती और विशिष्टता बनाए रखने में मदद करता है तथा ऐसे प्रभावी समाधान देता है जिनकी एकाधिकार गारंटी नहीं दे सकते।

लेकिन उपयोगकर्ताओं की रक्षा, शिष्टता को बढ़ावा देना और दुरुपयोग के तरीकों को कम करना स्वतंत्र दुनिया को बनाए रखने के मूल विषय हैं। हमें वह सब बचाना चाहिए जो हमारे लिए पवित्र है, और अपनी मानवता की रक्षा करनी चाहिए। मेरे विचार में, मानव मूल्यों और हमें स्वतंत्र दुनिया बनाने वाले मूल्यों की रक्षा के लिए सहयोग करना सभी मंचों की जिम्मेदारी है।

जिम्मेदार एआई के बारे में आपके वर्तमान विचार क्या हैं?

हम कुछ ऐसी चीजों की शुरुआत में हैं जो हमारे जीवन में व्यापक रूप से फैली हुई हैं। इस जनरेटिव एआई का अगला चरण एक समस्या है जिसे हम पूरी तरह से नहीं समझते हैं या जिसे हम केवल आंशिक रूप से समझते हैं।

जिम्मेदार एआई के बारे में, यह बहुत महत्वपूर्ण है कि हम मजबूत गार्डरेल विकसित करें या हम एक फ्रैंकस्टीन के राक्षस के साथ जनरेटिव एआई प्रौद्योगिकियों के साथ समाप्त हो सकते हैं। हमें यह सोचने में समय बिताने की आवश्यकता है कि क्या गलत हो सकता है। चाहे वह अल्गोरिदम में पूर्वाग्रह हो, या बड़े भाषा मॉडल खुद को गलत लोगों द्वारा दुर्भावनापूर्ण कार्यों के लिए उपयोग किया जा रहा है।

प्रौद्योगिकी स्वयं अच्छी या बुरी नहीं है, लेकिन यह बुरे लोगों द्वारा बुरे काम करने के लिए उपयोग किया जा सकता है। यही कारण है कि एआई नैतिकतावादियों में निवेश करना और विरोधी परीक्षण करना महत्वपूर्ण है ताकि हम डिजाइन दोषों को समझ सकें और दुरुपयोग को रोकने के लिए कैसे समझ सकें। यह जिम्मेदार एआई का सबसे महत्वपूर्ण पहलू है।

चूंकि एआई अभी तक स्वयं सोचने में सक्षम नहीं है, हमें ऐसे स्मार्ट लोगों की आवश्यकता है जो डिफ़ॉल्ट सेट कर सकें जब एआई को प्रोग्राम किया जा रहा हो। समय सबसे महत्वपूर्ण बात है – हमें अब इन सद्भावना रखने वाले लोगों को इन चीजों पर काम करने की आवश्यकता है इससे पहले कि बहुत देर हो जाए।

अन्य प्रणालियों की तुलना में जिन्हें हमने अतीत में डिज़ाइन और निर्मित किया है, एआई अलग है क्योंकि यह स्वयं दोहरा सकता है और सीख सकता है। इसलिए, यदि आप इसे सीखने और विकसित होने के लिए मजबूत गार्डरेल नहीं देते हैं, तो आप यह नियंत्रित नहीं कर सकते कि यह क्या बन सकता है।

वर्तमान में, हम देख रहे हैं कि बड़ी कंपनियां बड़े पैमाने पर छंटनी के हिस्से के रूप में नैतिकता बोर्ड और जिम्मेदार एआई टीमों को समाप्त कर रही हैं। यह देखना बाकी है कि ये प्रौद्योगिकी प्रमुख कितनी गंभीरता से इस प्रौद्योगिकी और इसके संभावित नुकसान का मूल्यांकन कर रहे हैं।

स्मार्टन्यूज के साथ अपने काम के बारे में और क्या आप साझा करना चाहेंगे?

मैं स्मार्टन्यूज में शामिल हो गया क्योंकि मुझे इसके मिशन में विश्वास है। मिशन में एक निश्चित शुद्धता है। मेरा दृढ़ विश्वास है कि दुनिया अधिक ध्रुवीकृत हो रही है और आज इस प्रवृत्ति का मुकाबला करने के लिए पर्याप्त मीडिया साक्षरता नहीं है।

दुर्भाग्य से, आज मीडिया साक्षरता की कमी है, और यह प्रवृत्ति का मुकाबला करने में मदद नहीं करती है। दुर्भाग्य से, बहुत से लोग व्हाट्सएप संदेशों को सीधे स्वीकार करते हैं और उन पर विश्वास करते हैं। इससे भयानक परिणाम हो सकते हैं, जिनमें हिंसा भी शामिल है।

यदि हम लोगों को शिक्षित नहीं करते और उन्हें यह तय करना नहीं सिखाते कि वे जिस सामग्री का उपभोग करते हैं वह कितनी विश्वसनीय है, यदि हम समाचार और झूठी खबरों में फर्क करने की मीडिया साक्षरता विकसित नहीं करते, तो हम समस्या को बढ़ावा देते रहेंगे और उन गलतियों को बढ़ाएँगे जिनसे बचने का सबक इतिहास ने दिया है।

स्मार्टन्यूज में मेरे काम के सबसे महत्वपूर्ण घटकों में से एक दुनिया में ध्रुवीकरण को कम करने में मदद करना है। मैं संस्थापक के मिशन को पूरा करना चाहता हूं ताकि मीडिया साक्षरता में सुधार हो और लोग जो उपभोग कर रहे हैं उसे समझ सकें और दुनिया और इसके विविध दृष्टिकोणों के बारे में सूचित राय बना सकें।

धन्यवाद महान साक्षात्कार के लिए, पाठक जो अधिक जानना चाहते हैं या एक अलग प्रकार का समाचार ऐप आजमाना चाहते हैं उन्हें स्मार्टन्यूज पर जाना चाहिए।