नोरा पेट्रोवा, मशीन लर्निंग इंजीनियर और एआई सलाहकार tại प्रोलिफिक – साक्षात्कार श्रृंखला

नोरा पेट्रोवा, प्रोलिफिक में एक मशीन लर्निंग इंजीनियर और एआई सलाहकार हैं। प्रोलिफिक की स्थापना 2014 में हुई थी और यह पहले से ही गूगल, स्टैनफोर्ड विश्वविद्यालय, ऑक्सफोर्ड विश्वविद्यालय, किंग्स कॉलेज लंदन और यूरोपीय आयोग जैसे संगठनों को अपने ग्राहकों के रूप में गिनती करता है, जो अपने नेटवर्क के प्रतिभागियों का उपयोग नए उत्पादों का परीक्षण करने, एआई प्रणालियों को प्रशिक्षित करने और यह निर्धारित करने के लिए करते हैं कि उनके मानव-सामने वाले एआई अनुप्रयोग उनके निर्माताओं के इरादे के अनुसार काम कर रहे हैं या नहीं।

क्या आप प्रोलिफिक में अपनी पृष्ठभूमि और करियर के बारे में कुछ जानकारी साझा कर सकते हैं? एआई में आपकी रुचि क्या है?

मेरी भूमिका प्रोलिफिक में एआई उपयोग के मामलों और अवसरों के बारे में सलाहकार के रूप में और एक अधिक हाथों-हाथों में एमएल इंजीनियर के रूप में विभाजित है। मैंने अपना करियर सॉफ्टवेयर इंजीनियरिंग में शुरू किया और धीरे-धीरे मशीन लर्निंग में स्थानांतरित हो गया। मैंने पिछले 5 वर्षों में अधिकांश समय एनएलपी उपयोग के मामलों और समस्याओं पर केंद्रित किया है।

जो मुझे एआई में शुरू में रुचि लेने के लिए प्रेरित किया वह डेटा से सीखने की क्षमता और मानव मस्तिष्क की संरचना के साथ इसका संबंध है। मुझे लगता है कि एमएल और न्यूरोसाइंस एक दूसरे को पूरक कर सकते हैं और हमें यह समझने में मदद कर सकते हैं कि कैसे एआई प्रणालियों का निर्माण किया जाए जो दुनिया में नेविगेट करने, रचनात्मकता प्रदर्शित करने और समाज में मूल्य जोड़ने में सक्षम हों।

आपको एआई पूर्वाग्रह के कुछ सबसे बड़े मुद्दों के बारे में पता है जो आप व्यक्तिगत रूप से जानते हैं?

पूर्वाग्रह एआई मॉडल में डाले गए डेटा में निहित है और इसे पूरी तरह से हटाना बहुत मुश्किल है। हालांकि, यह आवश्यक है कि हम डेटा में मौजूद पूर्वाग्रहों के बारे में जागरूक रहें और हानिकारक पूर्वाग्रहों को कम करने के तरीके खोजें। हमारे सामने सबसे बड़ी समस्याएं हानिकारक रूढ़िवादिता को बढ़ावा देने वाले मॉडल, प्रणालीगत पूर्वाग्रह और समाज में अन्याय हैं। हमें यह सुनिश्चित करना चाहिए कि एआई मॉडल का उपयोग कैसे किया जाएगा और उनके उपयोगकर्ताओं पर उनका प्रभाव क्या होगा, और सुनिश्चित करें कि वे संवेदनशील उपयोग के मामलों के लिए अनुमोदित होने से पहले सुरक्षित हैं।

कुछ प्रमुख क्षेत्र जहां एआई मॉडल ने हानिकारक पूर्वाग्रह प्रदर्शित किए हैं, उनमें स्कूल और विश्वविद्यालय प्रवेश में कम प्रतिनिधित्व वाले समूहों का भेदभाव और महिलाओं की भर्ती पर लिंग रूढ़िवादिता का नकारात्मक प्रभाव शामिल है। इसके अलावा, एक आपराधिक न्याय अल्गोरिदम को अफ्रीकी अमेरिकी अभियुक्तों को “उच्च जोखिम” के रूप में गलत तरीके से लेबल करने के लिए पाया गया, जबकि चेहरे की पहचान प्रौद्योगिकी अभी भी अल्पसंख्यकों के लिए प्रतिनिधित्व करने वाले प्रशिक्षण डेटा की कमी के कारण उच्च त्रुटि दर से ग्रस्त है।

उपरोक्त उदाहरण एआई मॉडल द्वारा प्रदर्शित पूर्वाग्रहों के एक छोटे से अनुभाग को कवर करते हैं और हम भविष्य में बड़ी समस्याओं की भविष्यवाणी कर सकते हैं यदि हम पूर्वाग्रह को कम करने पर ध्यान केंद्रित नहीं करते हैं। यह महत्वपूर्ण है कि एआई मॉडल मानव निर्णय लेने से प्रभावित होने वाले पूर्वाग्रहों वाले डेटा से सीखते हैं। वास्तव में, मानव निर्णय लेने वाले को पूर्वाग्रह को दूर करने में मदद नहीं मिल सकती है। वास्तव में पूर्वाग्रहों को कम करने के लिए, हमें यह समझने की आवश्यकता है कि वे डेटा में कैसे मौजूद हैं, जो कारक पूर्वाग्रहित भविष्यवाणियों में योगदान करते हैं, और सामूहिक रूप से यह तय करना होगा कि हम महत्वपूर्ण निर्णयों पर क्या आधारित करना चाहते हैं। सुरक्षा के लिए मॉडल का मूल्यांकन करने के लिए मानकों का एक सेट विकसित करना एक महत्वपूर्ण कदम होगा।

एआई हॉलुसिनेशन किसी भी प्रकार के जेनरेटिव एआई के साथ एक बड़ी समस्या है। क्या आप बता सकते हैं कि मानव-इन-द-लूप (हिटीएल) प्रशिक्षण इन मुद्दों को कैसे कम कर सकता है?

एआई मॉडल में हॉलुसिनेशन विशिष्ट उपयोग के मामलों में जेनरेटिव एआई के साथ समस्याग्रस्त हो सकते हैं, लेकिन यह ध्यान देने योग्य है कि वे स्वयं में एक समस्या नहीं हैं। रचनात्मक उपयोग के मामलों में जेनरेटिव एआई में, हॉलुसिनेशन स्वागत योग्य हैं और एक अधिक रचनात्मक और दिलचस्प प्रतिक्रिया में योगदान करते हैं।

वे तब समस्याग्रस्त हो सकते हैं जब तथ्यात्मक जानकारी पर निर्भरता उच्च होती है। उदाहरण के लिए, स्वास्थ्य सेवा में, जहां निर्णय लेने में मजबूती महत्वपूर्ण है, स्वास्थ्य पेशेवरों को विश्वसनीय तथ्यात्मक जानकारी प्रदान करना आवश्यक है।

हिटीएल उन प्रणालियों को संदर्भित करता है जो मानव को एक मॉडल के लिए सीधी प्रतिक्रिया प्रदान करने की अनुमति देते हैं जो एक निश्चित स्तर के आत्मविश्वास से नीचे हैं। हॉलुसिनेशन के संदर्भ में, हिटीएल का उपयोग मॉडल को सिखाने के लिए किया जा सकता है कि विभिन्न उपयोग के मामलों के लिए प्रतिक्रिया देने से पहले उन्हें किस स्तर की निश्चितता होनी चाहिए। ये सीमाएं उपयोग के मामलों के आधार पर भिन्न होंगी। मॉडल को यह सिखाना कि विभिन्न उपयोग के मामलों के लिए उत्तर देने के लिए किस तरह की कठोरता की आवश्यकता है, हॉलुसिनेशन के समस्याग्रस्त प्रकार को कम करने के लिए एक महत्वपूर्ण कदम होगा। उदाहरण के लिए, एक कानूनी उपयोग के मामले में, मानव मॉडल को यह दिखा सकते हैं कि तथ्य-जांच एक आवश्यक कदम है जब जटिल कानूनी दस्तावेजों पर आधारित प्रश्नों का उत्तर देने के लिए कई खंड और शर्तों के साथ।

एआई कार्यकर्ता जैसे डेटा एनोटेटर पूर्वाग्रह समस्याओं को कम करने में कैसे मदद करते हैं?

एआई कार्यकर्ता पहले और सबसे महत्वपूर्ण डेटा में मौजूद पूर्वाग्रहों की पहचान करने में मदद कर सकते हैं। एक बार पूर्वाग्रह की पहचान हो जाने के बाद, कम करने के लिए रणनीतियों का विकास करना आसान हो जाता है। डेटा एनोटेटर एनएलपी कार्यों के लिए समस्याग्रस्त पाठ के स्निपेट को कम करने के लिए वैकल्पिक तरीकों से पाठ को फिर से लिखने में मदद कर सकते हैं। इसके अलावा, एआई कार्यकर्ताओं में विविधता लेबलिंग में पूर्वाग्रह के मुद्दों को कम करने में मदद कर सकती है।

आप यह सुनिश्चित कैसे करते हैं कि एआई कार्यकर्ता अनजाने में अपने मानव पूर्वाग्रहों को एआई प्रणाली में नहीं डालते हैं?

यह एक जटिल मुद्दा है जिसके लिए सावधानी से विचार की आवश्यकता है। मानव पूर्वाग्रहों को खत्म करना लगभग असंभव है और एआई कार्यकर्ता अनजाने में अपने पूर्वाग्रहों को एआई मॉडल में डाल सकते हैं, इसलिए यह महत्वपूर्ण है कि हम उन प्रक्रियाओं का विकास करें जो कार्यकर्ताओं को सर्वोत्तम प्रथाओं की ओर मार्गदर्शन करें।

कुछ कदम जो मानव पूर्वाग्रहों को कम से कम रखने के लिए उठाए जा सकते हैं:

• एआई कार्यकर्ताओं को अनजाने पूर्वाग्रहों और उनके पूर्वाग्रहों को पहचानने और प्रबंधित करने के लिए उपकरण प्रदान करने पर व्यापक प्रशिक्षण।
• चेकलिस्ट जो कार्यकर्ताओं को अपने उत्तरों की पुष्टि करने के लिए याद दिलाती है trước उन्हें जमा करने से।
• एक मूल्यांकन चलाना जो यह जांचता है कि एआई कार्यकर्ताओं के पास विभिन्न प्रकार के पूर्वाग्रहों के उदाहरणों में से कम से कम पूर्वाग्रहित प्रतिक्रिया चुनने के लिए क्या समझ है।

विश्व भर के नियामक एआई आउटपुट को नियंत्रित करने का इरादा रखते हैं, आपके विचार में नियामक क्या गलत समझते हैं और क्या सही है?

यह महत्वपूर्ण है कि हम इसे एक बहुत ही कठिन समस्या के रूप में शुरू करें जिसका कोई भी समाधान नहीं खोजा है। समाज और एआई दोनों एक दूसरे को विकसित और प्रभावित करेंगे जिस तरह से यह बहुत मुश्किल है कि कोई भी इसकी भविष्यवाणी कर सके। एक प्रभावी रणनीति का हिस्सा एआई में क्या हो रहा है, लोग इसका जवाब कैसे दे रहे हैं और इसका विभिन्न उद्योगों पर क्या प्रभाव पड़ रहा है, इस पर ध्यान देना है।

मुझे लगता है कि एआई के प्रभावी नियमन में एक महत्वपूर्ण बाधा यह है कि एआई मॉडल क्या कर सकते हैं और क्या नहीं, और वे कैसे काम करते हैं, इसकी कमी है। यह, बदले में, यह预测 करना अधिक कठिन बनाता है कि ये मॉडल विभिन्न क्षेत्रों और समाज के विभिन्न वर्गों पर क्या प्रभाव डालेंगे। एक और क्षेत्र जो कमी है वह यह है कि एआई मॉडलों को मानव मूल्यों और सुरक्षा के साथ कैसे संरेखित किया जाए, इसके लिए विचार नेतृत्व की कमी है।

नियामकों ने एआई क्षेत्र के विशेषज्ञों के साथ सहयोग की मांग की है, एआई के आसपास अत्यधिक सख्त नियमों के साथ नवाचार को दबाने से बचा है, और नौकरी विस्थापन पर एआई के परिणामों पर विचार करना शुरू किया है, जो सभी बहुत महत्वपूर्ण क्षेत्र हैं। यह महत्वपूर्ण है कि हम सावधानी से आगे बढ़ें क्योंकि हमारे विचार एआई नियमन के बारे में समय के साथ स्पष्ट होते हैं और इस मुद्दे को लोकतांत्रिक तरीके से देखने के लिए जितने संभव हो उतने लोगों को शामिल करना महत्वपूर्ण है।

प्रोलिफिक समाधान बड़ी कंपनियों को एआई पूर्वाग्रह और हमारे द्वारा चर्चा किए गए अन्य मुद्दों को कम करने में कैसे मदद कर सकते हैं?

एआई परियोजनाओं के लिए डेटा संग्रह में हमेशा विचारशील या विचारशील प्रक्रिया नहीं होती है। हमने पहले स्क्रैपिंग, ऑफशोरिंग और अन्य तरीकों को देखा है। हालांकि, एआई को कैसे प्रशिक्षित किया जाए यह महत्वपूर्ण है। अगली पीढ़ी के मॉडल का निर्माण करने के लिए हमें जानबूझकर इकट्ठा किए गए, उच्च गुणवत्ता वाले डेटा की आवश्यकता होगी, वास्तविक लोगों से और उन लोगों से जिनसे हम सीधे संपर्क में हैं। यहीं प्रोलिफिक अपनी छाप छोड़ रहा है।

अन्य डोमेन, जैसे कि पोलिंग, मार्केट रिसर्च या वैज्ञानिक अनुसंधान ने यह सीखा है कि नमूना जिस दर्शक से लिया जाता है वह परिणामों पर बहुत बड़ा प्रभाव डालता है। एआई भी इसे सीख रहा है और हम एक ऐसे मोड़ पर हैं जहां हमें सावधानी से आगे बढ़ने की आवश्यकता है।

अब समय आ गया है कि हम बेहतर नमूनों का उपयोग शुरू करें और एआई प्रशिक्षण और परिष्करण के लिए अधिक प्रतिनिधि समूहों के साथ काम करें। दोनों सुरक्षित, पूर्वाग्रह मुक्त और संरेखित मॉडल विकसित करने के लिए महत्वपूर्ण हैं।

प्रोलिफिक एआई प्रयोगों को सुरक्षित तरीके से आयोजित करने और प्रतिभागियों से डेटा एकत्र करने में बड़ी कंपनियों की मदद कर सकता है जहां पूर्वाग्रह की जांच की जाती है और कम किया जाता है। हम डेटा संग्रह, चयन, मुआवजे और प्रतिभागियों के न्यायपूर्ण उपचार के बारे में सर्वोत्तम प्रथाओं पर मार्गदर्शन प्रदान कर सकते हैं।

एआई पारदर्शिता पर आपके विचार क्या हैं, क्या उपयोगकर्ताओं को यह देखने में सक्षम होना चाहिए कि एआई अल्गोरिदम को किस डेटा पर प्रशिक्षित किया गया है?

मुझे लगता है कि पारदर्शिता और गोपनीयता के बीच एक संतुलन होना चाहिए और एक अच्छा संतुलन अभी तक नहीं मिला है। कंपनियां अपने एआई मॉडलों को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा के बारे में जानकारी छुपा रही हैं क्योंकि वे मुकदमेबाजी से डरते हैं। अन्य लोगों ने अपने एआई मॉडलों को सार्वजनिक रूप से उपलब्ध कराया है और उन्होंने उपयोग किए जाने वाले डेटा के बारे में सभी जानकारी जारी की है। पूरी पारदर्शिता कई कमजोरियों के शोषण के अवसर खोलती है। पूरी गोपनीयता हमें यह विश्वास दिलाने में मदद नहीं करती है कि एआई मॉडल अच्छी गुणवत्ता वाले प्रासंगिक डेटा पर प्रशिक्षित हैं। एक अच्छा मध्यवर्ती बिंदु हमें इतनी पारदर्शिता प्रदान करेगा कि हमें विश्वास हो कि एआई मॉडल हमारी सहमति से एकत्र किए गए अच्छे डेटा पर प्रशिक्षित हैं। हमें यह सुनिश्चित करने के लिए सभी को शामिल करना होगा कि हम एआई के प्रभावों पर ध्यान दें और प्रभावित पक्षों के साथ खुले संवाद में शामिल हों और यह सुनिश्चित करें कि हम सभी के लिए काम करने वाली प्रथाओं का विकास करें।

मुझे लगता है कि यह भी महत्वपूर्ण है कि हम यह विचार करें कि उपयोगकर्ता व्याख्या के संदर्भ में क्या संतुष्टि चाहते हैं। यदि वे यह जानना चाहते हैं कि एक मॉडल क्यों एक निश्चित प्रतिक्रिया दे रहा है, तो उन्हें मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले कच्चे डेटा को देना उनके प्रश्न का उत्तर देने में मदद नहीं करेगा। इसलिए, अच्छे व्याख्या और व्याख्यात्मक उपकरण बनाना महत्वपूर्ण है।

एआई संरेखण अनुसंधान एआई प्रणालियों को मानव इरादों, प्राथमिकताओं या नैतिक सिद्धांतों की ओर मोड़ने का लक्ष्य रखता है। क्या आप बता सकते हैं कि एआई कार्यकर्ताओं को कैसे प्रशिक्षित किया जाता है और यह एआई को संरेखित करने के लिए कैसे उपयोग किया जाता है?

यह एक सक्रिय अनुसंधान क्षेत्र है और अभी तक यह सहमति नहीं है कि हमें एआई मॉडलों को मानव मूल्यों या नैतिक सिद्धांतों के साथ कैसे संरेखित करना चाहिए।

एआई कार्यकर्ताओं को आमतौर पर अपनी प्राथमिकताओं का प्रतिनिधित्व करने और अपनी प्राथमिकताओं के बारे में प्रश्नों का उत्तर देने के लिए कहा जाता है, साथ ही साथ सुरक्षा, पूर्वाग्रह की कमी, हानिरहितता और उपयोगिता के सिद्धांतों का पालन करना होता है।

लक्ष्यों, नैतिक सिद्धांतों या मूल्यों के साथ संरेखण के संबंध में, कई दृष्टिकोण हैं जो आशाजनक लगते हैं। एक उल्लेखनीय उदाहरण द मीनिंग अलाइनमेंट इंस्टीट्यूट द्वारा डेमोक्रेटिक फाइन-ट्यूनिंग पर काम है।

साक्षात्कार के लिए धन्यवाद और एआई पूर्वाग्रह पर अपने विचार साझा करने के लिए, पाठक जो और जानना चाहते हैं उन्हें प्रोलिफिक पर जाना चाहिए।