भाषा मॉडल को कहाँ रुकना चाहिए: पेरोल, प्रवेश और उन अन्य क्षेत्रों के लिए एआई तैयार करना जहाँ गलतियों की भारी कीमत चुकानी पड़ती है

मैंने पिछले कई साल ऐसे उत्पादों में एआई को शामिल करने में बिताए हैं जहाँ गलत जवाब की कीमत चुकानी पड़ती है: ऑस्ट्रेलियाई बाज़ार के लिए एआई-संचालित पेरोल अनुपालन मंच, जहाँ एक गलती किसी के बैंक खाते पर असर डालती है, और कॉलेज प्रवेश का एक उत्पाद, जहाँ गलत मेल किसी छात्र के अगले चार वर्षों की दिशा तय कर सकता है। दोनों ही मामलों में, वास्तुकला तय करने वाला सवाल एक ही था। किसी नियतात्मक प्रणाली के नियंत्रण संभालने से पहले भाषा मॉडल को कितनी दूर तक जाने देना चाहिए?

अमेरिका में हर पाँच में से एक पेरोल में गलती होती है, और मुकदमेबाजी को शामिल करने से पहले हर गलती की औसत कीमत $291 होती है। यूरोपीय संघ का एआई अधिनियम प्रवेश संबंधी निर्णयों और रोज़गार प्रबंधन में इस्तेमाल होने वाले एआई को उच्च-जोखिम वाली श्रेणियों में रखता है।

संख्याओं पर नियमों का नियंत्रण रहने दें

डॉलर की कोई राशि या कानूनी परिणाम जुड़ा हो, तो उस पर नियतात्मक नियमों का नियंत्रण होना चाहिए। मॉडल को उन नियमों के दायरे में रहकर अर्थ समझाना और व्याख्या करना चाहिए—और इससे ज़्यादा कुछ नहीं।

पेरोल मंच पर हमारा लक्ष्य पेरोल के नियमों और एआई के बीच स्पष्ट सीमा तय करना था। सबसे पहले, पेरोल विशेषज्ञ वेतन के नियमों को एक संरचित प्रारूप में परिभाषित करते हैं। फिर प्रणाली उन नियमों को संसाधित करके उनसे पैदा हो सकने वाले हर संभावित परिदृश्य को तैयार करती है। इन सभी परिदृश्यों का पूरा संग्रह मॉडल के लिए सत्य का आधार बन जाता है। मॉडल न तो नए नियम बना सकता है, न मौजूदा नियमों को बदल सकता है और न ही यह तय कर सकता है कि किन स्रोतों का इस्तेमाल किया जाए। वह केवल प्रासंगिक नियमों का संग्रह प्राप्त कर सकता है, दर-सारिणियाँ देख सकता है और इस्तेमाल किए गए परिदृश्य का संदर्भ दे सकता है। नियम बनाना, परिदृश्य तैयार करना और स्रोत चुनना—ये सभी काम पूरी तरह एआई परत के बाहर रहते हैं।

प्रवेश संबंधी उत्पाद भी इसी तर्क पर काम करता है: मॉडल किसी रैंकिंग को प्रभावित करे, उससे पहले स्थान-संबंधी आवश्यकताओं, बजट सीमाओं, संस्थान की स्थिति और पात्रता की न्यूनतम शर्तों को नियमों के रूप में लागू किया जाता है। अगर कोई छात्र कहता है कि उसे कैलिफ़ोर्निया के किसी कॉलेज में ही पढ़ना है, तो राज्य से बाहर का कोई कॉलेज सिर्फ इसलिए इस शर्त को नहीं बदल सकता कि मॉडल ने उसे दूसरे लिहाज़ से उपयुक्त पाया। मॉडल अपेक्षाकृत लचीली प्राथमिकताओं और उनके स्पष्टीकरणों को संभालता है; जहाँ लगभग सही होना स्वीकार्य नहीं है, वहाँ नियतात्मक तर्क सुरक्षा-सीमा का काम करता है।

कुछ हद तक, पुनर्प्राप्ति मॉडल को स्रोतों से जोड़ती है

पुनर्प्राप्ति-संवर्धित सृजन जवाबों को संगठन की अपनी नीतियों से जोड़कर रखता है, न कि उन बातों से जिन्हें मॉडल ने प्रशिक्षण के दौरान आत्मसात किया हो। लेकिन इसकी क्षमताओं को बढ़ा-चढ़ाकर भी पेश किया जाता है। स्टैनफोर्ड की RegLab ने जब पुनर्प्राप्ति-संवर्धित सृजन पर आधारित व्यावसायिक कानूनी शोध उपकरणों की जाँच की, तो वे अब भी 17% से 33% मामलों में मनगढ़ंत जानकारी दे रहे थे। पुनर्प्राप्ति से मॉडल के कहने की गुंजाइश कम होती है, लेकिन फिर भी उससे गलती हो सकती है।

मैंने यह बात प्रत्यक्ष रूप से सीखी। पेरोल मंच पर एक बार प्रणाली ने किसी मामले के लिए सही रोज़गार पुरस्कार ढूँढ़ लिया, फिर भी मॉडल ने ओवरटाइम के नियमों की गलत व्याख्या की। सही स्रोत प्राप्त कर लिया गया था, फिर भी जवाब गलत था। इसके बाद हमने इस बारे में नियम और सख्त कर दिए कि मॉडल अपने दम पर क्या तय कर सकता है। पेरोल के महत्वपूर्ण नियम स्पष्ट व्यावसायिक तर्क में शामिल किए गए, हर जवाब के समर्थन में स्रोत सामग्री होना अनिवार्य किया गया और उस विफल मामले के आधार पर परीक्षण जोड़े गए। सही जानकारी तक पहुँच तभी मददगार होती है, जब आप यह भी नियंत्रित करें कि मॉडल उसका इस्तेमाल कैसे करता है।

हर जवाब का स्रोत पता लगाया जा सके

जवाब तैयार होने से पहले, प्रणाली यह दर्ज करती है कि किस नियम-पुस्तिका और उसके किस संस्करण का इस्तेमाल हुआ, साथ ही मॉडल और अनुरोध से जुड़ी अन्य जानकारी भी। यह सत्यापित करना कठिन है कि एआई का जवाब कंपनी की नीति पर आधारित था। इसके बजाय यह कहना कहीं अधिक ठोस सबूत है कि जवाब एक विशिष्ट समझौते के संस्करण 7 के आधार पर तैयार किया गया था, जिसे सुरक्षित रखा गया है और अन्य संस्करणों से तुलना के लिए उपलब्ध कराया जा सकता है। हम मॉडल और टूल की हर गतिविधि का भी पता रखते हैं: उपयोगकर्ता ने क्या पूछा, क्या जानकारी प्राप्त की गई, कौन-से टूल चलाए गए, मॉडल ने क्या जवाब दिया और इस दौरान क्या-क्या गड़बड़ियाँ हुईं। सहायता-संबंधी कोई समस्या आने पर हम ठीक-ठीक देख सकते हैं कि गलत जवाब कहाँ से आया। 2024 का एयर कनाडा का फैसला—जिसमें एक न्यायाधिकरण ने एयरलाइन को उस छूट का सम्मान करने का आदेश दिया जिसे उसके चैटबॉट ने गढ़ा था—दिखाता है कि इसका विकल्प कितना महँगा पड़ सकता है।

जहाँ परिणाम मायने रखते हैं, वहाँ लोगों को शामिल करें

NIST की जनरेटिव एआई प्रोफ़ाइल इस बात को कि कोई प्रणाली अपने आप क्या करती है और किस काम के लिए व्यक्ति की ज़रूरत होती है, शासन-संबंधी निर्णय मानती है। जब प्रणाली को लेकर अनिश्चितता हो, जानकारी में टकराव हो या निर्णय उपयोगकर्ता पर महत्वपूर्ण असर डाल सकता हो, तो हम मामला किसी व्यक्ति के पास भेजते हैं। प्रवेश प्रक्रिया में, किसी छात्र की असामान्य प्रोफ़ाइल या ऐसी सिफ़ारिश जो छात्र की अनिवार्य शर्तों को स्पष्ट रूप से पूरा न करती हो, परामर्शदाता की समीक्षा के लिए चिह्नित की जाती है। इस चरण में ऐसी सिफ़ारिशें पकड़ी गई हैं जो ऊपर से उचित लगती थीं, लेकिन छात्र की प्रोफ़ाइल में दर्ज किसी बाध्यता को पूरा नहीं करती थीं; हर ऐसा मामला प्रणाली में सुधार के लिए वापस जोड़ा गया। दोनों में से कोई भी उत्पाद अपने आप किसी चीज़ को अंतिम रूप नहीं देता। सिफ़ारिश पर भरोसा करने से पहले परामर्शदाता की राय लेना ज़रूरी है, और पेरोल प्रणाली से बनने वाली हर वेतन-पर्ची जारी होने से पहले मंज़ूरी के लिए चिह्नित की जाती है। हर अनुरोध के लिए मानवीय समीक्षा का इरादा नहीं है। लक्ष्य है कि सामान्य मामलों को भरोसे के साथ स्वचालित किया जाए और जब प्रणाली के पास अनिश्चित होने का ठोस कारण हो, तब किसी व्यक्ति को शामिल किया जाए।

आज मॉडल को किन कामों की ज़िम्मेदारी दी जा सकती है

हर कार्यप्रवाह परखने के लिए मैं एक व्यावहारिक कसौटी अपनाता हूँ। अगर गलत नतीजे को किसी व्यक्ति तक पहुँचने से पहले पकड़ा और पलटा जा सकता है, तो वह चरण मॉडल को सौंपा जा सकता है। अगर जवाब को किसी नियम के आधार पर जाँचा जा सकता है, तो उस पर नियम का नियंत्रण होना चाहिए और मॉडल को उसकी व्याख्या करनी चाहिए। अगर किसी के देखने से पहले गलत नतीजा वेतन-पर्ची या प्रवेश के फैसले तक पहुँच सकता है, तो वह चरण अभी इस्तेमाल के लिए तैयार नहीं है।

नियम-पुस्तिका के सामने हमने अब तक जिन व्याख्याकारों को रखा है, उनमें भाषा मॉडल सबसे अच्छे हैं। लेकिन जिन क्षेत्रों में गलतियों की सज़ा मिलती है, वहाँ उन्हें व्याख्या तक ही सीमित रहना चाहिए।