एआई मॉडल और प्लेटफ़ॉर्म
LightAutoML: ऑटोमैटिक मशीन लर्निंग फ्रेमवर्क फॉर फाइनेंशियल सर्विसेज़
हालांकि ऑटोमैटिक मशीन लर्निंग (AutoML) कुछ साल पहले लोकप्रिय हुआ, ऑटोमैटिक मशीन लर्निंग पर शोध 90 के दशक की शुरुआत में वैज्ञानिकों द्वारा प्रकाशित हाइपरपैरामीटर ऑप्टिमाइजेशन पर पहले पत्रों के साथ शुरू हुआ। यह 2014 में था जब ICML ने पहला ऑटोमैटिक मशीन लर्निंग कार्यशाला आयोजित की और ऑटोमैटिक मशीन लर्निंग ने मशीन लर्निंग डेवलपर्स का ध्यान आकर्षित किया। ऑटोमैटिक मशीन लर्निंग के वर्षों में एक प्रमुख फोकस हाइपरपैरामीटर सर्च समस्या है, जहां मॉडल एक ऑप्टिमाइजेशन विधियों की सरणी लागू करता है ताकि एक विशिष्ट मशीन लर्निंग मॉडल के लिए एक बड़े हाइपरपैरामीटर स्पेस में सबसे अच्छा प्रदर्शन करने वाले हाइपरपैरामीटर का निर्धारण किया जा सके। ऑटोमैटिक मशीन लर्निंग मॉडल द्वारा लागू की जाने वाली एक और विधि एक विशिष्ट हाइपरपैरामीटर के अनुकूल हाइपरपैरामीटर होने की संभावना का अनुमान लगाना है। मॉडल यह बेयसियन विधियों को लागू करके प्राप्त करता है जो पारंपरिक रूप से पहले से अनुमानित मॉडलों से ऐतिहासिक डेटा और अन्य डेटासेट का उपयोग करते हैं। हाइपरपैरामीटर ऑप्टिमाइजेशन के अलावा, अन्य विधियां मॉडलिंग विकल्पों की एक श्रृंखला से सर्वोत्तम मॉडल का चयन करने का प्रयास करती हैं।
इस लेख में, हम लाइटऑटोमेल, एक ऑटोमैटिक मशीन लर्निंग सिस्टम के बारे में चर्चा करेंगे जो मुख्य रूप से एक यूरोपीय कंपनी के लिए विकसित किया गया है जो वित्त क्षेत्र में काम करती है और इसके पारिस्थितिकी तंत्र के साथ। लाइटऑटोमेल फ्रेमवर्क विभिन्न अनुप्रयोगों में तैनात किया गया है, और परिणामों ने डेटा वैज्ञानिकों के स्तर के समान उच्च गुणवत्ता वाले मशीन लर्निंग मॉडल बनाते समय भी श्रेष्ठ प्रदर्शन का प्रदर्शन किया। लाइटऑटोमेल फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है: सबसे पहले, लाइटऑटोमेल फ्रेमवर्क मुख्य रूप से एक बड़े यूरोपीय वित्तीय और बैंकिंग संस्थान के पारिस्थितिकी तंत्र के लिए विकसित किया गया था। अपने फ्रेमवर्क और वास्तुकला के कारण, लाइटऑटोमेल फ्रेमवर्क कई खुले बेंचमार्क और पारिस्थितिकी तंत्र अनुप्रयोगों में राज्य के अत्याधुनिक ऑटोमैटिक मशीन लर्निंग फ्रेमवर्क को पार करने में सक्षम है। लाइटऑटोमेल फ्रेमवर्क का प्रदर्शन डेटा वैज्ञानिकों द्वारा मैन्युअल रूप से ट्यून किए गए मॉडलों के साथ भी तुलना की जाती है, और परिणामों से लाइटऑटोमेल फ्रेमवर्क द्वारा मजबूत प्रदर्शन का संकेत मिलता है।
यह लेख लाइटऑटोमेल फ्रेमवर्क को गहराई से कवर करने का उद्देश्य रखता है, और हम तंत्र, विधि, वास्तुकला के साथ-साथ राज्य के अत्याधुनिक फ्रेमवर्क के साथ इसकी तुलना करते हैं। तो आइए शुरू करें।
लाइटऑटोमेल: फाइनेंशियल सर्विसेज़ के लिए एक ऑटोमैटिक मशीन लर्निंग फ्रेमवर्क
शोधकर्ताओं ने पहली बार 90 के दशक के मध्य और शुरुआत में ऑटोमैटिक मशीन लर्निंग पर काम करना शुरू किया, ऑटोमैटिक मशीन लर्निंग ने पिछले कुछ वर्षों में एक बड़ा हिस्सा आकर्षित किया, जिसमें कुछ प्रमुख औद्योगिक समाधान स्वचालित रूप से मशीन लर्निंग मॉडल बनाते हैं जैसे कि अमेज़ॅन का ऑटोग्लून, डार्विनएआई, एच 2 ओ.एआई, आईबीएम वाटसन एआई, माइक्रोसॉफ्ट एज़्योर एमएल, और बहुत कुछ। इनमें से अधिकांश फ्रेमवर्क एक सामान्य उद्देश्य ऑटोमैटिक मशीन लर्निंग समाधान लागू करते हैं जो विभिन्न अनुप्रयोगों के वर्गों में स्वचालित रूप से मशीन लर्निंग मॉडल विकसित करता है, जैसे कि वित्तीय सेवाएं, स्वास्थ्य सेवा, शिक्षा, और अधिक। इस क्षैतिज सामान्य दृष्टिकोण के पीछे मान्यता यह है कि स्वचालित मॉडल विकसित करने की प्रक्रिया सभी अनुप्रयोगों में समान रहती है। हालांकि, लाइटऑटोमेल फ्रेमवर्क एक लंबवत दृष्टिकोण को लागू करता है जो एक सामान्य नहीं है, बल्कि व्यक्तिगत अनुप्रयोगों की आवश्यकताओं को पूरा करता है, इस मामले में एक बड़े वित्तीय संस्थान के लिए। लाइटऑटोमेल फ्रेमवर्क एक लंबवत ऑटोमैटिक मशीन लर्निंग समाधान है जो जटिल पारिस्थितिकी तंत्र की विशेषताओं के साथ-साथ इसकी आवश्यकताओं पर केंद्रित है। सबसे पहले, लाइटऑटोमेल फ्रेमवर्क तेज़ और लगभग ऑप्टिमल हाइपरपैरामीटर खोज प्रदान करता है। हालांकि मॉडल सीधे इन हाइपरपैरामीटर्स को अनुकूलित नहीं करता है, यह संतोषजनक परिणाम प्रदान करने में सक्षम है। इसके अलावा, मॉडल गति और हाइपरपैरामीटर अनुकूलन के बीच संतुलन को गतिशील रूप से बनाए रखने के लिए तेज़ है ताकि यह छोटे समस्याओं पर अनुकूल हो और बड़े लोगों पर पर्याप्त तेज़ हो। दूसरा, लाइटऑटोमेल फ्रेमवर्क जानबूझकर मशीन लर्निंग मॉडल की श्रृंखला को केवल दो प्रकारों तक सीमित करता है: रेखीय मॉडल, और जीबीएम या ग्रेडिएंट बूस्टेड डिसीजन ट्री। लाइटऑटोमेल फ्रेमवर्क की कार्यक्षमता को नकारात्मक रूप से प्रभावित किए बिना कार्यान्वयन समय को तेज़ करने के पीछे मॉडल की श्रृंखला को सीमित करने का मुख्य कारण है। तीसरा, लाइटऑटोमेल फ्रेमवर्क मॉडल में उपयोग किए जाने वाले विभिन्न विशेषताओं के लिए प्रीप्रोसेसिंग योजनाओं का चयन करने का एक अनोखा तरीका प्रस्तुत करता है जो कertain चयन नियमों और मेटा-सांख्यिकी पर आधारित है। लाइटऑटोमेल फ्रेमवर्क विभिन्न अनुप्रयोगों में खुले डेटा स्रोतों की एक विस्तृत श्रृंखला पर मूल्यांकन किया जाता है।
लाइटऑटोमेल: विधि और वास्तुकला
लाइटऑटोमेल फ्रेमवर्क मॉड्यूल्स से बना है जिन्हें प्रीसेट्स के रूप में जाना जाता है जो मशीन लर्निंग कार्यों के लिए एंड-टू-एंड मॉडल विकास के लिए समर्पित हैं। वर्तमान में, लाइटऑटोमेल फ्रेमवर्क प्रीसेट मॉड्यूल का समर्थन करता है। सबसे पहले, टेबुलरऑटोमेल प्रीसेट टेबुलर डेटासेट पर परिभाषित क्लासिक मशीन लर्निंग समस्याओं को हल करने पर केंद्रित है। दूसरा, व्हाइट-बॉक्स प्रीसेट सरल व्याख्यात्मक एल्गोरिदम को लागू करता है जैसे कि लॉजिस्टिक रिग्रेशन वूई या वेट ऑफ़ एविडेंस एन्कोडिंग और डिस्क्रेटाइज्ड फीचर्स का उपयोग करके टेबुलर डेटा पर बाइनरी वर्गीकरण कार्यों को हल करने के लिए। सरल व्याख्यात्मक एल्गोरिदम को लागू करना विभिन्न कारकों द्वारा लगाए गए व्याख्यात्मक सीमाओं के कारण एक सामान्य अभ्यास है। तीसरा, एनएलपी प्रीसेट टेबुलर डेटा को प्री-ट्रेन्ड डीप लर्निंग मॉडल और विशिष्ट फीचर एक्सट्रैक्टर्स सहित नेचुरल लैंग्वेज प्रोसेसिंग टूल्स के साथ जोड़ने में सक्षम है। अंत में, सीवी प्रीसेट बेसिक टूल्स की मदद से इमेज डेटा के साथ काम करता है। यह ध्यान रखना महत्वपूर्ण है कि लाइटऑटोमेल मॉडल सभी चार प्रीसेट्स का समर्थन करता है, लेकिन फ्रेमवर्क केवल उत्पादन-स्तर प्रणाली में टेबुलरऑटोमेल का उपयोग करता है।
लाइटऑटोमेल फ्रेमवर्क की विशिष्ट पाइपलाइन निम्नलिखित छवि में शामिल है।

प्रत्येक पाइपलाइन में तीन घटक होते हैं। सबसे पहले, रीडर, एक वस्तु जो इनपुट के रूप में कार्य प्रकार और कच्चे डेटा प्राप्त करती है, महत्वपूर्ण मेटाडेटा गणना करती है, प्रारंभिक डेटा को साफ करती है, और मॉडल फिट करने से पहले डेटा मैनिपुलेशन का पता लगाती है। अगला, लाइटऑटोमेल आंतरिक डेटासेट में सीवी इटरेटर और मेटाडेटा शामिल हैं जो डेटासेट के लिए वैधीकरण योजनाओं को लागू करते हैं। तीसरा घटक मशीन लर्निंग पाइपलाइन हैं जो एकल भविष्यवाणी प्राप्त करने के लिए स्टैक्ड और/या मिलान किया जाता है। लाइटऑटोमेल फ्रेमवर्क की वास्तुकला के भीतर एक मशीन लर्निंग पाइपलाइन एक से अधिक मशीन लर्निंग मॉडल है जो एक ही डेटा वैधीकरण और प्रीप्रोसेसिंग योजना साझा करते हैं। प्रीप्रोसेसिंग चरण में दो फीचर सेलेक्शन चरण, एक फीचर इंजीनियरिंग चरण, या खाली हो सकता है यदि कोई प्रीप्रोसेसिंग की आवश्यकता नहीं है। एमएल पाइपलाइन स्वतंत्र रूप से एक ही डेटासेट पर गणना की जा सकती है और फिर एवरेजिंग (या वेटेड एवरेजिंग) का उपयोग करके मिलान की जा सकती है। वैकल्पिक रूप से, एक स्टैकिंग एन्सेम्बल योजना का उपयोग करके मल्टी-लेवल एन्सेम्बल आर्किटेक्चर बनाया जा सकता है।
लाइटऑटोमेल टेबुलर प्रीसेट
लाइटऑटोमेल फ्रेमवर्क के भीतर, टेबुलरऑटोमेल डिफ़ॉल्ट पाइपलाइन है, और यह मॉडल को टेबुलर डेटा पर तीन प्रकार के कार्यों को हल करने के लिए लागू किया जाता है: बाइनरी वर्गीकरण, रिग्रेशन, और मल्टी-क्लास वर्गीकरण विभिन्न प्रदर्शन मेट्रिक्स और हानि कार्यों के लिए। टेबुलरऑटोमेल घटक को इनपुट के रूप में एक टेबल दिया जाता है जिसमें चार कॉलम होते हैं: श्रेणीबद्ध विशेषताएं, संख्यात्मक विशेषताएं, टाइमस्टैम्प, और एक एकल लक्ष्य कॉलम जिसमें वर्ग लेबल या निरंतर मान होता है। लाइटऑटोमेल फ्रेमवर्क के डिज़ाइन के पीछे एक प्राथमिक उद्देश्य एक तेज़ हाइपोथेसिस परीक्षण के लिए एक उपकरण बनाना था, जो एक बड़ा कारण है कि फ्रेमवर्क पाइपलाइन अनुकूलन के लिए ब्रूट-फोर्स विधियों का उपयोग नहीं करता है, और केवल कुशलता तकनीकों और मॉडल पर केंद्रित है जो विभिन्न डेटासेट पर काम करते हैं।
ऑटो-टाइपिंग और डेटा प्रीप्रोसेसिंग
विभिन्न प्रकार की विशेषताओं को विभिन्न तरीकों से संभालने के लिए, मॉडल को प्रत्येक विशेषता प्रकार को जानने की आवश्यकता है। एक छोटे डेटासेट के साथ एक कार्य की स्थिति में, उपयोगकर्ता प्रत्येक विशेषता प्रकार को मैन्युअल रूप से निर्दिष्ट कर सकता है। हालांकि, प्रत्येक विशेषता प्रकार को मैन्युअल रूप से निर्दिष्ट करना अब उन स्थितियों में व्यवहार्य विकल्प नहीं है जिनमें सैकड़ों कार्य होते हैं जिनमें हज़ारों विशेषताएं होती हैं। टेबुलरऑटोमेल प्रीसेट के लिए, लाइटऑटोमेल फ्रेमवर्क को विशेषताओं को तीन वर्गों में मैप करने की आवश्यकता होती है: संख्यात्मक, श्रेणीबद्ध, और डेटटाइम। एक सरल और स्पष्ट समाधान कॉलम सरणी डेटा प्रकार का उपयोग करना है जो वास्तविक विशेषता प्रकार के रूप में है, अर्थात फ्लोट/इंट कॉलम को संख्यात्मक विशेषताओं में मैप करना, टाइमस्टैम्प या स्ट्रिंग – डेटटाइम में जो टाइमस्टैम्प के रूप में पार्स किया जा सकता है, और अन्य को श्रेणीबद्ध में मैप करना। हालांकि, यह मैपिंग सबसे अच्छा नहीं है क्योंकि श्रेणीबद्ध कॉलम में संख्यात्मक डेटा प्रकार की बार-बार घटना।
वैधीकरण योजनाएं
वैधीकरण योजनाएं ऑटोमैटिक मशीन लर्निंग फ्रेमवर्क का एक महत्वपूर्ण घटक हैं क्योंकि उद्योग में डेटा समय के साथ बदलता रहता है, और यह परिवर्तन तत्व आईआईडी या स्वतंत्र और समान वितरित धारणाओं को विकसित करते समय मॉडल को अमान्य बना देता है। ऑटोमैटिक मशीन लर्निंग मॉडल वैधीकरण योजनाओं का उपयोग अपने प्रदर्शन का अनुमान लगाने, हाइपरपैरामीटर की खोज करने, और आउट-ऑफ-फोल्ड भविष्यवाणी जनरेशन के लिए करते हैं। टेबुलरऑटोमेल पाइपलाइन तीन वैधीकरण योजनाओं को लागू करती है:
- के-फोल्ड क्रॉस वैलिडेशन: के-फोल्ड क्रॉस वैलिडेशन टेबुलरऑटोमेल पाइपलाइन के लिए डिफ़ॉल्ट वैधीकरण योजना है, जिसमें बिहेवियरल मॉडल के लिए ग्रुपकफोल्ड और वर्गीकरण कार्यों के लिए स्ट्रेटिफाइड के-फोल्ड शामिल है।
- होल्डआउट वैलिडेशन: होल्डआउट वैलिडेशन योजना को लागू किया जाता है यदि होल्डआउट सेट निर्दिष्ट किया गया है।
- कस्टम वैलिडेशन स्कीम्स: कस्टम वैलिडेशन स्कीम्स को उपयोगकर्ता अपनी व्यक्तिगत आवश्यकताओं के अनुसार बना सकते हैं। कस्टम वैलिडेशन स्कीम्स में क्रॉस-वैलिडेशन और समय श्रृंखला विभाजन योजनाएं शामिल हैं।
फीचर सेलेक्शन
हालांकि फीचर सेलेक्शन उद्योग मानकों के अनुसार मॉडल विकसित करने का एक महत्वपूर्ण पहलू है क्योंकि यह अनुमान और मॉडल कार्यान्वयन लागत में कमी की अनुमति देता है, अधिकांश ऑटोमैटिक मशीन लर्निंग समाधान इस समस्या पर बहुत अधिक ध्यान केंद्रित नहीं करते हैं। इसके विपरीत, टेबुलरऑटोमेल पाइपलाइन तीन फीचर सेलेक्शन रणनीतियों को लागू करती है: कोई चयन नहीं, महत्व कट-ऑफ चयन, और महत्व-आधारित फॉरवर्ड चयन। इनमें से तीन में, महत्व कट-ऑफ चयन फीचर सेलेक्शन रणनीति डिफ़ॉल्ट है। इसके अलावा, फीचर महत्व का अनुमान लगाने के दो प्राथमिक तरीके हैं: स्प्लिट-आधारित ट्री महत्व, और जीबीएम मॉडल या ग्रेडिएंट बूस्टेड डिसीजन ट्री की परिवर्तन महत्व। महत्व कट-ऑफ चयन का प्राथमिक उद्देश्य मॉडल के लिए उपयोगी नहीं होने वाली विशेषताओं को अस्वीकार करना है, जिससे मॉडल को विशेषताओं की संख्या को कम करने की अनुमति मिलती है जो नकारात्मक रूप से प्रदर्शन को प्रभावित किए बिना मॉडल को तेज़ करने में मदद कर सकता है।

उपरोक्त छवि बाइनरी बैंक डेटासेट पर विभिन्न चयन रणनीतियों की तुलना करती है।
हाइपरपैरामीटर ट्यूनिंग
टेबुलरऑटोमेल पाइपलाइन हाइपरपैरामीटर को ट्यून करने के लिए विभिन्न दृष्टिकोण लागू करती है जो ट्यून किए जा रहे हैं।
- अर्ली स्टॉपिंग हाइपरपैरामीटर ट्यूनिंग: अर्ली स्टॉपिंग हाइपरपैरामीटर ट्यूनिंग प्रशिक्षण चरण के दौरान सभी मॉडलों के लिए पुनरावृत्तियों की संख्या का चयन करता है।
- एक्सपर्ट सिस्टम हाइपरपैरामीटर ट्यूनिंग: एक्सपर्ट सिस्टम हाइपरपैरामीटर ट्यूनिंग मॉडल के लिए हाइपरपैरामीटर सेट करने का एक सरल तरीका है जो संतोषजनक है। यह अंतिम मॉडल को हार्ड-ट्यून किए गए मॉडल की तुलना में स्कोर में एक उच्च गिरावट से रोकता है।
- ट्री स्ट्रक्चर्ड पार्ज़न एस्टिमेशन या टीपीई: जीबीएम या ग्रेडिएंट बूस्टेड डिसीजन ट्री मॉडल के लिए। टीपीई लाइटऑटोमेल पाइपलाइन में एक मिश्रित ट्यूनिंग रणनीति है जो डिफ़ॉल्ट विकल्प है। प्रत्येक जीबीएम फ्रेमवर्क के लिए, लाइटऑटोमेल फ्रेमवर्क दो मॉडल प्रशिक्षित करता है: पहला एक्सपर्ट हाइपरपैरामीटर प्राप्त करता है, दूसरा समय बजट में फिट होने के लिए बारीक ट्यून किया जाता है।
- ग्रिड सर्च हाइपरपैरामीटर ट्यूनिंग: ग्रिड सर्च हाइपरपैरामीटर ट्यूनिंग को टेबुलरऑटोमेल पाइपलाइन में लीनियर मॉडल के नियमितीकरण पैरामीटर को अर्ली स्टॉपिंग और वार्म स्टार्ट के साथ बारीक ट्यून करने के लिए लागू किया जाता है।
मॉडल मेट्रिक फंक्शन को अधिकतम करके सभी पैरामीटर को ट्यून करता है, जो उपयोगकर्ता द्वारा परिभाषित किया जाता है या कार्य के लिए डिफ़ॉल्ट है।

लाइटऑटोमेल: प्रयोग और प्रदर्शन
प्रदर्शन का मूल्यांकन करने के लिए, लाइटऑटोमेल फ्रेमवर्क के भीतर टेबुलरऑटोमेल प्रीसेट की तुलना विभिन्न कार्यों पर मौजूदा खुले स्रोत समाधानों के साथ की जाती है और लाइटऑटोमेल फ्रेमवर्क के श्रेष्ठ प्रदर्शन को साबित करती है। सबसे पहले, तुलना 35 बाइनरी और मल्टी-क्लास वर्गीकरण कार्य डेटासेट पर मूल्यांकन किए गए ओपनएमएल बेंचमार्क पर की जाती है। निम्नलिखित तालिका लाइटऑटोमेल फ्रेमवर्क और मौजूदा ऑटोमैटिक मशीन लर्निंग सिस्टम के बीच तुलना को सारांशित करती है।

जैसा कि देखा जा सकता है, लाइटऑटोमेल फ्रेमवर्क बेंचमार्क में 20 डेटासेट पर सभी अन्य ऑटोमैटिक मशीन लर्निंग सिस्टम को पार करता है। निम्नलिखित तालिका डेटासेट संदर्भ में विस्तृत तुलना प्रस्तुत करती है, जो यह दर्शाती है कि लाइटऑटोमेल विभिन्न वर्गों के कार्यों पर अलग प्रदर्शन प्रदान करता है। बाइनरी वर्गीकरण कार्यों के लिए, लाइटऑटोमेल प्रदर्शन में कमी आती है, जबकि उच्च मात्रा में डेटा वाले कार्यों के लिए, लाइटऑटोमेल फ्रेमवर्क श्रेष्ठ प्रदर्शन प्रदान करता है।

निम्नलिखित तालिका 15 बैंक डेटासेट पर लाइटऑटोमेल फ्रेमवर्क और ऑटोमैटिक मशीन लर्निंग सिस्टम के बीच तुलना प्रस्तुत करती है, जिसमें विभिन्न बाइनरी वर्गीकरण कार्य शामिल हैं। जैसा कि देखा जा सकता है, लाइटऑटोमेल 15 में से 12 डेटासेट पर सभी ऑटोमैटिक मशीन लर्निंग समाधानों को पार करता है, जो 80% की जीत प्रतिशत है।

अंतिम विचार
इस लेख में, हमने लाइटऑटोमेल, एक ऑटोमैटिक मशीन लर्निंग सिस्टम के बारे में चर्चा की जो मुख्य रूप से एक यूरोपीय कंपनी के लिए विकसित किया गया है जो वित्त क्षेत्र में काम करती है और इसके पारिस्थितिकी तंत्र के साथ। लाइटऑटोमेल फ्रेमवर्क विभिन्न अनुप्रयोगों में तैनात किया गया है, और परिणामों ने डेटा वैज्ञानिकों के स्तर के समान उच्च गुणवत्ता वाले मशीन लर्निंग मॉडल बनाते समय भी श्रेष्ठ प्रदर्शन का प्रदर्शन किया। लाइटऑटोमेल फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है: सबसे पहले, लाइटऑटोमेल फ्रेमवर्क मुख्य रूप से एक बड़े यूरोपीय वित्तीय और बैंकिंग संस्थान के पारिस्थितिकी तंत्र के लिए विकसित किया गया था। अपने फ्रेमवर्क और वास्तुकला के कारण, लाइटऑटोमेल फ्रेमवर्क कई खुले बेंचमार्क और पारिस्थितिकी तंत्र अनुप्रयोगों में राज्य के अत्याधुनिक ऑटोमैटिक मशीन लर्निंग फ्रेमवर्क को पार करने में सक्षम है। लाइटऑटोमेल फ्रेमवर्क का प्रदर्शन डेटा वैज्ञानिकों द्वारा मैन्युअल रूप से ट्यून किए गए मॉडलों के साथ भी तुलना की जाती है, और परिणामों से लाइटऑटोमेल फ्रेमवर्क द्वारा मजबूत प्रदर्शन का संकेत मिलता है।












