GPT-3 மற்றும் பிற சிக்கலான மொழி மாதிரிகளில் 'மாயத்தோற்றத்தை' தடுக்கிறது

'போலி செய்தி'யின் வரையறுக்கும் பண்பு என்னவென்றால், அது பொய்யான தகவலை உண்மையாக சரியான தகவலின் பின்னணியில் அடிக்கடி அளிக்கிறது, பொய்யான தரவுகள் ஒரு வகையான இலக்கிய சவ்வூடுபரவல் மூலம் உணரப்பட்ட அதிகாரத்தைப் பெறுகின்றன - இது அரை உண்மைகளின் சக்தியின் கவலைக்குரிய நிரூபணம் ஆகும்.

GPT-3 போன்ற அதிநவீன ஜெனரேட்டிவ் இயற்கை மொழி செயலாக்கம் (NLP) செயலாக்க மாதிரிகள் 'மாயத்தோற்றம்' இந்த வகையான ஏமாற்றும் தரவு. ஒரு பகுதியாக, மொழி மாதிரிகளுக்கு நீண்ட மற்றும் அடிக்கடி சிக்கலான உரைகளை சுருக்கி எழுதும் திறன் தேவைப்படுகிறது, எந்த கட்டடக்கலை தடையும் இல்லாமல், நிகழ்வுகள் மற்றும் உண்மைகளை வரையறுக்கவும், இணைக்கவும் மற்றும் 'சீல்' செய்யவும் முடியும், இதனால் அவை சொற்பொருள் செயல்முறையிலிருந்து பாதுகாக்கப்படுகின்றன புனரமைப்பு.

எனவே உண்மைகள் ஒரு NLP மாதிரிக்கு புனிதமானவை அல்ல; அவை எளிதில் 'சொற்பொருள் லெகோ செங்கற்கள்' என்ற சூழலில் சிகிச்சையை முடிக்க முடியும், குறிப்பாக சிக்கலான இலக்கணம் அல்லது கமுக்கமான மூலப்பொருள் மொழி அமைப்பிலிருந்து தனித்தனியான பொருட்களைப் பிரிப்பதை கடினமாக்குகிறது.

GPT-3 போன்ற சிக்கலான மொழி மாதிரிகளைக் குழப்பக்கூடிய மூலப் பொருள்கள் குழப்பமடையச் செய்யும் விதத்தின் அவதானிப்பு. மூல: ஆழமான வலுவூட்டல் கற்றலைப் பயன்படுத்தி பாராபிரேஸ் ஜெனரேஷன்

இந்த சிக்கல் உரை அடிப்படையிலான இயந்திரக் கற்றலில் இருந்து கணினி பார்வை ஆராய்ச்சியில் பரவுகிறது, குறிப்பாக பொருள்களை அடையாளம் காண அல்லது விவரிக்க சொற்பொருள் பாகுபாட்டைப் பயன்படுத்தும் துறைகளில்.

மாயத்தோற்றம் மற்றும் துல்லியமற்ற 'காஸ்மெட்டிக்' மறுவிளக்கம் கணினி பார்வை ஆராய்ச்சியையும் பாதிக்கிறது.

GPT-3 ஐப் பொறுத்தவரை, மாடல் ஏற்கனவே பேசிய தலைப்பில் மீண்டும் மீண்டும் கேள்வி கேட்பதால் விரக்தி அடையலாம். சிறந்த சூழ்நிலையில், அது தோல்வியை ஒப்புக் கொள்ளும்:

GPT-3 இல் அடிப்படை Davinci இன்ஜினுடன் என்னுடைய சமீபத்திய சோதனை. மாடல் முதல் முயற்சியிலேயே சரியான பதிலைப் பெறுகிறது, ஆனால் இரண்டாவது முறையாக கேள்வி கேட்கப்பட்டதில் கோபமாக உள்ளது. முந்தைய பதிலின் குறுகிய கால நினைவாற்றலை அது தக்கவைத்துக்கொள்வதால், மீண்டும் மீண்டும் கேட்கப்படும் கேள்வியை அந்த பதிலை நிராகரிப்பதாகக் கருதுவதால், அது தோல்வியை ஒப்புக்கொள்கிறது. ஆதாரம்: https://www.scalr.ai/post/business-applications-for-gpt-3

API மூலம் கிடைக்கும் மற்ற GPT-3 மாடல்களை விட DaVinci மற்றும் DaVinci Instruct (Beta) இந்த விஷயத்தில் சிறப்பாக செயல்படுகின்றன. இங்கே, கியூரி மாதிரி தவறான பதிலை அளிக்கிறது, அதே நேரத்தில் பாபேஜ் மாதிரியானது சமமான தவறான பதிலில் நம்பிக்கையுடன் விரிவடைகிறது:

ஐன்ஸ்டீன் சொல்லாத விஷயங்கள்

ஐன்ஸ்டீனின் புகழ்பெற்ற மேற்கோளான 'கடவுள் பிரபஞ்சத்துடன் பகடை விளையாடுவதில்லை' என்ற GPT-3 DaVinci Instruct இயந்திரத்தை (தற்போது மிகவும் திறமையானதாகத் தெரிகிறது) கோரும்போது, ​​DaVinci அறிவுறுத்தல் மேற்கோளைக் கண்டுபிடிக்கத் தவறி, மேற்கோள் அல்லாத ஒன்றைக் கண்டுபிடித்தார். ஒப்பீட்டளவில் நம்பத்தகுந்த மற்றும் முற்றிலும் இல்லாத மூன்று மேற்கோள்களை (ஐன்ஸ்டீன் அல்லது யாராலும்) இதே போன்ற கேள்விகளுக்கு பதிலளிக்கும் வகையில் மாயத்தோற்றம் செய்ய:

GPT-3 ஐன்ஸ்டீனிடமிருந்து நான்கு நம்பத்தகுந்த மேற்கோள்களை உருவாக்குகிறது, அவற்றில் எதுவுமே முழு உரை இணையத் தேடலில் எந்த முடிவையும் தரவில்லை, இருப்பினும் சிலர் ஐன்ஸ்டீனின் 'கற்பனை' என்ற தலைப்பில் பிற (உண்மையான) மேற்கோள்களைத் தூண்டுகிறார்கள்.

GPT-3 மேற்கோள் காட்டுவதில் தொடர்ந்து தவறாக இருந்தால், இந்த மாயத்தோற்றங்களை நிரல் ரீதியாக தள்ளுபடி செய்வது எளிதாக இருக்கும். இருப்பினும், ஒரு மேற்கோள் எவ்வளவு பரவலாகவும் பிரபலமாகவும் இருக்கிறது, GPT-3 மேற்கோளை சரியாகப் பெறுவதற்கான வாய்ப்புகள் அதிகம்:

GPT-3, பங்களிக்கும் தரவுகளில் அவை நன்கு குறிப்பிடப்பட்டிருக்கும் போது, ​​சரியான மேற்கோள்களைக் கண்டறியும்.

GPT-3 இன் அமர்வு வரலாற்றுத் தரவு ஒரு புதிய கேள்வியாக இரத்தம் வரும்போது இரண்டாவது சிக்கல் எழலாம்:

ஐன்ஸ்டீன் இந்த பழமொழியை அவருக்குக் கூறுவது அவதூறாக இருக்கலாம். மேற்கோள் ஒரு நிஜ வாழ்க்கை வின்ஸ்டன் சர்ச்சிலின் முட்டாள்தனமான மாயத்தோற்றம் போல் தோன்றுகிறது பழமொழி. சர்ச்சில் (ஐன்ஸ்டீன் அல்ல) மற்றும் GPT-3 தொடர்பான GPT-3 அமர்வின் முந்தைய கேள்வி, பதிலைத் தெரிவிக்க இந்த அமர்வு டோக்கனை தவறாகப் பயன்படுத்தியதாகத் தெரிகிறது.

மாயத்தோற்றத்தை பொருளாதார ரீதியாக சமாளித்தல்

மாயத்தோற்றம் என்பது அதிநவீன NLP மாதிரிகளை ஆராய்ச்சிக் கருவிகளாக ஏற்றுக்கொள்வதற்கு ஒரு குறிப்பிடத்தக்க தடையாக உள்ளது - மேலும் அத்தகைய இயந்திரங்களின் வெளியீடு அதை உருவாக்கிய மூலப்பொருளிலிருந்து மிகவும் சுருக்கப்பட்டதால் மேற்கோள்கள் மற்றும் உண்மைகளின் உண்மைத்தன்மையை நிறுவுவது சிக்கலாகிறது.

எனவே NLP இல் உள்ள ஒரு தற்போதைய பொது ஆராய்ச்சி சவாலானது, முற்றிலும் புதிய NLP மாதிரிகளை கற்பனை செய்ய வேண்டிய அவசியமின்றி மாயத்தோற்றத்தை அடையாளம் காணும் ஒரு வழிமுறையை நிறுவுவது ஆகும் ஆராய்ச்சி துறைகள்).

மாயத்தோற்றம் கண்டறிதல் மற்றும் உருவாக்குதல்

ஒரு புதிய இணைந்து Carnegie Mellon University மற்றும் Facebook AI ரிசர்ச் இடையே மாயத்தோற்றம் பிரச்சனைக்கு ஒரு புதுமையான அணுகுமுறையை வழங்குகிறது, மாயத்தோற்ற வெளியீட்டை அடையாளம் காணும் முறையை உருவாக்கி, செயற்கை மாயத்தோற்ற உரைகளைப் பயன்படுத்தி தரவுத்தொகுப்பை உருவாக்கி, இது எதிர்கால வடிகட்டிகள் மற்றும் வழிமுறைகளுக்கு அடிப்படையாகப் பயன்படுத்தப்படலாம். NLP கட்டமைப்பின் முக்கிய பகுதி.

ஆதாரம்: https://arxiv.org/pdf/2011.02593.pdf

மேலே உள்ள படத்தில், மூலப்பொருள் ஒவ்வொரு வார்த்தையின் அடிப்படையில் பிரிக்கப்பட்டுள்ளது, சரியான சொற்களுக்கு '0' லேபிளும், மாயத்தோற்றமான சொற்களுக்கு '1' லேபிளும் ஒதுக்கப்பட்டுள்ளன. உள்ளீட்டுத் தகவலுடன் தொடர்புடைய மாயத்தோற்ற வெளியீட்டின் உதாரணத்தைக் கீழே காண்கிறோம், ஆனால் அது நம்பகத்தன்மையற்ற தரவுகளுடன் அதிகரிக்கிறது.

சிஸ்டம் ஒரு முன் பயிற்சி பெற்ற டெனோயிசிங் ஆட்டோஎன்கோடரைப் பயன்படுத்துகிறது, இது மாயத்தோற்றப்பட்ட சரத்தை சிதைந்த பதிப்பு தயாரிக்கப்பட்ட அசல் உரைக்கு மீண்டும் வரைபடமாக்கும் திறன் கொண்டது (மேலே உள்ள எனது எடுத்துக்காட்டுகளைப் போலவே, இணையத் தேடல்கள் தவறான மேற்கோள்களின் ஆதாரத்தை வெளிப்படுத்தியது, ஆனால் ஒரு நிரல் மற்றும் தானியங்கு சொற்பொருள் முறை). குறிப்பாக, பேஸ்புக்கின் என்று BART சிதைந்த வாக்கியங்களை உருவாக்க autoencoder மாதிரி பயன்படுத்தப்படுகிறது.

லேபிள் ஒதுக்கீடு.

உயர்-நிலை NLP மாதிரிகளின் பொதுவான ஓட்டத்தில் சாத்தியமில்லாத மாயத்தோற்றத்தை மீண்டும் மூலத்திற்கு மாற்றும் செயல்முறை, 'தொகுத்த தூரத்தை' மேப்பிங் செய்ய அனுமதிக்கிறது, மேலும் மாயத்தோற்றத்தை அடையாளம் காண்பதற்கான வழிமுறை அணுகுமுறையை எளிதாக்குகிறது.

பயிற்சியின் போது கிடைக்கும் குறிப்புப் பொருட்களுக்கான அணுகல் இல்லாதபோது, ​​​​அமைப்பு நன்கு பொதுமைப்படுத்த முடியும் என்று ஆராய்ச்சியாளர்கள் கண்டறிந்தனர், இது கருத்தியல் மாதிரி ஒலி மற்றும் பரந்த அளவில் பிரதிபலிக்கக்கூடியது என்று கூறுகிறது.

அதிகப்படியான பொருத்துதலை சமாளித்தல்

அதிகப்படியான பொருத்துதலைத் தவிர்ப்பதற்காகவும், பரவலாகப் பயன்படுத்தக்கூடிய கட்டமைப்பை அடையவும், ஆராய்ச்சியாளர்கள் தோராயமாக டோக்கன்களை செயல்முறையிலிருந்து கைவிட்டனர், மேலும் பாராஃப்ரேசிங் மற்றும் பிற இரைச்சல் செயல்பாடுகளையும் பயன்படுத்தினர்.

இயந்திர மொழிபெயர்ப்பும் (MT) இந்த தெளிவின்மை செயல்முறையின் ஒரு பகுதியாகும், ஏனெனில் மொழிகள் முழுவதும் உரையை மொழிபெயர்ப்பது அர்த்தத்தை வலுவாகப் பாதுகாக்கும் மற்றும் அதிக பொருத்தத்தைத் தடுக்கும். எனவே கையேடு சிறுகுறிப்பு அடுக்கில் இரு மொழி பேசுபவர்களால் மாயத்தோற்றங்கள் மொழிபெயர்க்கப்பட்டு திட்டத்திற்காக அடையாளம் காணப்பட்டன.

இந்த முயற்சியானது பல நிலையான துறை சோதனைகளில் புதிய சிறந்த முடிவுகளை அடைந்தது, மேலும் 10 மில்லியன் டோக்கன்களுக்கு மேல் தரவைப் பயன்படுத்தி ஏற்றுக்கொள்ளக்கூடிய முடிவுகளைப் பெற்ற முதல் முயற்சி இதுவாகும்.

திட்டத்திற்கான குறியீடு, என்ற தலைப்பில் நிபந்தனை நரம்பியல் வரிசை தலைமுறையில் மாயத்தோற்றம் கண்டறிதல், உள்ளது GitHub இல் வெளியிடப்பட்டது, மற்றும் பயனர்கள் தங்கள் சொந்த செயற்கைத் தரவை BART மூலம் எந்த ஒரு கார்பஸிலிருந்தும் உருவாக்க அனுமதிக்கிறது. மாயத்தோற்றம் கண்டறிதல் மாதிரிகளின் அடுத்தடுத்த தலைமுறைகளுக்கும் ஏற்பாடு செய்யப்பட்டுள்ளது.