ஜெம்மா: திறந்த மூலத்தின் மூலம் கூகுள் மேம்பட்ட AI திறன்களைக் கொண்டுவருகிறது

செயற்கை நுண்ணறிவுத் துறை (AI) சமீபத்திய ஆண்டுகளில் அபரிமிதமான முன்னேற்றத்தைக் கண்டுள்ளது, இது பெரும்பாலும் முன்னேற்றங்களால் இயக்கப்படுகிறது ஆழமான கற்றல் மற்றும் இயற்கை மொழி செயலாக்கம் (NLP). இந்த முன்னேற்றங்களில் முன்னணியில் உள்ளன பெரிய மொழி மாதிரிகள் (LLMகள்) - மனிதனைப் போன்ற உரையை உருவாக்கி உரையாடல் பணிகளில் ஈடுபடக்கூடிய பெரிய அளவிலான உரைத் தரவுகளில் பயிற்சி பெற்ற AI அமைப்புகள்.

கூகிளின் PalM, Anthropic's Claude மற்றும் DeepMind's Gopher போன்ற LLMகள் குறியீட்டு முறை முதல் பொது அறிவு தர்க்கம் வரை குறிப்பிடத்தக்க திறன்களை வெளிப்படுத்தியுள்ளன. இருப்பினும், இந்த மாதிரிகளில் பெரும்பாலானவை வெளிப்படையாக வெளியிடப்படவில்லை, ஆராய்ச்சி, மேம்பாடு மற்றும் நன்மை பயக்கும் பயன்பாடுகளுக்கான அணுகலைக் கட்டுப்படுத்துகிறது.

ஜெம்மாவின் சமீபத்திய ஓப்பன் சோர்சிங் மூலம் இது மாறியது - கூகுளின் டீப் மைண்டின் எல்எல்எம்களின் குடும்பம் அவர்களின் சக்திவாய்ந்த தனியுரிம ஜெமினி மாடல்களின் அடிப்படையில். இந்த வலைப்பதிவு இடுகையில், ஜெம்மாவின் கட்டிடக்கலை, பயிற்சி செயல்முறை, செயல்திறன் மற்றும் பொறுப்பான வெளியீடு ஆகியவற்றை பகுப்பாய்வு செய்வோம்.

ஜெம்மாவின் கண்ணோட்டம்

பிப்ரவரி 2023 இல், DeepMind திறந்த மூல ஜெம்மா மாடல்களின் இரண்டு அளவுகள் - சாதனத்தில் பயன்படுத்துவதற்கு உகந்ததாக 2 பில்லியன் அளவுரு பதிப்பு மற்றும் GPU/TPU பயன்பாட்டிற்காக வடிவமைக்கப்பட்ட ஒரு பெரிய 7 பில்லியன் அளவுரு பதிப்பு.

DeepMind இன் முன்னணி ஜெமினி மாடல்களுக்கு ஒத்த மின்மாற்றி அடிப்படையிலான கட்டிடக்கலை மற்றும் பயிற்சி முறையை Gemma பயன்படுத்துகிறது. இது வலை ஆவணங்கள், கணிதம் மற்றும் குறியீடு ஆகியவற்றிலிருந்து 6 டிரில்லியன் டோக்கன்கள் வரையிலான உரையில் பயிற்சியளிக்கப்பட்டது.

டீப் மைண்ட் ஜெம்மாவின் முன்னரே பயிற்சியளிக்கப்பட்ட சோதனைச் சாவடிகள் இரண்டையும் வெளியிட்டது, அத்துடன் உரையாடல், வழிமுறைகளைப் பின்பற்றுதல் மற்றும் குறியீட்டு முறை போன்ற துறைகளில் மேம்பட்ட திறன்களுக்காக மேற்பார்வையிடப்பட்ட கற்றல் மற்றும் மனிதக் கருத்துகளுடன் சிறந்த முறையில் வடிவமைக்கப்பட்ட பதிப்புகள்.

ஜெம்மாவுடன் தொடங்குதல்

ஜெம்மாவின் திறந்த வெளியீடு அதன் மேம்பட்ட AI திறன்களை டெவலப்பர்கள், ஆராய்ச்சியாளர்கள் மற்றும் ஆர்வலர்களுக்கு அணுகக்கூடியதாக ஆக்குகிறது. தொடங்குவதற்கான விரைவான வழிகாட்டி இங்கே:

பிளாட்ஃபார்ம் அஞ்ஞான வரிசைப்படுத்தல்

ஜெம்மாவின் முக்கிய பலம் அதன் நெகிழ்வுத்தன்மை - நீங்கள் அதை CPUகள், GPUகள் அல்லது TPUகளில் இயக்கலாம். CPUக்கு, டென்சர்ஃப்ளோ லைட் அல்லது ஹக்கிங்ஃபேஸ் டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தவும். GPU/TPU இல் விரைவான செயல்திறனுக்காக, TensorFlow ஐப் பயன்படுத்தவும். Google Cloud's Vertex AI போன்ற கிளவுட் சேவைகளும் தடையற்ற அளவிடுதலை வழங்குகின்றன.

முன் பயிற்சி பெற்ற மாடல்களை அணுகவும்

ஜெம்மா உங்கள் தேவைகளைப் பொறுத்து வெவ்வேறு முன் பயிற்சி பெற்ற வகைகளில் வருகிறது. 2B மற்றும் 7B மாதிரிகள் வலுவான உற்பத்தி திறன்களை வழங்குகின்றன. தனிப்பயன் ஃபைன்-ட்யூனிங்கிற்கு, 2B-FT மற்றும் 7B-FT மாதிரிகள் சிறந்த தொடக்க புள்ளிகளாகும்.

உற்சாகமான பயன்பாடுகளை உருவாக்கவும்

கதை உருவாக்கம், மொழி மொழிபெயர்ப்பு, கேள்வி பதில் மற்றும் ஆக்கப்பூர்வமான உள்ளடக்க தயாரிப்பு போன்ற பல்வேறு வகையான பயன்பாடுகளை Gemma மூலம் உருவாக்கலாம். உங்கள் சொந்த தரவுத்தொகுப்பில் நன்றாகச் சரிசெய்வதன் மூலம் ஜெம்மாவின் பலத்தை மேம்படுத்துவதே முக்கியமானது.

கட்டிடக்கலை

பல வினவல் கவனம் மற்றும் ரோட்டரி பொசிஷனல் உட்பொதிப்புகள் போன்ற முன்னேற்றங்களை உருவாக்குவதன் மூலம், ஜெம்மா ஒரு டிகோடர்-மட்டும் டிரான்ஸ்பார்மர் கட்டமைப்பைப் பயன்படுத்துகிறது:

• மின்மாற்றிகள்: 2017 இல் அறிமுகப்படுத்தப்பட்ட, கவனம் செலுத்தும் வழிமுறைகளை மட்டுமே அடிப்படையாகக் கொண்ட மின்மாற்றி கட்டமைப்பு NLP இல் எங்கும் பரவியுள்ளது. உரையில் நீண்ட தூர சார்புகளை மாதிரியாக்க மின்மாற்றியின் திறனை ஜெம்மா பெறுகிறது.
• குறிவிலக்கி மட்டும்: BART அல்லது T5 போன்ற குறியாக்கி-குறிவிலக்கி மாடல்களைப் போலல்லாமல், ஜெம்மா டிரான்ஸ்பார்மர் டிகோடர் அடுக்கை மட்டுமே பயன்படுத்துகிறது. இது உரை உருவாக்கம் போன்ற பணிகளுக்கு வலுவான உருவாக்கும் திறன்களை வழங்குகிறது.
• பல கேள்விகள் கவனம்: ஜெம்மா அதன் பெரிய மாதிரியில் பல வினவல் கவனத்தைப் பயன்படுத்துகிறது, வேகமான அனுமானத்திற்காக பல வினவல்களை இணையாக செயலாக்க ஒவ்வொரு கவனத் தலையையும் அனுமதிக்கிறது.
• ரோட்டரி நிலை உட்பொதிப்புகள்: முழுமையான நிலை குறியாக்கங்களுக்குப் பதிலாக ரோட்டரி உட்பொதிவுகளைப் பயன்படுத்தி ஜெம்மா நிலைத் தகவலைக் குறிக்கிறது. இந்த நுட்பம் நிலைத் தகவலைத் தக்கவைத்துக்கொண்டு மாதிரி அளவைக் குறைக்கிறது.

மல்டி வினவல் அட்டென்ஷன் மற்றும் ரோட்டரி பொசிஷனல் எம்பெடிங்ஸ் போன்ற நுட்பங்களின் பயன்பாடு ஜெம்மா மாதிரிகள் செயல்திறன், அனுமான வேகம் மற்றும் மாதிரி அளவு ஆகியவற்றுக்கு இடையே ஒரு உகந்த பரிமாற்றத்தை அடைய உதவுகிறது.

தரவு மற்றும் பயிற்சி செயல்முறை

ஜெம்மா 6 டிரில்லியன் டோக்கன்கள் வரையிலான உரை தரவுகளில் பயிற்சி பெற்றார், முதன்மையாக ஆங்கிலத்தில். இதில் இணைய ஆவணங்கள், கணித உரை மற்றும் மூல குறியீடு ஆகியவை அடங்கும். DeepMind தரவை வடிகட்டுதல், வகைப்படுத்திகள் மற்றும் ஹூரிஸ்டிக்ஸைப் பயன்படுத்தி நச்சு அல்லது தீங்கு விளைவிக்கும் உள்ளடக்கத்தை அகற்றுவதில் குறிப்பிடத்தக்க முயற்சிகளை முதலீடு செய்தது.

கூகுளின் TPUv5 உள்கட்டமைப்பைப் பயன்படுத்தி பயிற்சி செய்யப்பட்டது, Gemma-4096Bயைப் பயிற்றுவிக்க 7 TPUகள் வரை பயன்படுத்தப்பட்டன. திறமையான மாதிரி மற்றும் தரவு இணையான நுட்பங்கள் கமாடிட்டி ஹார்டுவேர் மூலம் பாரிய மாடல்களுக்கு பயிற்சி அளிக்க உதவியது.

உயர்தர, பொருத்தமான உரையில் கவனம் செலுத்த தரவு விநியோகத்தை தொடர்ந்து சரிசெய்து, கட்டப் பயிற்சி பயன்படுத்தப்பட்டது. திறன்களை மேம்படுத்த, மனிதனால் உருவாக்கப்பட்ட மற்றும் செயற்கை அறிவுறுத்தல்-பின்வரும் எடுத்துக்காட்டுகளின் கலவையைப் பயன்படுத்தி, இறுதி நேர்த்தியான-சரிப்படுத்தும் நிலைகள் பயன்படுத்தப்பட்டன.

மாதிரி செயல்திறன்

கேள்வி பதில், பகுத்தறிவு, கணிதம், குறியீட்டு முறை, பொது அறிவு மற்றும் உரையாடல் திறன்களை உள்ளடக்கிய 25 க்கும் மேற்பட்ட வரையறைகளின் பரந்த தொகுப்பில் டீப் மைண்ட் ஜெம்மா மாதிரிகளை கடுமையாக மதிப்பீடு செய்தது.

பெரும்பான்மையான அளவுகோல்களில் ஒரே அளவிலான ஓப்பன் சோர்ஸ் மாடல்களுடன் ஒப்பிடும்போது ஜெம்மா அதிநவீன முடிவுகளை அடைகிறது. சில சிறப்பம்சங்கள்:

• கணிதம்: GSM8K மற்றும் MATH போன்ற கணித பகுத்தறிவு சோதனைகளில் ஜெம்மா சிறந்து விளங்குகிறது, கோடெக்ஸ் மற்றும் ஆந்த்ரோபிக்ஸ் கிளாட் போன்ற மாடல்களை விட 10 புள்ளிகளுக்கு மேல் சிறப்பாக செயல்படுகிறது.
• குறியீட்டு முறை: MBPP போன்ற நிரலாக்க அளவுகோல்களில் கோடெக்ஸின் செயல்திறனுடன் ஜெம்மா பொருந்துகிறது அல்லது மீறுகிறது, குறிப்பாக குறியீட்டில் பயிற்சி பெறவில்லை.
• உரையாடல்: ஜெம்மா மனித விருப்பத்தேர்வு சோதனைகளில் ஆந்த்ரோபிக்ஸ் மிஸ்ட்ரல்-51.7பியை விட 7% வெற்றி விகிதத்துடன் வலுவான உரையாடல் திறனை வெளிப்படுத்துகிறது.
• ரீசனிங்: ARC மற்றும் Winogrande போன்ற அனுமானம் தேவைப்படும் பணிகளில், ஜெம்மா மற்ற 7B மாடல்களை 5-10 புள்ளிகளால் விஞ்சும்.

பல்வேறு துறைகளில் ஜெம்மாவின் பல்துறை அதன் வலுவான பொது நுண்ணறிவு திறன்களை நிரூபிக்கிறது. மனித அளவிலான செயல்திறனுக்கான இடைவெளிகள் இருக்கும் போது, ​​திறந்த மூல NLP இல் ஜெம்மா ஒரு பாய்ச்சலைக் குறிக்கிறது.

பாதுகாப்பு மற்றும் பொறுப்பு

பெரிய மாடல்களின் ஓப்பன் சோர்ஸ் வெயிட்களை வெளியிடுவது வேண்டுமென்றே தவறாகப் பயன்படுத்துதல் மற்றும் உள்ளார்ந்த மாதிரி சார்புகளைச் சுற்றியுள்ள சவால்களை அறிமுகப்படுத்துகிறது. DeepMind அபாயங்களைக் குறைக்க நடவடிக்கை எடுத்தது:

• தரவு வடிகட்டுதல்: வகைப்படுத்திகள் மற்றும் ஹூரிஸ்டிக்ஸைப் பயன்படுத்தி பயிற்சி தரவிலிருந்து சாத்தியமான நச்சு, சட்டவிரோத அல்லது பக்கச்சார்பான உரை அகற்றப்பட்டது.
• மதிப்பீடுகள்: பாதுகாப்பு, நியாயம் மற்றும் வலிமையை மதிப்பிடுவதற்காக வடிவமைக்கப்பட்ட 30+ வரையறைகளில் ஜெம்மா சோதிக்கப்பட்டது. இது மற்ற மாடல்களுடன் பொருந்தியது அல்லது மீறியது.
• நன்றாக மெருகேற்றுவது: மாடல் ஃபைன்-ட்யூனிங், தகவல் வடிகட்டுதல் மற்றும் பொருத்தமான ஹெட்ஜிங்/மறுப்பு நடத்தைகள் போன்ற பாதுகாப்பு திறன்களை மேம்படுத்துவதில் கவனம் செலுத்துகிறது.
• பயன்பாட்டு விதிமுறைகளை: ஜெம்மா மாதிரிகளின் தாக்குதல், சட்டவிரோத அல்லது நெறிமுறையற்ற பயன்பாடுகளை பயன்பாட்டு விதிமுறைகள் தடைசெய்கின்றன. இருப்பினும், அமலாக்கம் சவாலாகவே உள்ளது.
• மாதிரி அட்டைகள்: மாடல் திறன்கள், வரம்புகள் மற்றும் சார்புகளை விவரிக்கும் அட்டைகள் வெளிப்படைத்தன்மையை மேம்படுத்துவதற்காக வெளியிடப்பட்டன.

ஓப்பன் சோர்ஸிங்கில் இருந்து ஆபத்துகள் இருந்தாலும், ஜெம்மாவின் வெளியீடு அதன் பாதுகாப்பு சுயவிவரம் மற்றும் ஆராய்ச்சியின் செயலாக்கத்தின் அடிப்படையில் நிகர சமூக நன்மைகளை வழங்குகிறது என்று DeepMind தீர்மானித்தது. இருப்பினும், சாத்தியமான தீங்குகளை விழிப்புடன் கண்காணிப்பது முக்கியமானதாக இருக்கும்.

AI கண்டுபிடிப்புகளின் அடுத்த அலையை இயக்குகிறது

ஜெம்மாவை ஒரு திறந்த மூல மாதிரி குடும்பமாக வெளியிடுவது AI சமூகம் முழுவதும் முன்னேற்றத்தைத் திறக்கும்:

• அணுகல்தன்மை: தங்கள் சொந்த எல்எல்எம்களைப் பயிற்றுவிப்பதற்காக முன்னர் அதிக கம்ப்யூட்/டேட்டா செலவுகளை எதிர்கொண்ட அதிநவீன NLP உடன் உருவாக்க நிறுவனங்களுக்கான தடைகளை Gemma குறைக்கிறது.
• புதிய பயன்பாடுகள்: ஓப்பன் சோர்சிங் முன் பயிற்சி மற்றும் டியூன் செய்யப்பட்ட சோதனைச் சாவடிகள் மூலம், DeepMind கல்வி, அறிவியல் மற்றும் அணுகல் போன்ற பகுதிகளில் பயனுள்ள பயன்பாடுகளை எளிதாக உருவாக்க உதவுகிறது.
• தன்விருப்ப: டெவலப்பர்கள் தனியுரிமத் தரவு குறித்த தொடர்ச்சியான பயிற்சியின் மூலம் தொழில்துறை அல்லது டொமைன் சார்ந்த பயன்பாடுகளுக்கு ஜெம்மாவை மேலும் தனிப்பயனாக்கலாம்.
• ஆராய்ச்சி: ஜெம்மா போன்ற திறந்த மாதிரிகள் தற்போதைய NLP அமைப்புகளின் அதிக வெளிப்படைத்தன்மை மற்றும் தணிக்கையை வளர்க்கின்றன, எதிர்கால ஆராய்ச்சி திசைகளை ஒளிரச் செய்கின்றன.
• கண்டுபிடிப்பு: ஜெம்மா போன்ற வலுவான அடிப்படை மாதிரிகள் கிடைப்பது சார்பு குறைப்பு, உண்மைத்தன்மை மற்றும் AI பாதுகாப்பு போன்ற பகுதிகளில் முன்னேற்றத்தை துரிதப்படுத்தும்.

ஜெம்மாவின் திறன்களை ஓப்பன் சோர்சிங் மூலம் அனைவருக்கும் வழங்குவதன் மூலம், சமூக நலனுக்காக AI இன் பொறுப்பான மேம்பாட்டை ஊக்குவிக்க DeepMind நம்புகிறது.

சாலை முன்னும் பின்னும்

AI இன் ஒவ்வொரு பாய்ச்சலிலும், எல்லா களங்களிலும் மனித நுண்ணறிவுக்கு போட்டியாக அல்லது மிஞ்சும் மாதிரிகளை நோக்கி நாம் நெருங்கி வருகிறோம். சுய-கண்காணிப்பு மாதிரிகளில் எவ்வளவு விரைவான முன்னேற்றங்கள் பெருகிய முறையில் மேம்பட்ட அறிவாற்றல் திறன்களைத் திறக்கின்றன என்பதை ஜெம்மா போன்ற அமைப்புகள் அடிக்கோடிட்டுக் காட்டுகின்றன.

எவ்வாறாயினும், AI இன் நம்பகத்தன்மை, விளக்கம் மற்றும் கட்டுப்படுத்துதல் ஆகியவற்றை மேம்படுத்துவதற்கான பணி உள்ளது - மனித நுண்ணறிவு இன்னும் உச்சத்தில் இருக்கும் பகுதிகள். கணிதம் போன்ற களங்கள் இந்த தொடர்ச்சியான இடைவெளிகளை முன்னிலைப்படுத்துகின்றன, மதிப்பிடப்பட்ட 64% மனித செயல்திறனுடன் ஒப்பிடும்போது ஜெம்மா MMLU இல் 89% மதிப்பெண்களைப் பெற்றார்.

இன்னும் அதிக திறன் கொண்ட AI அமைப்புகளின் பாதுகாப்பு மற்றும் நெறிமுறைகளை உறுதி செய்யும் அதே வேளையில் இந்த இடைவெளிகளை மூடுவது வரும் ஆண்டுகளில் முக்கிய சவால்களாக இருக்கும். வெளிப்படைத்தன்மை மற்றும் எச்சரிக்கைக்கு இடையே சரியான சமநிலையை உருவாக்குவது மிகவும் முக்கியமானதாக இருக்கும், ஏனெனில் வளர்ந்து வரும் அபாயங்களை நிர்வகிக்கும் போது AI இன் நன்மைகளுக்கான அணுகலை ஜனநாயகமயமாக்குவதை டீப் மைண்ட் நோக்கமாகக் கொண்டுள்ளது.

AI பாதுகாப்பை மேம்படுத்துவதற்கான முன்முயற்சிகள் - டாரியோ அமோடியின் ANC, DeepMind's Ethics & Society குழு மற்றும் Anthropic's Constitutional AI போன்றவை - நுணுக்கத்திற்கான இந்த தேவைக்கான வளர்ந்து வரும் அங்கீகாரத்தைக் குறிக்கிறது. அர்த்தமுள்ள முன்னேற்றத்திற்கு ஆராய்ச்சியாளர்கள், டெவலப்பர்கள், கொள்கை வகுப்பாளர்கள் மற்றும் பொதுமக்கள் இடையே வெளிப்படையான, ஆதார அடிப்படையிலான உரையாடல் தேவைப்படும்.

பொறுப்புடன் வழிசெலுத்தப்பட்டால், Gemma ஆனது AI இன் உச்சிமாநாட்டை அல்ல, ஆனால் அடுத்த தலைமுறை AI ஆராய்ச்சியாளர்களுக்கான அடிப்படை முகாமாக DeepMind இன் அடிச்சுவடுகளைப் பின்பற்றி நியாயமான, நன்மை பயக்கும் செயற்கை பொது நுண்ணறிவைக் குறிக்கிறது.

தீர்மானம்

DeepMind இன் ஜெம்மா மாடல்களின் வெளியீடு திறந்த மூல AIக்கான ஒரு புதிய சகாப்தத்தை குறிக்கிறது - இது குறுகிய வரையறைகளை பொதுமைப்படுத்தப்பட்ட நுண்ணறிவு திறன்களாக மாற்றுகிறது. பாதுகாப்பிற்காகவும், பரந்த அளவில் அணுகக்கூடியதாகவும் சோதிக்கப்பட்டது, ஜெம்மா AI இல் பொறுப்பான ஓப்பன் சோர்சிங்கிற்கு ஒரு புதிய தரநிலையை அமைக்கிறது.

கூட்டுறவு மதிப்புகளுடன் கூடிய போட்டி மனப்பான்மையால் உந்தப்பட்டு, ஜெம்மா போன்ற முன்னேற்றங்களைப் பகிர்வது AI சுற்றுச்சூழல் அமைப்பில் உள்ள அனைத்து படகுகளையும் உயர்த்துகிறது. முழு சமூகமும் இப்போது தங்கள் முன்முயற்சிகளை ஓட்ட அல்லது ஆதரிக்க பல்துறை LLM குடும்பத்தை அணுகுகிறது.

அபாயங்கள் இருக்கும் போது, ​​DeepMind இன் தொழில்நுட்ப மற்றும் நெறிமுறை விடாமுயற்சி, Gemma இன் நன்மைகள் அதன் சாத்தியமான தீங்குகளை விட அதிகமாக இருக்கும் என்ற நம்பிக்கையை வழங்குகிறது. AI திறன்கள் இன்னும் மேம்பட்டு வருவதால், இந்த நுணுக்கத்தை வெளிப்படையாகவும் எச்சரிக்கையாகவும் வைத்திருப்பது மிகவும் முக்கியமானதாக இருக்கும்.

ஜெம்மா நம்மை AI க்கு ஒரு படி மேலே கொண்டு செல்கிறார், இது மனிதகுலம் அனைவருக்கும் பயனளிக்கிறது. ஆனால் கருணைமிக்க செயற்கை பொது நுண்ணறிவுக்கான பாதையில் இன்னும் பல பெரிய சவால்கள் காத்திருக்கின்றன. AI ஆராய்ச்சியாளர்கள், டெவலப்பர்கள் மற்றும் சமூகம் ஆகியவை கூட்டு முன்னேற்றத்தைத் தக்க வைத்துக் கொள்ள முடிந்தால், இறுதி உச்சிமாநாட்டைக் காட்டிலும் ஒரு நாள் ஒரு வரலாற்று அடிப்படை முகாமாக ஜெம்மா பார்க்கப்படலாம்.